Flow Monitor может обрабатывать миллионы записей NetFlow в минуту от устройств с поддержкой NetFlow и Flow Publisher, при этом собирая данные интерфейса прямым опросом SNMP отдельных устройств. Количество записей потока, которые хранятся в необработанной форме, непосредственно влияет на размер баз данных Flow Monitor и производительность интенсивных операций с данными, такими как создание отчета и отображение. Flow Monitor использует сжатие данных, выбраковку и стратегии архивации для снижения влияния хранения данных на системное хранилище и работоспособность. На следующей схеме показаны различные этапы стратегии хранения данных и относительное воздействие каждого этапа на количество записей потока, которые хранятся в базах данных Flow Monitor.
Первый этап стратегии хранения данных выполняется в период между сбором необработанных данных. Записи потока с одинаковыми ключевыми данными в интервале между последовательными сборами данных объединяются в одну запись потока. Это приводит к небольшому сокращению записей, при этом больший интервал сбора приводит к большему сокращению. Используйте параметр Интервал сбора данных для настройки этого интервала.
Сжатие необработанных данных происходит при ежечасном свертывании. Каждый час необработанные записи NetFlow выходят за часовой период хранения и сжимаются в отдельную запись. Хотя может быть потеряно время начала и окончания отдельных потоков, такое сжатие обеспечивает начальную экономию места в хранилище данных. Используйте параметр Хранить необработанные данные x часов для определения срока хранения необработанных данных перед сворачиванием в почасовые записи данных.
Следующим этапом в стратегии хранения является выбраковка данных потока, когда минимальные записи потока удаляются из данных для сохранения. Это выполняется сортировкой записей потоков по размеру и сохранения процента общего количества записей потока на основе размера в байтах трафика, представленного количеством байт по данным потока. Система настроена на хранение 97-99 процентов записей потока по размеру (в байтах), отбрасывая нижние 1-3 процента трафика потока. Хотя отброшенные записи представляют только малый процент от общего количества байт в данных потока, они могут содержать тысячи отдельных записей потока в средах с большим количеством утерянных подключений, сканирований портов и прочих действий, вызывающих потоки с небольшим количеством байт. Путем отбраковки таких записей обеспечивается большое снижение требований к хранилищу и соответствующий рост производительности интенсивных операций, с минимальным снижением в хранении данных. Такая отбраковка данных потока выполняется при записи сборщиком необработанных данных, а также при сворачивании необработанных данных в ежечасные и ежечасных в ежедневные. Используйте параметр Процент сохраняемого трафика для установки процента сохраняемых данных потока.
После выбраковки данных при ежедневном свертывании выполняется сжатие данных. Каждый день почасовые записи после свертывания выходят за дневной период хранения и сжимаются в отдельную запись для этого дня. Используйте параметр Хранить почасовые данные x дней для определения срока хранения почасовых записей свертывания в активной базе данных Flow Monitor перед свертыванием в ежедневную запись.
На последнем этапе каждый день ежедневные данные архивируются. Архивация удаляет вышедшие за дневной период хранения ежедневные данные. Каждый день при ежедневном свертывании ежедневная запись записывается в архив NetFlow и удаляется из активной базы данных NetFlow. Используйте параметр Хранить ежедневные данные x дней для определения срока хранения ежедневных записей свертывания в активной базе данных Flow Monitor перед архивацией в архивную базу данных Flow Monitor.
Хранение данных можно настраивать вручную, регулируя Интервал сбора данных, Процент сохраняемого трафика и периоды хранения для различных этапов стратегии хранения данных (Необработанные данные, почасовые данные и ежедневные данные потока), или автоматически, выбором параметра Автоматическая настройка хранения данных потока.
Если параметр автоматической настройки включен (выбран параметр Автоматическая настройка хранения данных), система изменит периоды хранения данных для хранения количества записей в минимальном объеме для оптимизации хранилища данных и производительности системы. При помощи информации из базы данных Flow Monitor усредняет скорость роста базы данных и регулирует параметры хранения, чтобы общий размер базы данных сохранялся в рекомендованном диапазоне от 1 до 10 миллионов записей потока. Рекомендованный диапазон основан на потребностях хранилища для каждого этапа стратегии хранения данных.
При ручной установке параметров хранения данных (параметр Автоматическая настройка хранения данных не выбран), в нижней части диалогового окна в области сообщений отображаются подсказки для каждой из настроек. Эта обратная связь предоставляет информацию о том, как текущий или предлагаемый параметр влияют на размер базы данных относительно максимально рекомендованного (10 миллионов записей). Для необработанных, почасовых и ежедневных данных, максимальный рекомендованный размер базы данных сравнивается со всеми данными этих категорий и основывается на размере активной базы данных Flow Monitor. Для архивных ежедневных данных после настройки, подсказки основываются на размере архивной базы данных Flow Monitor.