数据保留策略与调整方式

流量监控工具 每分钟可处理来自 NetFlow 设备及 Flow Publisher 的数百万笔 NetFlow 记录,同时能以 SNMP 直接轮询的方式,收集单个设备的网络接口数据。原始窗体保留的流量记录笔数,会直接影响 流量监控工具 数据库的大小,以及数据密集操作的性能 (例如产生与显示报表)。流量监控工具 利用数据压缩、筛选及存档作法,降低数据保留功能对系统保存空间与操作的影响。下表说明数据保留策略的各个阶段,以及各阶段对 流量监控工具 数据库保存的流量记录笔数有哪些影响。

初次数据压缩

数据保留策略的第一步,要在收集原始数据的间隔期间完成。在数据连续收集间隔期间出现的 Flow 记录,若含有相同的重要数据,则会合并成单笔流量记录。这项功能可稍微减少记录笔数。数据收集间隔时间越长,减少的记录笔数越多。使用 [数据收集间隔时间] 选项可调整这个间隔时间。

原始数据压缩

系统会在积存每小时数据期间压缩原始数据。一小时的 NetFlow 原始记录在每小时数据保留期限过后,将被压缩成单条记录。虽然单个流量的开始与停止时间可能因此消失,但这个压缩程序可初步节省数据保存空间。使用 [原始数据保留时间:x 小时] 选项可决定要将原始数据保留多久,才积存为每小时数据记录。

筛选流量数据

数据保留策略的下一步是筛选流量数据,亦即删除欲保存数据中最小的流量记录。筛选方法是将流量记录予以排列,并根据流量报告的字节数代表的传输流量字节大小,保留固定比例的流量记录总数。系统配置是按大小 (字节数) 保留 97 ~ 99% 的流量记录,舍弃最后 1 ~ 3% 的 Flow 传输流量。虽然舍弃的记录和流量数据字节总数相比微不足道,但是若操作环境经常出现断线、端口扫描活动,或其他导致字节数偏低的流量活动,则舍弃的流量记录笔数还是可能有几千笔。筛选这些记录后,我们会发现保存空间需求大减,且数据密集操作的性能因而提高,只要稍微减少数据保留量即可见效。收集程序写入原始记录,以及将原始数据积存成每小时数据、每小时数据积存成每日数据时,系统就会筛选流量数据。[要保留的传输流量百分比] 选项让您设定要保留的流量数据百分比。

压缩每日流量数据

筛选数据后,系统会在积存每日数据期间压缩数据。一天的每小时积存数据在每日数据保留期限过后,将被压缩成当日的单条记录。使用 [每小时数据保留时间:x 天] 选项,即可决定要将每小时积存记录保留在主动 流量监控工具 数据库中多久,才积存为每日记录。

Flow 数据存档

最后,系统每天都会存档每日数据。存档操作会删除超过每日数据保留时间的每日数据。系统每天在积存每日数据期间,会将每日记录写入 NetFlow 存档,并删除 NetFlow 主动数据库中的这条记录。使用 [每日数据保留时间:x 天] 选项,即可决定要将每日积存记录保留在主动 流量监控工具 数据库中多久,才存档到 流量监控工具 存档数据库中。

调整数据保留功能

若要手动调整数据保留功能,您可调整 [数据收集间隔时间][要保留的传输流量百分比] 和数据保留策略各阶段的保留时间 (流量原始数据、每小时流量数据及每日流量数据)。您亦可选择 [自动调整流量数据保留时间] 选项,自动调整这项功能。

若您启用系统自动调整功能 (选择 [自动调整流量数据保留时间] 选项),系统会调整数据保留时间,并将记录笔数维持在正常范围内,使数据保存空间与系统性能保持在最佳状态。流量监控工具 可利用收集到的数据库信息略估成长速度,并调整数据保留设置,使数据库总大小维持在建议范围内:最少 1 百万笔、最多 1 千万笔流量记录。这个建议范围乃根据数据保留策略各阶段的保存空间需求而来。

手动调整 [数据保留] 设置时 (已取消 [自动调整流量数据保留时间] 选项),对话框最下方的信息区域,会在您调整设置时显示相关说明。这类说明可告诉您目前或建议的设置,对数据库建议大小上限 (1 千万条记录) 有何影响。若为原始数据、每小时数据和每日数据,则系统会根据 流量监控工具 Active 数据库的大小,将建议数据库大小上限与这些类别的所有数据进行比较。若为 [每日数据存档时间] 设置,系统会根据 流量监控工具 Archive 数据库的大小提供引导。

另请参阅

管理流量监控工具设置

流量监控工具设置

配置 流量监控工具 以侦听 NetFlow 数据

设定记录等级

配置数据保留设置