資料保留策略與調整方式

Flow Monitor 每分鐘可處理來自 NetFlow 設備及 Flow Publisher 的數百萬筆 NetFlow 記錄,同時能以 SNMP 直接輪詢的方式,收集個別設備的網路介面資料。原始表單保留的流量記錄筆數,會直接影響 Flow Monitor 資料庫的大小,以及資料密集作業的效能 (例如產生與顯示報表)。Flow Monitor 利用資料壓縮、篩選及封存作法,降低資料保留功能對系統儲存空間與作業的影響。下表說明資料保留策略的各個階段,以及各階段對 Flow Monitor 資料庫儲存的流量記錄筆數有哪些影響。

初次資料壓縮

資料保留策略的第一步,要在收集原始資料的間隔期間完成。在資料連續收集間隔期間出現的 Flow 記錄,若含有相同的重要資料,則會合併成單筆流量記錄。這項功能可稍微減少記錄筆數。資料收集間隔時間越長,減少的記錄筆數越多。使用 [資料收集間隔時間] 選項可調整這個間隔時間。

原始資料壓縮

系統會在積存每小時資料期間壓縮原始資料。一小時的 NetFlow 原始記錄在每小時資料保留期限過後,將被壓縮成單筆記錄。雖然個別流量的開始與停止時間可能因此消失,但這個壓縮程序可初步節省資料儲存空間。使用 [原始資料保留時間:x 小時] 選項可決定要將原始資料保留多久,才積存為每小時資料記錄。

篩選流量資料

資料保留策略的下一步是篩選流量資料,亦即刪除欲儲存資料中最小的流量記錄。篩選方法是根據流量代表的傳輸流量位元組大小,將流量記錄予以排列,同時保留某固定比例的流量記錄總數。系統設定是按大小 (位元組數) 保留 97 ~ 99% 的流量記錄,捨棄最後 1 ~ 3% 的 Flow 傳輸流量。雖然捨棄的記錄和流量資料位元組總數相比微不足道,但是若作業環境經常出現斷線、連接埠掃描活動,或其他導致位元組數偏低的流量活動,則捨棄的流量記錄筆數還是可能有幾千筆。篩選這些記錄後,我們會發現儲存空間需求大減,且資料密集作業的效能因而提高,只要稍微減少資料保留量即可見效。系統會在積存每小時資料期間篩選流量資料,並將原始流量資料轉換成每小時資料。[要保留的傳輸流量百分比] 選項讓您設定要保留的流量資料百分比。

壓縮每日流量資料

篩選資料後,系統會在積存每日資料期間壓縮資料。一天的每小時積存資料在每日資料保留期限過後,將被壓縮成當日的單筆記錄。使用 [每小時資料保留時間:x 天] 選項,即可決定要將每小時積存記錄保留在主動 Flow Monitor 資料庫中多久,才積存為每日記錄。

Flow 資料封存

最後,系統每天都會封存每日資料。封存作業會刪除超過每日資料保留時間的每日資料。系統每天在積存每日資料期間,會將每日記錄寫入 NetFlow 封存檔,並刪除 NetFlow 主動資料庫中的這筆記錄。使用 [每日資料保留時間:x 天] 選項,即可決定要將每日積存記錄保留在主動 Flow Monitor 資料庫中多久,才封存到 Flow Monitor 封存檔資料庫中。

調整資料保留功能

若要手動調整資料保留功能,您可調整 [資料收集間隔時間][要保留的傳輸流量百分比] 和資料保留策略各階段的保留時間 (流量原始資料、每小時流量資料及每日流量資料)。您亦可選取 [自動調整流量資料保留時間] 選項,自動調整這項功能。

若您啟用系統自動調整功能 (選取 [自動調整流量資料保留時間] 選項),系統會調整資料保留時間,並將記錄筆數維持在正常範圍內,使資料儲存空間與系統效能保持在最佳狀態。Flow Monitor 可利用收集到的資料庫資訊略估成長速度,並調整資料保留設定值,使資料庫總大小維持在建議範圍內:最少 1 百萬筆、最多 1 千萬筆流量記錄。這個建議範圍乃根據資料保留策略各階段的儲存空間需求而來。

手動調整 [資料保留] 設定值時 (已取消 [自動調整流量資料保留時間] 選項),對話方塊最下方的訊息區域,會在您調整設定值時顯示相關說明。這類說明可告訴您目前或建議的設定值,對資料庫建議大小上限 (1 千萬筆記錄) 有何影響。若為原始資料、每小時資料和每日資料,則系統會根據 Flow Monitor Active 資料庫的大小,將建議資料庫大小上限與這些類別的所有資料進行比較。若為 [每日資料封存時間] 設定值,系統會根據 Flow Monitor Archive 資料庫的大小提供引導。

另請參閱

管理 Flow Monitor 設定值

Flow Monitor 設定值

設定 Flow Monitor 以偵聽 NetFlow 資料

設定記錄等級

設定資料保留設定值