資料管理和處理

在邊界條件下，例如，平台-收集器伺服器通訊中斷時，資料處理管線會如何表現？

• 預設保留期間是多久？

  30 天。可以使用企業授權從使用者介面增加天數。附註：增加時，請確保遵循磁碟準則。

• 如何在收集器上處理資料？

  收集器上的所有資料將在傳送至平台 (包括流量資料) 之前都轉換為 SDM (自描述訊息)。其中包括任何資料來源中的所有組態、詳細目錄和度量資料。如果無法連線到平台或將 SDM 上傳至 Kafka 佇列失敗，則會將其寫入收集器虛擬機器上的磁碟中 (位於 /var/BLOB_STORE 下)。

• 何時開始清除收集器上的資料？

  對於非流量資料：配置了 10 GB 空間用於在磁碟 (BLOB_STORE) 上儲存 SDM。當此存放區填滿時，收集器會開始刪除較舊的 SDM 並將新的 SDM 新增到磁碟。這取決於從所有資料來源收集的資料大小以及超出此限制的速度。

  對於流量資料：配置了 15 GB 空間用於儲存原始流量 (位於 /var/flows/vds/nfcapd 下)。只要耗用此空間，流量處理器就會開始刪除較舊的流量檔案。如果傳入原始流量速率約為 2M/分鐘，則大約需要 10 小時才會開始輪替。
• 清除邏輯是什麼？

  首先刪除最舊的 SDM。

• 何時在收集器中停止處理新資料？

  只要服務正常執行，就永遠不會停止。

• 假設平台和收集器之間中斷連線並且沒有滿足清除條件，則在重新連線時是否會在平台上協調所有資料？

  儲存在磁碟上的所有資料都將傳送至平台。除非平台上存在資料遺失情況 (更多資訊如下)，否則應進行完全協調。

• 在平台上發生資料遺失情況有哪些條件？

  平台開始捨棄 Kafka 佇列上的 SDM 超過 6 小時 (若為 3 節點叢集，則為 18 小時)。另一個可能性是佇列處於飽和狀態。當系統中存在滯後且傳入資料速率較高時，可能會發生這種情況。

• 最新的 SDM 是先發佈還是按照該順序中為最早的一個？

  首先傳送最舊的 SDM。在 3.9 版本之前存在一個已知問題，該問題會導致部分資料遺失。如需詳細資訊，請連絡 GSS。

• 如果不存在任何通訊問題，是否會將資料儲存在收集器中的磁碟上，然後再將其推送至平台？

  如果不存在任何通訊問題，則不會將 SDM 儲存在磁碟上。該資料會自行從記憶體傳送至平台。僅當收集器收到傳送 SDM 出現問題時，才會將資料儲存在磁碟上。

• 如果出現任何問題，收集器如何知道哪個是上次處理的流量檔案？

  流量處理器會在資料庫中保留上次處理的 nfcapd 檔案的書籤。

• 如果沒有任何問題，則可以處理的 SDM 大小上限為何？使用者如何瞭解是否超出此限制？

  SDM 大小限制為 15 MB。從 3.9 版本開始，只要平台捨棄大型 SDM，都會引發事件。