Wie verhält sich die Datenverarbeitungs-Pipeline in Randbedingungen, z. B. wenn die Kommunikation des Plattform-Collector-Servers unterbrochen wird?

  • Wie lange ist der Standard-Aufbewahrungszeitraum?

    30 Tage. Er kann über die Benutzeroberfläche mit der Enterprise-Lizenz erweitert werden. Hinweis: Achten Sie beim Erweitern darauf, die Festplattenrichtlinien zu befolgen.

  • Wie werden die Daten auf dem Collector verarbeitet?

    Alle Daten auf dem Collector werden in SDM (Selbstbeschreibende Meldung) konvertiert, bevor sie einschließlich der Flow-Daten an die Plattform gesendet werden. Sie enthalten alle Konfigurations-, Bestandslisten- und Metrikdaten aus jeder Datenquelle. Wenn die Plattform nicht erreichbar ist oder der SDM-Upload in die Kafka-Warteschlange fehlschlägt, werden sie auf der Collector-VM (unter /var/BLOB_STORE) auf die Festplatte geschrieben.

  • Wann beginnt die Bereinigung von Daten auf dem Collector?

    Für Nicht-Flow-Daten: Es sind 10 GB an Speicherplatz für die Speicherung von SDMs auf der Festplatte (BLOB_STORE) zugeteilt. Wenn dieser Speicher gefüllt wird, beginnt der Collector mit dem Löschen älterer SDMs und fügt der Festplatte neue SDMs hinzu. Es hängt von der Größe der Daten ab, die von allen Datenquellen erfasst werden, wie schnell dieser Grenzwert überschritten wird.

    Für Flow-Daten: Es sind 15 GB an Speicherplatz für die Speicherung von Raw-Flows (unter /var/flows/vds/nfcapd) zugeteilt. Sobald dieser Speicherplatz belegt ist, beginnt der Flow-Prozessor mit dem Löschen älterer Flow-Dateien. Bei eingehender Raw-Flow-Rate von etwa 2M/min würde es ungefähr 10 Stunden dauern, bis mit der Rotation begonnen wird.
  • Was ist die Bereinigungslogik?

    Die ältesten SDMs werden zuerst gelöscht.

  • Wann werden neue Daten nicht mehr im Collector verarbeitet?

    Niemals, solange die Dienste ordnungsgemäß ausgeführt werden.

  • Würden unter der Annahme einer Trennung zwischen Plattform und Collector und dass keine Bereinigungsbedingung erfüllt wird, alle Daten auf der Plattform bei der erneuten Verbindung abgeglichen?

    Alle auf der Festplatte gespeicherten Daten werden an die Plattform gesendet. Sie sollten vollständig abgestimmt werden, außer wenn Datenverlustbedingungen auf der Plattform vorhanden sind (Weitere Informationen unten).

  • Welche Bedingungen können zu Datenverlusten auf der Plattform führen?

    Die Plattform beginnt damit, SDMs abzulegen, die sich für mehr als 6 Stunden (18 Stunden, wenn es sich um einen Cluster mit 3 Knoten handelt) in der Kafka-Warteschlange befinden. Eine weitere Möglichkeit besteht, wenn die Warteschlange gesättigt ist. Es kann passieren, wenn im System eine Verzögerung aufgebaut wird und die Rate der eingehenden Daten hoch ist.

  • Wird die neueste SDM zuerst oder die früheste in dieser Reihenfolge veröffentlicht?

    Die ältesten SDMs werden zuerst gesendet. Es gibt ein bekanntes Problem bis v3.9, das zu einem Datenverlust führt. Wenden Sie sich an GSS, um weitere Informationen zu erhalten.

  • Werden Daten auf der Festplatte im Collector gespeichert und dann auf die Plattform verschoben, wenn kein Kommunikationsproblem vorliegt?

    Wenn kein Kommunikationsproblem vorliegt, werden SDMs nicht auf der Festplatte gespeichert. Sie werden aus dem Arbeitsspeicher selbst an die Plattform gesendet. Wenn der Collector eine Meldung erhält, dass ein Problem beim Senden von SDM aufgetreten ist, werden sie nur auf der Festplatte gespeichert.

  • Wie erkennt der Collector bei einem Problem, welche Flow-Datei zuletzt verarbeitet wurde?

    Der Flow-Prozessor verwaltet Lesezeichen in der DB, in der die zuletzt verarbeitete nfcapd-Datei war.

  • Was ist die maximale Größe von SDM, die ohne Probleme verarbeitet werden kann? Wie kann der Benutzer von dieser Überschreitung erfahren?

    Es gibt einen Grenzwert von 15 MB für die SDM-Größe. Ab v3.9 wird ein Ereignis ausgelöst, wenn die Plattform ein großes SDM ablegt.