Comment le pipeline de traitement des données se comporte-t-il dans des conditions de limite, par exemple lorsque la communication entre le serveur de collecteur et la plate-forme est interrompue ?
- Quelle est la période de rétention par défaut ?
30 jours. Elle peut être prolongée dans l'interface utilisateur à l'aide de la licence d'enterprise. Remarque : si vous la prolongez, veillez à suivre les instructions relatives au disque.
- Comment les données sont-elles gérées sur le collecteur ?
Toutes les données sur le collecteur, y compris les données de flux, sont converties en message auto-descriptif (SDM, Self Describing Message) avant leur envoi vers la plate-forme. Cela inclut toutes les données de configuration, d'inventaire et de mesure provenant de n'importe quelle source de données. Si la plate-forme n'est pas accessible ou si le téléchargement de SDM vers la file d'attente Kafka échoue, elles sont écrites sur le disque de la VM de collecteur (sous /var/BLOB_STORE).
- À quel moment la purge des données démarre-t-elle sur le collecteur ?
Dans le cas des données autres que de flux : 10 Go d'espace sont alloués au stockage des SDM sur le disque (BLOB_STORE). Lorsque ce magasin est rempli, le collecteur commence à supprimer les anciens SDM et ajoute les nouveaux au disque. La vitesse à laquelle cette limite est atteinte dépend de la taille des données collectées à partir de toutes les sources de données.
Dans le cas des données de flux : 15 Go d'espace sont alloués au stockage des flux bruts (sous /var/flows/vds/nfcapd). Une fois cet espace consommé, le processeur de flux commence à supprimer les anciens fichiers de flux. Avec un débit de flux bruts entrants d'environ 2 M/min, la rotation démarrerait après 10 heures. - Quelle est la logique de la purge ?
Les plus anciens SDM sont supprimés en premier.
- À quel moment les nouvelles données cessent-elles d'être traitées dans le collecteur ?
Jamais, le traitement continue tant que les services fonctionnent correctement.
- Supposons que la plate-forme est déconnectée du collecteur et qu'aucune condition de purge n'est remplie ; toutes les données seront-elles rapprochées lors de la reconnexion de la plate-forme ?
Toutes les données stockées sur le disque seront envoyées vers la plate-forme. Elles doivent être toutes rapprochées, sauf si des conditions de perte de données existent sur la plate-forme. Vous trouverez plus d'informations sur ce point plus bas.
- Dans quelles conditions des pertes de données peuvent-elles se produire sur la plate-forme ?
La plate-forme commence à abandonner les SDM qui se trouvent dans la file d'attente Kafka depuis plus de 6 heures (18 heures dans le cas d'un cluster à 3 nœuds). Des données peuvent également être perdues si la file d'attente est saturée. Cela peut se produire lorsqu'un retard est généré dans le système et que le débit des données entrantes est élevé.
- Le premier SDM publié est-il le plus ancien ou le plus récent ?
Les plus anciens SDM sont envoyés en premier. Le produit jusqu'à la version v3.9 présente un problème qui entraîne une perte de données. Contactez GSS pour obtenir plus d'informations.
- Les données sont-elles stockées sur le disque du collecteur, puis transmises à la plate-forme lorsqu'il n'existe aucun problème de communication ?
S'il n'existe aucun problème de communication, les SDM ne sont pas stockés sur le disque. Il sont envoyés vers la plate-forme à partir de la mémoire même. Les données sont stockées sur le disque lorsque le collecteur est informé d'un problème lors de l'envoi de SDM uniquement.
- En cas de problème, comment le collecteur sait-il quel fichier de flux a été traité en dernier ?
Le processeur de flux gère le signet dans la base de données dans laquelle le fichier nfcapd a été traité pour la dernière fois.
- Quelle est la taille maximale d'un SDM pouvant être traitée sans problème ? Comment l'utilisateur peut-il savoir si la limite est atteinte ?
La taille du SDM est limitée à 15 Mo. À partir de la version v3.9, un événement est déclenché chaque fois que la plate-forme abandonne un SDM volumineux.
