Installer Fluent Bit pour le transfert de journaux

Cette rubrique explique comment déployer Fluent Bit dans un cluster de gestion autonome ou de charge de travail dans Tanzu Kubernetes Grid.

Fluent Bit est un processeur et un redirecteur de journaux léger. L'implémentation de Fluent Bit fournie dans cette version de Tanzu Kubernetes Grid vous permet de collecter des journaux à partir de clusters s'exécutant sur vSphere 8, Amazon Web Services (AWS) et Azure. Vous pouvez ensuite les transférer vers un fournisseur de stockage de journaux tel qu'Elastic Search Kafka, Splunk ou un point de terminaison HTTP.

Vous pouvez déployer Fluent Bit sur n'importe quel cluster de gestion autonome ou cluster de charge de travail à partir duquel vous souhaitez collecter des journaux. Tout d'abord, vous configurez un plug-in de sortie sur le cluster à partir duquel vous souhaitez collecter des journaux, en fonction du point de terminaison que vous utilisez. Ensuite, vous déployez Fluent Bit sur le cluster.

Conditions requises

• Une machine de démarrage avec les éléments suivants installés :
  • CLI Tanzu et kubectl, comme décrit dans la section Installer la CLI Tanzu et la CLI Kubernetes à utiliser avec des clusters de gestion autonomes.
  • yq v4.5 ou version ultérieure.
• Cluster de gestion autonome et cluster de charge de travail s'exécutant sur vSphere 8, AWS ou Azure. Pour plus d'informations sur le déploiement de clusters de charge de travail, reportez-vous à la section Création de clusters de charge de travail.
• Vous avez déployé l'un des serveurs principaux de gestion de journalisation pour le stockage et l'analyse des journaux que Fluent Bit prend en charge, tels que VMware Aria Operations for Logs. Pour plus d'informations, reportez-vous à la documentation Fluent Bit.

Préparer le cluster pour le déploiement de Fluent Bit

Remarque

vous devez déployer Fluent Bit sur chaque cluster à partir duquel vous souhaitez collecter des journaux.

Pour préparer le cluster :

1. Obtenez les informations d'identification de l'administrateur du cluster dans lequel vous souhaitez déployer Fluent Bit. Par exemple :

   tanzu cluster kubeconfig get my-cluster --admin
   

2. Définissez le contexte de kubectl sur le cluster. Par exemple :

   kubectl config use-context my-cluster-admin@my-cluster
   

Déployer Fluent Bit sur un cluster

Suivez la procédure ci-dessous pour déployer Fluent Bit sur un cluster :

1. Si le cluster ne dispose pas d'un référentiel de modules avec le module Fluent Bit installé, tel que le référentiel tanzu-standard, installez-en un :

   tanzu package repository add PACKAGE-REPO-NAME --url PACKAGE-REPO-ENDPOINT --namespace tkg-system
   

   Où :

   • PACKAGE-REPO-NAME est le nom du référentiel de modules, tel que tanzu-standard ou le nom d'un registre d'images privé configuré avec des variables ADDITIONAL_IMAGE_REGISTRY.

   • PACKAGE-REPO-ENDPOINT est l'URL du référentiel de modules.

     • Pour cette version, l'URL tanzu-standard est projects.registry.vmware.com/tkg/packages/standard/repo:v2023.10.16. Reportez-vous à la section Répertorier les référentiels de modules (List Package Repositories) pour obtenir cette valeur depuis la CLI Tanzu ou, dans Tanzu Mission Control, consultez la liste Modules complémentaires (Addons) > Référentiels (Repositories) dans le volet Cluster.

2. Si vous ne l'avez pas encore fait, installez le gestionnaire de certificats dans le cluster. Pour obtenir des instructions, reportez-vous à la section Installer le gestionnaire de certificats pour la gestion des certificats.

3. Vérifiez que le module Fluent Bit est disponible dans votre cluster :

   tanzu package available list -A
   

4. Récupérez la version du module disponible :

   tanzu package available list fluent-bit.tanzu.vmware.com -A
   

5. Préparez un fichier de configuration pour le module Fluent Bit :

   1. Récupérez la configuration par défaut du module :

      tanzu package available get fluent-bit.tanzu.vmware.com/PACKAGE-VERSION --default-values-file-output FILE-PATH
      

      Où PACKAGE-VERSION est la version du module Fluent Bit que vous souhaitez installer et FILE-PATH est l'emplacement dans lequel vous souhaitez enregistrer le fichier de configuration (par exemple, fluent-bit-data-values.yaml).

   2. En fonction du serveur principal de gestion des journaux que vous souhaitez configurer, ajoutez une ou plusieurs configurations [Output] à la clé fluent_bit.config.outputs dans le fichier fluent-bit-data-values.yaml.

   3. Vérifiez et, si nécessaire, modifiez d'autres paramètres de configuration. Pour obtenir les liens d'accès aux listes complètes des paramètres de configuration que vous pouvez définir dans fluent-bit-data-values.yaml, reportez-vous à la section Paramètres de configuration du module Fluent Bit ci-dessous.

6. Après avoir préparé votre fichier fluent-bit-data-values.yaml, supprimez tous les commentaires du fichier :

   yq -i eval '... comments=""' fluent-bit-data-values.yaml
   

7. Exécutez tanzu package install pour déployer le module :

   tanzu package install fluent-bit \
   --package fluent-bit.tanzu.vmware.com \
   --version AVAILABLE-PACKAGE-VERSION \
   --values-file fluent-bit-data-values.yaml \
   --namespace TARGET-NAMESPACE
   

   Où :

   • TARGET-NAMESPACE est l'espace de noms dans lequel vous souhaitez installer le module Fluent Bit. Par exemple, l'espace de noms my-packages.

     • Si l'indicateur --namespace n'est pas spécifié, la CLI Tanzu utilise l'espace de noms default. Les espaces Fluent Bit et toutes les autres ressources associées au composant Fluent Bit sont créés dans l'espace de noms que vous avez fourni dans fluent-bit-data-values.yaml. N'installez pas le module Fluent Bit dans cet espace de noms.
     • L'espace de noms spécifié doit déjà exister, par exemple en exécutant kubectl create namespace my-packages.

   • AVAILABLE-PACKAGE-VERSION est la version que vous avez récupérée en exécutant tanzu package available ci-dessus.

   Par exemple :

   tanzu package install fluent-bit --package fluent-bit.tanzu.vmware.com --namespace my-packages --version 2.1.2+vmware.1-tkg.1
   

Paramètres de configuration du module Fluent Bit

Le tableau suivant répertorie les paramètres de configuration du module Fluent Bit et décrit leurs valeurs par défaut. Vous pouvez définir les valeurs de configuration suivantes dans votre fichier fluent-bit-data-values.yml créé dans la section Déployer Fluent Bit sur un cluster ci-dessus.

Paramètre	Description	Type	Par défaut
namespace	Espace de noms où Fluent Bit sera déployé.	String	tanzu-system-logging
fluent_bit.config.outputs	Pour plus d'informations sur la configuration des sorties Fluent Bit, reportez-vous à la documentation Fluent Bit.	YAML multiligne	Standard output
fluent_bit.config.parsers	Pour plus d'informations sur la configuration des analyseurs Fluent Bit, reportez-vous à la documentation Fluent Bit.	YAML multiligne	JSON parser
fluent_bit.config.plugins	Contenu de la configuration des plug-ins Fluent Bit.	String	<nil>
fluent_bit.config.service	Pour plus d'informations sur la configuration du service Fluent Bit, reportez-vous à la documentation Fluent Bit.	YAML multiligne	Configuration du service Fluent Bit par défaut.
fluent_bit.config.streams	Contenu du fichier de flux Fluent Bit.	String	<nil>
fluent_bit.config.filters	Pour plus d'informations sur la configuration des filtres Fluent Bit, reportez-vous à la documentation Fluent Bit.	YAML multiligne	Filtre Kubernetes par défaut.
fluent_bit.config.inputs	Pour plus d'informations sur la configuration des entrées Fluent Bit, reportez-vous à la documentation Fluent Bit.	String	Ingérez les journaux du conteneur Kubernetes à l'aide du plug-in tail et ingérez les journaux systemd à partir de kubelet.
fluent_bit.daemonset.resources	Pour plus d'informations sur la configuration requise des ressources des conteneurs Fluent Bit, reportez-vous à la documentation Fluent Bit.	YAML multiligne	<nil>
fluent_bit.daemonset.podAnnotations	Annotations d'espace des déploiements Fluent Bit.	Liste	<nil>
fluent_bit.daemonset.podLabels	Étiquettes d'espace des déploiements Fluent Bit.	Liste	<nil>

Vérifier le déploiement de Fluent Bit

Après avoir déployé Fluent Bit, vous pouvez vérifier que le déploiement a réussi :

1. Vérifiez que le module Fluent Bit est installé. Par exemple :

   tanzu package installed list -A
   

   Le module fluent-bit et l'application fluent-bit sont installés dans l'espace de noms que vous spécifiez lors de l'exécution de la commande tanzu package install.

2. Vérifiez que l'application fluent-bit a été rapprochée de votre espace AVAILABLE-PACKAGE-NAMESPACE:

   kubectl get apps -A
   

   Si l'état n'est pas Reconcile succeeded, affichez les détails de l'état complet de l'application fluent-bit. L'affichage de l'état complet peut vous aider à résoudre le problème :

   kubectl get app fluent-bit --namespace AVAILABLE-PACKAGE-NAMESPACE -o yaml
   

   Où AVAILABLE-PACKAGE-NAMESPACE est l'espace de noms dans lequel vous avez installé le module.

3. Vérifiez que les nouveaux services sont en cours d'exécution en répertoriant tous les espaces qui s'exécutent dans le cluster :

   kubectl get pods -A
   

   Dans l'espace de noms tanzu-system-logging, vous devez voir le service fluent-bit s'exécutant dans un espace :

   NAMESPACE               NAME                     READY   STATUS    RESTARTS   AGE
   [...]
   tanzu-system-logging    fluent-bit-zd2tn         1/1     Running   0          6m23s
   [...]
   

   Les espaces Fluent Bit et toutes les autres ressources associées au composant Fluent Bit sont créés dans l'espace de noms que vous avez fourni dans le fichier fluent-bit-data-values.yaml. Si vous utilisez l'espace de noms par défaut, ceux-ci sont créés dans l'espace de noms tanzu-system-logging.

Mettre à jour un déploiement de Fluent Bit en cours d'exécution

Pour apporter des modifications à la configuration du module Fluent Bit après le déploiement, mettez à jour votre module Fluent Bit déployé :

1. Mettez à jour la configuration Fluent Bit dans le fichier fluent-bit-data-values.yaml.

2. Mettez à jour le module installé :

   tanzu package installed update fluent-bit \
   --version 2.1.2+vmware.1-tkg.1 \
   --values-file fluent-bit-data-values.yaml \
   --namespace my-packages
   

   Sortie attendue :

   | Updating package 'fluent-bit'
   - Getting package install for 'fluent-bit'
   | Updating secret 'fluent-bit-my-packages-values'
   | Updating package install for 'fluent-bit'
   
    Updated package install 'fluent-bit' in namespace 'my-packages'
   

Le module Fluent Bit est rapproché à l'aide de la nouvelle valeur ou des nouvelles valeurs que vous avez ajoutées. L'application des modifications pour kapp-controller peut prendre jusqu'à cinq minutes.

Pour plus d'informations sur la mise à jour, reportez-vous à la section Mettre à jour un module.

Supprimer un déploiement de Fluent Bit

Pour supprimer le module Fluent Bit sur votre cluster, exécutez :

tanzu package installed delete fluent-bit --namespace my-packages

Pour plus d'informations sur la suppression, reportez-vous à la section Supprimer un module.