Exemple de workflow : valider et télécharger un modèle d'apprentissage automatique dans une galerie de modèles

En tant qu'ingénieur MLOps, validez les modèles d'apprentissage automatique intégrés aux exigences de sécurité, de confidentialité et techniques de votre organisation. Vous pouvez ensuite charger les modèles vers une galerie de modèles dédiée à utiliser par les développeurs d'applications d'IA ou les ingénieurs MLOps pour un déploiement automatisé basé sur CI/CD d'exécutions de modèles.

Procédure

1. Déployez une VM à apprentissage profond avec un serveur d'inférence Triton et ouvrez une connexion SSH vers celle-ci en tant que vmware.

   Vous pouvez utiliser l'un des workflows suivants. En tant qu'ingénieur MLOps, vous pouvez déployer directement une base de données à partir de VMware Aria Automation. Sinon, demandez un déploiement de VM auprès de votre administrateur de cloud ou ingénieur DevOps.

   Workflow de déploiement.	Rôle d'utilisateur requis	Description
   Effectuez le déploiement à l'aide d'un élément de catalogue en libre-service dans VMware Aria Automation	Ingénieur MLOps	Reportez-vous à la section Déployer une VM à apprentissage profond avec le serveur d'inférence Triton NVIDIA à l'aide d'un élément Catalogue en libre-service dans VMware Aria Automation.
   Effectuez un déploiement direct sur un cluster vSphere.	Administrateur de cloud	Reportez-vous à la section Déployer une VM à apprentissage profond directement sur un cluster vSphere de VMware Private AI Foundation with NVIDIA.
   Effectuez le déploiement à l'aide de la commande kubectl.	Ingénieur DevOps	Reportez-vous à la section Déployer une VM à apprentissage profond à l'aide de la commande kubectl dans VMware Private AI Foundation with NVIDIA.

   Si le modèle est hébergé dans Hugging Face, vous pouvez installer l'utilitaire de commande huggingface-cli dans le cadre du script cloud-init et l'utiliser pour télécharger des modèles open-weights (à poids ouverts) hébergés sur Hugging Face Hub. Utilisez l'indicateur --local-dir pour télécharger le modèle sans liens symboliques afin que l'interface de ligne de commande pais puisse traiter le modèle.
2. Ajoutez le certificat de l'émetteur du registre Harbor au magasin d'approbations de certificats sur la VM à apprentissage profond.
   1. Demandez le certificat d'autorité de certification à l'administrateur du registre Harbor.
   2. Chargez le certificat sur la machine virtuelle, par exemple, à l'aide d'un client scp (Secure Copy Protocol) sur votre station de travail.
      Par exemple :

      scp infra/my-harbor-issuing-ca.crt [email protected]:

   3. Copiez le certificat dans le répertoire /usr/local/share/ca-certificates et ajoutez-le au magasin d'approbations.
      Par exemple :

      sudo cp my-harbor-issuing-ca.crt /usr/local/share/ca-certificates/
      sudo update-ca-certificates
      

   4. Pour enregistrer les modifications, redémarrez le service Docker.

      sudo systemctl restart docker

3. Téléchargez le modèle que vous prévoyez de valider dans la VM à apprentissage profond à partir du catalogue NVIDIA NGC, Hugging Face ou un autre hub de modèle.
4. Effectuez des tests d'exécution dans la VM à apprentissage profond en tant que sandbox.
   1. Validez l'intégrité du modèle en vérifiant le code de hachage des fichiers de modèle.
   2. Recherchez les programmes malveillants éventuels dans les fichiers de modèles.
   3. Analysez le modèle à la recherche d'attaques de sérialisation.
   4. Assurez-vous que l'inférence fonctionne comme prévu à l'aide du serveur d'inférence Triton.
      Reportez-vous à la section Serveur d'inférence Triton.
   5. Évaluez la performance et la sécurité du modèle pour votre cas d'utilisation professionnel.
      Par exemple, vous pouvez examiner les demandes d'inférence pour détecter un comportement malveillant et effectuer des tests fonctionnels pratiques.
5. Connectez-vous au registre Harbor à l'aide de docker login.

   docker login -u my_harbor_user_name my-harbor-repo-mycompany.com

6. À partir du répertoire qui contient les fichiers de modèles, transférez le modèle vers le projet Harbor pour l'organisation cible.
   Par exemple, pour télécharger un modèle bge-small-en-v1.5 de la Beijing Academy of Artificial Intelligence (BAAI) vers un magasin pour les développeurs d'applications d'IA :

   cd ./baai/bge-small-en-v1.5
   pais models push --modelName baai/bge-small-en-v1.5 --modelStore my-harbor-repo-mycompany.com/dev-models --tag approved
   

   Si vous effectuez à nouveau un transfert vers le même modelName, créez des révisions du modèle qui peuvent être balisées en fonction de vos préférences. Une synthèse unique est attribuée à chaque révision pour maintenir l'intégrité.

7. Répertoriez les modèles disponibles dans la galerie de modèles et vérifiez si votre modèle a été chargé.

   pais models list --modelStore my-harbor-repo-mycompany.com/dev-models

Que faire ensuite

À l'aide de l'utilitaire de ligne de commande pais dans les instances de VM à apprentissage profond, copiez des modèles entre les galeries de modèles pour les rendre disponibles dans les organisations ou les zones fonctionnelles.