À partir de VMware Private AI Foundation with NVIDIA pour VMware Cloud Foundation 5.2.1, vous pouvez distribuer en tant qu'ingénieur MLOps des modèles d'apprentissage automatique sur des VM à apprentissage profond et des clusters TKG à l'aide d'un registre de conteneur Harbor central.

L'utilisation d'une galerie de modèles centrale pour vos modèles d'apprentissage automatique offre les avantages suivants :

  • Distribuez dans votre organisation des modèles que vous avez validés sur une VM à apprentissage profond. Les modèles sur Internet peuvent contenir du code malveillant ou être adaptés pour un comportement malveillant.
  • Distribuez des modèles pour permettre une livraison continue entre les organisations ou promouvez-la entre les plates-formes ou les environnements.
  • Maintenez l'intégrité des modèles dans votre environnement contrôlé.
  • À l'aide des capacités d'accès au projet Harbor, vous pouvez limiter l'accès aux données sensibles utilisées pour entraîner et adapter un modèle.
  • Stockez des métadonnées dans le format https://github.com/opencontainers/distribution-spec/blob/main/spec.mdOpen Container Initiative (OCI) décrivant le contenu et les dépendances de vos modèles d'apprentissage automatique. De cette manière, vous pouvez identifier les plates-formes qui peuvent exécuter un modèle cible.

Vous pouvez utiliser Harbor pour stocker des modèles à partir du catalogue NVIDIA NGC, de Hugging Face et d'un autre catalogue de modèles d'apprentissage automatique.

Qu'est-ce que la galerie de modèles ?

Une galerie de modèles dans VMware Private AI Foundation with NVIDIA est un projet Harbor avec la configuration suivante :

Tableau 1. Galerie de modèles d'apprentissage automatique dans Harbor
Entité galerie de modèles Entité Harbor ou OCI Configurations requises
Galerie de modèles Projet avec accès utilisateur configuré Nom unique requis dans le registre Harbor.
Modèle Référentiel OCI Nom unique requis dans le projet conformément au format OCI.
Révision Artefact OCI Manifeste immuable identifié par la synthèse du contenu.

Si les mêmes données de modèle sont transférées plusieurs fois, une seule révision est stockée. Si les données du modèle changent, chaque opération de transfert crée une révision.

Vous pouvez baliser une révision de modèle. Contrairement à un écosystème de conteneurs, bien que prise en charge, la balise latest n'est pas l'option par défaut lors de l'extraction d'un modèle.
Fichier Couche OCI et blob -

Par exemple, Harbor utilise le format suivant pour un exemple de révision du modèle Llama :



Transfert des modèles et extraction de ceux-ci d'une galerie de modèles

Dans VMware Private AI Foundation with NVIDIA, vous pouvez utiliser une VM à apprentissage profond pour valider et adapter les modèles, téléchargés à partir d'un registre de conteneur public ou d'un registre de conteneur dans votre organisation. Ensuite, utilisez l'utilitaire de ligne de commande pais sur la VM pour transférer les modèles et les extraire des galeries de modèles dans Harbor.