En tant qu'administrateur de cloud, vous pouvez utiliser la pile VMware Cloud Foundation pour gérer l'infrastructure prenant en charge les GPU et les domaines de charge de travail AI/ML. Dans VMware Aria Automation, vous pouvez configurer et fournir des machines virtuelles Deep Learning (DL VM) et des clusters Tanzu Kubernetes Grid (TKG) prenant en charge les GPU en tant qu'éléments de catalogue que les experts en science des données et les équipes DevOps de votre organisation peuvent demander dans le catalogue Automation Service Broker en libre-service.
Présentation de VMware Private AI Foundation
VMware Private AI Foundation avec NVIDIA fournit une plate-forme de provisionnement de charges de travail d'IA sur VMware Cloud Foundation avec des GPU NVIDIA. En outre, l'exécution de charges de travail d'IA basées sur des conteneurs NVIDIA GPU Cloud (NGC) est spécifiquement validée par VMware by Broadcom. Pour en savoir plus, reportez-vous à la section Présentation de VMware Private AI Foundation avec NVIDIA.
Private AI Automation Services est le nom collectif de toutes les fonctionnalités VMware Private AI Foundation disponibles dans VMware Aria Automation.
Pour démarrer avec Private AI Automation Services, exécutez l'assistant de configuration de catalogue dans VMware Aria Automation. L'assistant vous aide à connecter VMware Private AI Foundation à VMware Aria Automation.
Fonctionnement de l'assistant de configuration de catalogue
- Ajoutez un compte de cloud. Les comptes de cloud fournissent les informations d'identification à utiliser pour collecter des données de votre instance de vCenter et y déployer des ressources.
- Ajoutez une licence NVIDIA.
- Sélectionnez le contenu à ajouter au catalogue Automation Service Broker.
- Créez un projet. Le projet lie vos utilisateurs aux régions de compte de cloud, afin qu'ils puissent déployer des modèles de cloud avec des réseaux et des ressources de stockage sur votre instance de vCenter.
- AI Workstation : machine virtuelle prenant en charge les GPU qui peut être configurée avec le vCPU, le vGPU et la mémoire souhaités, et l'option permettant de préinstaller les infrastructures AI/ML, telles que PyTorch, les exemples CUDA et TensorFlow.
- AI RAG Workstation : machine virtuelle prenant en charge les GPU avec la solution de référence de génération augmentée par récupération (RAG, Retrieval Augmented Generation).
- Triton Inference Server : machine virtuelle prenant en charge les GPU avec Triton Inference Server.
- Cluster Kubernetes AI : cluster VMware Tanzu Kubernetes Grid avec des nœuds worker compatibles avec le GPU pour exécuter des charges de travail cloud natives AI/ML.
- AI Kubernetes RAG Cluster : cluster VMware Tanzu Kubernetes Grid avec des nœuds worker compatibles avec le GPU pour exécuter une solution RAG de référence.
Vous pouvez exécuter l'assistant plusieurs fois si vous voulez modifier l'un des paramètres fournis, par exemple pour modifier une licence, ou si vous souhaitez créer des éléments de catalogue d'IA pour d'autres projets. Chaque fois que vous exécutez l'assistant, cinq nouveaux éléments de catalogue sont créés en plus des éléments créés précédemment.
Vous pouvez modifier les modèles des éléments du catalogue que l'assistant a créés afin de répondre aux besoins spécifiques de votre organisation.
Avant de commencer
- Vérifiez que vous exécutez VMware Aria Automation 8.18.
- Vérifiez que vous exécutez VMware Cloud Foundation 5.1.1 ou une version ultérieure, qui inclut vCenter 8.0 Update U2b ou une version ultérieure.
- Vérifiez que vous avez ajouté un compte de cloud vCenter dans VMware Aria Automation.
- Vérifiez que vous disposez d'une organisation NVIDIA GPU Cloud Enterprise avec un abonnement au service cloud premium.
- Vérifiez que vous disposez d'un cluster superviseur prenant en charge les GPU via la fonctionnalité de gestion de la charge de travail.
- Configurez VMware Aria Automation pour VMware Private AI Foundation avec NVIDIA. Reportez-vous à la section Configurer VMware Aria Automation pour VMware Private AI Foundation avec NVIDIA.
- Terminez le démarrage rapide de VMware Cloud Foundation avant d'exécuter l'assistant de configuration de catalogue. Les clusters SDDC et superviseur doivent être enregistrés dans VMware Aria Automation. Reportez-vous à la section Prise en main de VMware Aria Automation avec le démarrage rapide de VMware Cloud Foundation.
- Vérifiez que vous avez généré le jeton de configuration du client à partir du serveur de licence NVIDIA et que vous disposez de votre clé d'API du portail NVIDIA NGC. La clé d'accès au portail NVIDIA NGC est utilisée pour télécharger et installer des pilotes vGPU.
- Configurez Single Sign-On (SSO) pour l'interface de consommation de cloud (CCI). Reportez-vous à la section Configuration de Single Sign-On pour CCI.
- Vérifiez que vous êtes abonné à la bibliothèque de contenu à l'aide de la page https://packages.vmware.com/dl-vm/lib.json.
Procédure
- Après avoir installé VMware Aria Automation et vous y être connecté pour la première fois, cliquez sur Lancer le démarrage rapide.
- Sur la carte Private AI Automation Services, cliquez sur Démarrer.
- Sélectionnez le compte de cloud auquel provisionner l'accès.
N'oubliez pas que toutes les valeurs correspondent ici à des exemples de cas d'utilisation. Les valeurs de votre compte dépendent de votre environnement.
- Sélectionnez un compte de cloud vCenter.
- Sélectionnez un superviseur prenant en charge les GPU.
- Entrez un nom de région.
Une région est automatiquement sélectionnée si le superviseur est déjà configuré avec une région.
Si le superviseur n'est pas associé à une région, ajoutez-en une à cette étape. Envisagez d'utiliser un nom descriptif pour votre région qui aide vos utilisateurs à distinguer les régions prenant en charge les GPU des autres régions disponibles.
- Cliquez sur Étape suivante.
- Fournissez des informations sur votre serveur de licences NVIDIA.
- Copiez et collez le contenu du jeton de configuration du client NVIDIA.
Le jeton de configuration du client est nécessaire pour activer toutes les capacités du pilote de vGPU.
- Sélectionnez l'emplacement des pilotes de vGPU NVIDIA.
- Cloud : le pilote de vGPU NVIDIA est hébergé sur le portail de licences NVIDIA.
Vous devez fournir la clé d'API du portail de licences NVIDIA, qui est utilisée pour évaluer si un utilisateur a le droit de télécharger les pilotes de vGPU NVIDIA. La clé d'API doit être un UUID.
Note : La clé d'API que vous générez à partir du portail de licences NVIDIA n'est pas la même que la clé d'API NVAIE. - Local : le pilote de vGPU NVIDIA est hébergé sur site et accessible à partir d'un réseau privé.
Vous devez fournir l'emplacement des pilotes invités de vGPU pour les machines virtuelles.
Pour les environnements isolés, le pilote de vGPU doit être disponible sur votre réseau privé ou votre centre de données.
- Cloud : le pilote de vGPU NVIDIA est hébergé sur le portail de licences NVIDIA.
- Cliquez sur Étape suivante.
- Copiez et collez le contenu du jeton de configuration du client NVIDIA.
- Configurez les éléments du catalogue.
- Sélectionnez la bibliothèque de contenu qui contient l'image de machine virtuelle Deep Learning.
Vous ne pouvez accéder qu'à une seule bibliothèque de contenu à la fois. Si la bibliothèque de contenu contient des images Kubernetes, ces images sont filtrées.
- Sélectionnez l'image de machine virtuelle à utiliser pour créer la machine virtuelle de station de travail.
- Sélectionnez les classes de machine virtuelle que vous souhaitez mettre à la disposition des utilisateurs de votre catalogue.
Vous devez ajouter au moins une classe compatible GPU et une classe non compatible GPU.
- Les classes de machine virtuelle prenant en charge les GPU sont utilisées pour la machine virtuelle Deep Learning et pour les nœuds worker du cluster TKG. Lorsque l'élément de catalogue est déployé, le cluster TKG est créé avec les classes de machine virtuelle sélectionnées.
- Des nœuds non compatibles avec le GPU sont requis pour exécuter les plans de contrôle Kubernetes.
- Sélectionnez la stratégie de stockage à appliquer aux machines virtuelles.
- Spécifiez le registre de conteneur dans lequel vous souhaitez extraire les ressources NVIDIA GPU Cloud.
- Cloud : les images de conteneur sont extraites du catalogue NVIDIA NGC.
- Local : pour les environnements isolés, les conteneurs sont extraits d'un registre privé.
Vous devez fournir l'emplacement du registre autohébergé. Si le registre nécessite une authentification, vous devez également fournir des informations d'identification de connexion.
Vous pouvez utiliser Harbor comme registre local pour les images de conteneur à partir du catalogue NVIDIA NGC. Reportez-vous à la section Configuration d'un registre Harbor privé dans VMware Private AI Foundation avec NVIDIA.
- (Facultatif) Configurez un serveur proxy.
Dans les environnements sans accès direct à Internet, le serveur proxy est utilisé pour télécharger le pilote de vGPU et extraire les conteneurs AI Workstation non-RAG.
Note : La prise en charge des environnements isolés est disponible pour les éléments de catalogue AI Workstation et Triton Inference Server. Les éléments AI RAG Workstation et Cluster Kubernetes AI ne prennent pas en charge les environnements isolés et nécessitent une connectivité Internet. - Cliquez sur Étape suivante.
- Sélectionnez la bibliothèque de contenu qui contient l'image de machine virtuelle Deep Learning.
- Configurez l'accès aux éléments du catalogue en créant un projet et en attribuant des utilisateurs.
Les projets sont utilisés pour gérer des personnes, des ressources attribuées, des modèles de cloud et des déploiements.
- Entrez un nom et une description pour le projet.
Le nom du projet ne doit contenir que des caractères alphanumériques minuscules ou des traits d'union (-).
- Pour rendre les éléments du catalogue disponibles pour d'autres utilisateurs, ajoutez un Administrateur et des Membres.
Les administrateurs ont plus d'autorisations que les membres. Pour plus d'informations, reportez-vous à la section Présentation des rôles d'utilisateur de VMware Aria Automation.
- Cliquez sur Étape suivante.
- Entrez un nom et une description pour le projet.
- Vérifiez votre configuration sur la page Résumé.
Envisagez d'enregistrer les détails de votre configuration avant d'exécuter l'assistant.
- Cliquez sur Exécuter le démarrage rapide.
Résultats
Cinq éléments de catalogue : AI Workstation, AI RAG Workstation, Serveur d'inférence Triton, Cluster Kubernetes d'IA et Cluster RAG Kubernetes d'IA sont créés dans le catalogue Automation Service Broker et les utilisateurs de votre organisation peuvent désormais les déployer.
Étape suivante
- Vérifiez que les modèles sont disponibles dans le catalogue pour les membres des projets sélectionnés avec lesquels vous avez partagé le contenu, et surveillez le processus de provisionnement pour garantir un déploiement correct. Reportez-vous à la section Déploiement d'éléments de catalogue PAIF.
- Si vous souhaitez contrôler la durée d'existence d'un déploiement, créez un bail. Reportez-vous à la section Définition des stratégies Automation Service Broker.
- Pour modifier les entrées utilisateur au moment de la demande, vous pouvez créer un formulaire personnalisé. Reportez-vous à la section Personnalisation d'une icône et d'un formulaire de demande Automation Service Broker.
Dépannage
- Si l'assistant de configuration de catalogue échoue, exécutez-le à nouveau pour un autre projet.
