En tant qu'administrateur de cloud, vous devez déployer des logiciels spécifiques et configurer les domaines de charge de travail VI cibles afin que les scientifiques des données et les ingénieurs DevOps puissent déployer des charges de travail d'IA au-dessus de VMware Private AI Foundation with NVIDIA.
Composants VMware dans VMware Private AI Foundation with NVIDIA
La fonctionnalité de la solution VMware Private AI Foundation with NVIDIA est disponible dans VMware Cloud Foundation et certaines versions de VMware Aria Automation, VMware Aria Operations et VMware Data Services Manager.
| Version de VMware Cloud Foundation | Versions des composants de VMware Aria et de VMware Data Services Manager |
|---|---|
| VMware Cloud Foundation 5.2.1 |
|
| VMware Cloud Foundation 5.2
Note : Cette documentation est basée sur
VMware Cloud Foundation 5.2.1. Pour plus d'informations sur la fonctionnalité
VMware Private AI Foundation with NVIDIA dans
VMware Cloud Foundation 5.2, consultez le
Guide de VMware Private AI Foundation with NVIDIA pour VMware Cloud Foundation 5.2.
|
|
Pour plus d'informations sur l'architecture et les composants de VMware Private AI Foundation with NVIDIA, reportez-vous à la section Architecture système de VMware Private AI Foundation with NVIDIA.
Déploiement guidé dans vSphere Client
À partir de VMware Cloud Foundation 5.2.1, vous pouvez configurer entièrement les composants de VMware Private AI Foundation with NVIDIA à l'aide de l'interface utilisateur du déploiement guidé dans vSphere Client. L'interface utilisateur du déploiement guidé se connecte à SDDC Manager pour effectuer les opérations demandées.
Pour ouvrir le déploiement guidé pour VMware Private AI Foundation with NVIDIA, procédez comme suit :
- Connectez-vous à l'instance de vCenter Server de gestion à l'aide de vSphere Client à l'adresse https://<management_vcenter_server>/ui en tant qu'[email protected].
- Dans le panneau latéral vSphere Client, cliquez sur Private AI Foundation et entrez votre licence VMware Private AI Foundation with NVIDIA.
La clé de licence est attribuée à l'instance de vCenter Server de gestion comme licence de solution.
- Suivez l'assistant pour effectuer la configuration de VMware Private AI Foundation with NVIDIA en fonction des workflows de déploiement ci-dessous.
Workflow de déploiement de VMware Private AI Foundation with NVIDIA
La fonctionnalité de VMware Private AI Foundation with NVIDIA est basée sur un ensemble de composants de base avec des composants supplémentaires requis pour activer le déploiement de l'un des types de charge de travail IA suivants :
- VM à apprentissage en profond en général
- Charges de travail d'IA sur un cluster TKG accéléré par GPU en général
- Charges de travail RAG en tant que VM ou applications à apprentissage profond sur des clusters TKG accélérés par GPU
Le déploiement d'une charge de travail RAG étend l'approche générale des VM à apprentissage profond et des charges de travail d'IA sur des clusters TKG avec le déploiement d'une base de données PostgreSQL pgvector et la configuration de l'application avec la base de données pgvector.
Dans un environnement déconnecté, vous devez prendre des mesures supplémentaires pour configurer et déployer des dispositifs, et fournir des ressources localement, afin que vos charges de travail puissent y accéder.
- Environnement connecté
-
Tâche Cas d'utilisation de déploiement de charges de travail d'IA Étapes Examinez l'architecture et les conditions requises pour le déploiement de VMware Private AI Foundation with NVIDIA. Tous Configurez une instance de service de licence sur le portail de licences NVIDIA et générez un jeton de configuration client. Guide de l'utilisateur du système de licence NVIDIA. Générez une clé API pour accéder au catalogue NVIDIA NGC. Extraction et exécution de conteneurs NVIDIA AI Enterprise Déployez un domaine de charge de travail VI accéléré par GPU. Déployer un domaine de charge de travail VI accéléré par GPU pour VMware Private AI Foundation with NVIDIA Activez vSphere IaaS control plane (anciennement vSphere with Tanzu). Tous Requis si les scientifiques des données et les ingénieurs DevOps déploient des charges de travail à l'aide d'éléments de catalogue en libre-service dans VMware Aria Automation ou à l'aide de la commande kubectl.
Configurer vSphere IaaS Control Plane pour VMware Private AI Foundation with NVIDIA Créez une bibliothèque de contenu pour les images de VM à apprentissage profond. Déployer une VM à apprentissage profond Créer une bibliothèque de contenu avec des images de VM à apprentissage profond pour VMware Private AI Foundation with NVIDIA Configurez les classes de VM basées sur vGPU pour les charges de travail d'IA. Tous Configurer les classes de VM basées sur vGPU pour les charges de travail d'IA de VMware Private AI Foundation with NVIDIA Configurez un espace de noms vSphere pour les charges de travail d'IA. Tous Configurer un espace de noms vSphere pour les charges de travail accélérées par GPU Déployer VMware Aria Automation
à l'aide de VMware Aria Suite Lifecycle in VMware Cloud Foundation mode.Tous Requis si les scientifiques des données et les ingénieurs DevOps déploient des charges de travail à l'aide d'éléments de catalogue en libre-service dans VMware Aria Automation.
Déployez VMware Aria Operations à l'aide de VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tous Gestion intelligente des opérations pour VMware Cloud Foundation. Déployer VMware Data Services Manager Déployer une charge de travail RAG - Installation et configuration de VMware Data Services Manager
Déployez une instance de VMware Data Services Manager dans le domaine de gestion.
- Installez l'opérateur de consommation de Data Services Manager en tant que service de superviseur. Reportez-vous à la section Catalogue des services de superviseur vSphere.
- Configurez VMware Data Services Manager avec au moins une stratégie d'infrastructure. Reportez-vous à la section Création de stratégies d'infrastructure.
Configurez une machine qui a accès à l'instance de superviseur et qui dispose de Docker, Helm et Kubernetes CLI Tools for vSphere. Tous Requis si les charges de travail d'IA sont déployées directement à l'aide de la commande kubectl.
Installer Kubernetes CLI Tools for vSphere À partir de VMware Cloud Foundation 5.2.1, configurez un service de registre Harbor dans le superviseur. Tous Requis si dans le cas suivant :
- Les charges de travail d'IA sont déployées sur un superviseur dans vSphere IaaS control plane
- Vous prévoyez d'utiliser une galerie de modèles dans Harbor pour stocker les modèles d'apprentissage automatique validés.
Configuration d'un registre Harbor privé dans VMware Private AI Foundation with NVIDIA - Installation et configuration de VMware Data Services Manager
- Environnement déconnecté
-
Tâche Options de déploiement des charges de travail d'IA associées Étapes Vérifiez la configuration requise pour le déploiement de VMware Private AI Foundation with NVIDIA. Tous Déployez une instance de NVIDIA Delegated License Service. Installation et configuration du dispositif virtuel DLS Vous pouvez déployer le dispositif virtuel dans le même domaine de charge de travail que les charges de travail d'IA ou dans le domaine de gestion.
- Enregistrez une instance de NVIDIA DLS sur le portail de licences NVIDIA, puis liez et installez un dispositif License Server sur celui-ci.
- Générez un jeton de configuration client.
Déployez un domaine de charge de travail VI accéléré par GPU. Déployer un domaine de charge de travail VI accéléré par GPU pour VMware Private AI Foundation with NVIDIA Activez vSphere IaaS control plane (anciennement vSphere with Tanzu). Tous Configurer vSphere IaaS Control Plane pour VMware Private AI Foundation with NVIDIA Créez une bibliothèque de contenu pour les images de VM à apprentissage profond. Déployer une VM à apprentissage profond Créer une bibliothèque de contenu avec des images de VM à apprentissage profond pour VMware Private AI Foundation with NVIDIA Configurez un espace de noms vSphere pour les charges de travail d'IA. Tous Configurer un espace de noms vSphere pour les charges de travail accélérées par GPU - Configurez une machine qui a accès à Internet et sur laquelle Docker et Helm sont installés.
- Configurez une machine qui a accès à vCenter Server pour le domaine de charge de travail VI, l'instance de superviseur et le registre de conteneur local.
La machine doit disposer de Docker, Helm et Kubernetes CLI Tools for vSphere.
Tous Configurez un service de registre Harbor dans le superviseur. Tous Requis si les charges de travail d'IA sont déployées sur un superviseur dans vSphere IaaS control plane.
Dans un environnement sans vSphere IaaS control plane, pour extraire des images de conteneur sur une VM à apprentissage profond s'exécutant directement sur un cluster vSphere, vous devez configurer un registre à partir d'un autre fournisseur.
Configuration d'un registre Harbor privé dans VMware Private AI Foundation with NVIDIA Configurer une bibliothèque de contenu pour les versions de Tanzu Kubernetes (TKr) pour Ubuntu - Déployer une charge de travail RAG sur un cluster TKG accéléré par GPU
- Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
Configurer une bibliothèque de contenu avec Ubuntu TKr pour un environnement VMware Private AI Foundation with NVIDIA déconnecté Chargez les composants des opérateurs NVIDIA dans l'environnement. - Déployer une charge de travail RAG sur un cluster TKG accéléré par GPU
- Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
Charger les composants de l'opérateur NVIDIA GPU dans un environnement déconnecté Fournissez un emplacement à partir duquel télécharger les pilotes invités vGPU. Déployer une VM à apprentissage profond Effectuez le chargement vers un serveur Web local des versions des pilotes invités vGPU requises, téléchargées à partir du portail de licences NVIDIA et d'un index dans l'un des formats suivants : - Fichier d'index .txt avec la liste des fichiers .run ou .zip des pilotes invités vGPU.
host-driver-version-1 guest-driver-download-URL-1 host-driver-version-2 guest-driver-download-URL-2 host-driver-version-3 guest-driver-download-URL-3
- Index d'annuaire au format généré par les serveurs Web, tels que NGINX et Apache HTTP Server. Les fichiers de pilote vGPU spécifiques à la version doivent être fournis sous forme de fichiers .zip.
Chargez les images du conteneur NVIDIA NGC dans un registre de conteneur privé, tel que le service de registre Harbor du superviseur. Tous Dans un environnement sans vSphere IaaS control plane, pour extraire des images de conteneur sur une VM à apprentissage profond s'exécutant directement sur un cluster vSphere, vous devez configurer un registre à partir d'un autre fournisseur.
Charger des images de conteneur AI dans un registre Harbor privé de VMware Private AI Foundation with NVIDIA Déployez VMware Aria Automation à l'aide de VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tous Requis si les scientifiques des données et les ingénieurs DevOps déploient des charges de travail à l'aide d'éléments de catalogue en libre-service dans VMware Aria Automation.
Déployez VMware Aria Operations à l'aide de VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tous Gestion intelligente des opérations pour VMware Cloud Foundation Déployer VMware Data Services Manager Déployer une charge de travail RAG - Installation et configuration de VMware Data Services Manager
Vous pouvez également utiliser l'interface utilisateur de déploiement guidé dans vSphere Client pour déployer une instance de VMware Data Services Manager dans le domaine de gestion.
- Installez l'opérateur de consommation de Data Services Manager en tant que service de superviseur. Reportez-vous à la section Catalogue des services de superviseur vSphere.
- Configurez VMware Data Services Manager avec au moins une stratégie d'infrastructure. Reportez-vous à la section Création de stratégies d'infrastructure.
