En tant qu'administrateur de cloud, vous devez déployer des logiciels spécifiques et configurer les domaines de charge de travail VI cibles afin que les scientifiques des données et les ingénieurs DevOps puissent déployer des charges de travail d'IA au-dessus de VMware Private AI Foundation with NVIDIA.
Composants VMware dans VMware Private AI Foundation with NVIDIA
La fonctionnalité de la solution VMware Private AI Foundation with NVIDIA est disponible sur plusieurs composants logiciels.
- VMware Cloud Foundation 5.2
- VMware Aria Automation 8.18 et VMware Aria Automation 8.18
- VMware Aria Operations 8.18 et VMware Aria Operations 8.18
- VMware Data Services Manager 2.1
Pour plus d'informations sur l'architecture et les composants de VMware Private AI Foundation with NVIDIA, reportez-vous à la section Architecture système de VMware Private AI Foundation with NVIDIA.
Workflow de déploiement de VMware Private AI Foundation with NVIDIA
La fonctionnalité de VMware Private AI Foundation with NVIDIA est basée sur un ensemble de composants de base avec des composants supplémentaires requis pour activer le déploiement de l'un des types de charge de travail IA suivants :
- VM à apprentissage en profond en général
- Charges de travail d'IA sur un cluster TKG accéléré par GPU en général
- Charges de travail RAG en tant que VM ou applications à apprentissage profond sur des clusters TKG accélérés par GPU
Le déploiement d'une charge de travail RAG étend l'approche générale des VM à apprentissage profond et des charges de travail d'IA sur des clusters TKG avec le déploiement d'une base de données PostgreSQL pgvector et la configuration de l'application avec la base de données pgvector.
Dans un environnement déconnecté, vous devez prendre des mesures supplémentaires pour configurer et déployer des dispositifs, et fournir des ressources localement, afin que vos charges de travail puissent y accéder.
- Environnement connecté
-
Tâche Cas d'utilisation de déploiement de charges de travail d'IA Étapes Examinez l'architecture et les conditions requises pour le déploiement de VMware Private AI Foundation with NVIDIA. Tous Configurez une instance de service de licence sur le portail de licences NVIDIA et générez un jeton de configuration client. Guide de l'utilisateur du système de licence NVIDIA. Générez une clé API pour accéder au catalogue NVIDIA NGC. Extraction et exécution de conteneurs NVIDIA AI Enterprise Créez une bibliothèque de contenu pour les images de VM à apprentissage profond. Déployer une VM à apprentissage profond Créer une bibliothèque de contenu avec des images de VM à apprentissage profond pour VMware Private AI Foundation with NVIDIA Activez vSphere IaaS control plane (anciennement vSphere with Tanzu). Tous Configurer vSphere IaaS Control Plane pour VMware Private AI Foundation with NVIDIA Déployer Déployer VMware Aria Automation
à l'aide de VMware Aria Suite Lifecycle in VMware Cloud Foundation mode.Tous Requis si les scientifiques des données et les ingénieurs DevOps déploient des charges de travail à l'aide d'éléments de catalogue en libre-service dans VMware Aria Automation.
Déployez VMware Aria Operations à l'aide de VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tous Gestion intelligente des opérations pour VMware Cloud Foundation. Déployer VMware Data Services Manager Déployer une charge de travail RAG - Installation et configuration de VMware Data Services Manager
Déployez une instance de VMware Data Services Manager dans le domaine de gestion.
- Créer un élément de catalogue de base de données vectorielle dans VMware Aria Automation
Configurez une machine qui a accès à l'instance de superviseur et qui dispose de Docker, Helm et Kubernetes CLI Tools for vSphere. Tous Requis si les charges de travail d'IA sont déployées directement à l'aide de la commande kubectl.
Installer Kubernetes CLI Tools for vSphere - Installation et configuration de VMware Data Services Manager
- Environnement déconnecté
-
Tâche Options de déploiement des charges de travail d'IA associées Étapes Vérifiez la configuration requise pour le déploiement de VMware Private AI Foundation with NVIDIA. Tous Déployez une instance de NVIDIA Delegated License Service. Installation et configuration du dispositif virtuel DLS Vous pouvez déployer le dispositif virtuel dans le même domaine de charge de travail que les charges de travail d'IA ou dans le domaine de gestion.
- Enregistrez une instance de NVIDIA DLS sur le portail de licences NVIDIA, puis liez et installez un dispositif License Server sur celui-ci.
- Générez un jeton de configuration client.
Créer une bibliothèque de contenu pour les images de VM à apprentissage profond Déployer une VM à apprentissage profond Créer une bibliothèque de contenu avec des images de VM à apprentissage profond pour VMware Private AI Foundation with NVIDIA Activer vSphere IaaS control plane (anciennement vSphere with Tanzu) Tous Configurer vSphere IaaS Control Plane pour VMware Private AI Foundation with NVIDIA - Configurez une machine qui a accès à Internet et sur laquelle Docker et Helm sont installés.
- Configurez une machine qui a accès à vCenter Server pour le domaine de charge de travail VI, l'instance de superviseur et le registre de conteneur local.
La machine doit disposer de Docker, Helm et Kubernetes CLI Tools for vSphere.
Configurer une bibliothèque de contenu pour les versions de Tanzu Kubernetes (TKr) pour Ubuntu - Déployer une charge de travail RAG sur un cluster TKG accéléré par GPU
- Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
Configurer une bibliothèque de contenu avec Ubuntu TKr pour un environnement VMware Private AI Foundation with NVIDIA déconnecté Configurez un service de registre Harbor dans le superviseur. Tous Requis si les charges de travail d'IA sont déployées sur un superviseur dans vSphere IaaS control plane
Dans un environnement sans vSphere IaaS control plane, pour extraire des images de conteneur sur une VM à apprentissage profond s'exécutant directement sur un cluster vSphere, vous devez configurer un registre à partir d'un autre fournisseur.
Configuration d'un registre Harbor privé dans VMware Private AI Foundation with NVIDIA Chargez les composants des opérateurs NVIDIA dans l'environnement. - Déployer une charge de travail RAG sur un cluster TKG accéléré par GPU
- Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
Charger les composants de l'opérateur NVIDIA GPU dans un environnement déconnecté Fournissez un emplacement à partir duquel télécharger les pilotes invités vGPU. Déployer une VM à apprentissage profond Effectuez le chargement vers un serveur Web local des versions des pilotes invités vGPU requises, téléchargées à partir du portail de licences NVIDIA et d'un index dans l'un des formats suivants : - Fichier d'index .txt avec la liste des fichiers .run ou .zip des pilotes invités vGPU.
host-driver-version-1 guest-driver-download-URL-1 host-driver-version-2 guest-driver-download-URL-2 host-driver-version-3 guest-driver-download-URL-3
- Index d'annuaire au format généré par les serveurs Web, tels que NGINX et Apache HTTP Server. Les fichiers de pilote vGPU spécifiques à la version doivent être fournis sous forme de fichiers .zip.
Chargez les images du conteneur NVIDIA NGC dans un registre de conteneur privé, tel que le service de registre Harbor du superviseur. Tous Dans un environnement sans vSphere IaaS control plane, pour extraire des images de conteneur sur une VM à apprentissage profond s'exécutant directement sur un cluster vSphere, vous devez configurer un registre à partir d'un autre fournisseur.
Charger des images de conteneur AI dans un registre Harbor privé de VMware Private AI Foundation with NVIDIA Déployez VMware Aria Automation à l'aide de VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tous Requis si les scientifiques des données et les ingénieurs DevOps déploient des charges de travail à l'aide d'éléments de catalogue en libre-service dans VMware Aria Automation.
Déployez VMware Aria Operations à l'aide de VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tous Gestion intelligente des opérations pour VMware Cloud Foundation Déployer VMware Data Services Manager Déployer une charge de travail RAG - Installation et configuration de VMware Data Services Manager
Déployez une instance de VMware Data Services Manager dans le domaine de gestion.
- Créer un élément de catalogue de base de données vectorielle dans VMware Aria Automation
