En tant qu'administrateur de cloud, vous devez déployer des logiciels spécifiques et configurer les domaines de charge de travail VI cibles afin que les scientifiques des données et les ingénieurs DevOps puissent déployer des charges de travail d'IA au-dessus de VMware Private AI Foundation with NVIDIA.

Composants VMware dans VMware Private AI Foundation with NVIDIA

La fonctionnalité de la solution VMware Private AI Foundation with NVIDIA est disponible sur plusieurs composants logiciels.

  • VMware Cloud Foundation 5.1.1
  • VMware Aria Automation 8.16.2 et VMware Aria Automation 8.17
  • VMware Aria Operations 8.16 et VMware Aria Operations 8.17.1
  • VMware Data Services Manager 2.0.x

Pour plus d'informations sur l'architecture et les composants de VMware Private AI Foundation with NVIDIA, reportez-vous à la section Qu'est-ce que VMware Private AI Foundation with NVIDIA ?.

Workflow de déploiement de VMware Private AI Foundation with NVIDIA

Dans un environnement déconnecté, vous devez prendre des mesures supplémentaires pour configurer et déployer des dispositifs, et fournir des ressources localement, afin que vos charges de travail puissent y accéder.

Environnement connecté
Tâche Options de déploiement des charges de travail d'IA associées Étapes
Vérifiez la configuration requise pour le déploiement de VMware Private AI Foundation with NVIDIA.
  • Déployer une VM à apprentissage profond
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
  • Déployer une charge de travail RAG
 Conditions requises de déploiement de VMware Private AI Foundation with NVIDIA
Configurez une instance de service de licence sur le portail de licences NVIDIA et générez un jeton de configuration client.
  • Déployer une VM à apprentissage profond
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
  • Déployer une charge de travail RAG
 Guide de l'utilisateur du système de licence NVIDIA.
Générez une clé API pour accéder au catalogue NVIDIA NGC.
  • Déployer une VM à apprentissage profond
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
  • Déployer une charge de travail RAG
 Extraction et exécution de conteneurs NVIDIA AI Enterprise
Si vous prévoyez de déployer des VM à apprentissage profond ou un cluster TKG directement sur un superviseur dans vSphere with Tanzu, configurez une machine ayant accès à l'instance de superviseur et disposant des outils d'interface de ligne de commande Docker, Helm et Kubernetes pour vSphere.
  • Déployez une VM à apprentissage profond directement à l'aide de kubectl
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU provisionné à l'aide de kubectl
  • Déployer une charge de travail RAG
    • Déployer une VM à apprentissage profond avec une charge de travail RAG à l'aide de kubectl
    • Déployer une charge de travail RAG sur un cluster TKG
 Installer les outils d'interface de ligne de commande Kubernetes pour vSphere
Activez vSphere with Tanzu.
  • Déployez une VM à apprentissage profond directement à l'aide de kubectl
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU provisionné à l'aide de kubectl
  • Déployer une charge de travail RAG
    • Déployer une VM à apprentissage profond avec une charge de travail RAG à l'aide de kubectl
    • Déployer une charge de travail RAG sur un cluster TKG
 Configurer vSphere with Tanzu pour VMware Private AI Foundation with NVIDIA
Déployer VMware Aria Automation.
  • Déployer une VM à apprentissage profond directement à l'aide d'un élément de catalogue en libre-service
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU provisionné à l'aide d'un élément de catalogue en libre-service
  • Déployer une charge de travail RAG
    • Déployer une VM à apprentissage profond avec une charge de travail RAG à l'aide d'un élément de catalogue en libre-service
    • Déployer une charge de travail RAG sur un cluster TKG provisionné à l'aide d'un élément de catalogue en libre-service
 Configurer VMware Aria Automation pour VMware Private AI Foundation with NVIDIA
Déployer VMware Aria Operations. Surveillez les mesures GPU au niveau des propriétés du cluster, du système hôte et de l'hôte avec l'option permettant d'ajouter ces mesures aux tableaux de bord personnalisés. Pour VMware Aria Operations 8.16, suivez Gestion intelligente des opérations pour VMware Cloud Foundation.

Pour utiliser les fonctionnalités de surveillance GPU étendues dans VMware Aria Operations 8.17.1, procédez comme suit :

  1. Appliquez les packs de support du produit de VMware Aria Operations 8.17.1 à VMware Aria Suite Lifecycle 8.16.

    Reportez-vous aux Notes de mise à jour du pack de support du produit VMware Aria Suite Lifecycle 8.16.

  2. Déployer VMware Aria Operations selon Gestion intelligente des opérations pour VMware Cloud Foundation
Déployer VMware Data Services Manager
  • Déployer une charge de travail RAG
Installation et configuration de VMware Data Services Manager

Déployez une instance de VMware Data Services Manager dans le domaine de charge de travail VI avec les charges de travail d'IA.

Pour pouvoir provisionner une base de données PostgreSQL avec l'extension pgvector à l'aide d'un élément de catalogue en libre-service dans VMware Aria Automation, déployez VMware Data Services Manager 2.0.2.
Environnement déconnecté
Tâche Options de déploiement des charges de travail d'IA associées Étapes
Vérifiez la configuration requise pour le déploiement de VMware Private AI Foundation with NVIDIA.
  • Déployer une VM à apprentissage profond
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
  • Déployer une charge de travail RAG
 Conditions requises de déploiement de VMware Private AI Foundation with NVIDIA
Déployez une instance de NVIDIA Delegated License Service.
  • Déployer une VM à apprentissage profond
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
  • Déployer une charge de travail RAG
 Installation et configuration du dispositif virtuel DLS

Vous pouvez déployer le dispositif virtuel dans le même domaine de charge de travail que les charges de travail d'IA ou dans le domaine de gestion.
  1. Enregistrez une instance de NVIDIA DLS sur le portail de licences NVIDIA, puis liez et installez un dispositif License Server sur celui-ci.
  2. Générez un jeton de configuration client.
  • Déployer une VM à apprentissage profond
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
  • Déployer une charge de travail RAG
Activer vSphere with Tanzu
  • Déployez une VM à apprentissage profond directement à l'aide de kubectl
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU provisionné à l'aide de kubectl
  • Déployer une charge de travail RAG
    • Déployer une VM à apprentissage profond avec une charge de travail RAG à l'aide de kubectl
    • Déployer une charge de travail RAG sur un cluster TKG
 Configurer vSphere with Tanzu pour VMware Private AI Foundation with NVIDIA
Configurez un service de registre Harbor dans le superviseur.
  • Déployer une VM à apprentissage profond
    • Déployez une VM à apprentissage profond directement à l'aide de kubectl
    • Déployer une VM à apprentissage profond directement à l'aide d'un élément de catalogue en libre-service
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
  • Déployer une charge de travail RAG
    • Déployer une VM à apprentissage profond avec une charge de travail RAG à l'aide de kubectl
    • Déployer une VM à apprentissage profond directement à l'aide d'un élément de catalogue en libre-service
    • Déployer une charge de travail RAG sur un cluster TKG
 Configuration d'un registre Harbor privé dans VMware Private AI Foundation with NVIDIA
Fournissez un emplacement à partir duquel télécharger les pilotes invités vGPU. Déployer une VM à apprentissage profond Chargez vers un serveur Web local les versions des pilotes invités vGPU requises et un index dans l'un des formats suivants :
  • Fichier d'index avec la liste des fichiers .run des pilotes invités vGPU.
    host-driver-version-1 guest-driver-download-URL-1
host-driver-version-2 guest-driver-download-URL-2
host-driver-version-3 guest-driver-download-URL-3
  • Index d'annuaire au format généré par les serveurs Web, tels que NGINX et Apache HTTP Server.
Chargez les images du conteneur NVIDIA NGC dans un registre de conteneur privé, tel que le service de registre Harbor du superviseur.
  • Déployer une VM à apprentissage profond
    • Déployez une VM à apprentissage profond directement à l'aide de kubectl
    • Déployer une VM à apprentissage profond directement à l'aide d'un élément de catalogue en libre-service
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU
  • Déployer une charge de travail RAG
    • Déployer une VM à apprentissage profond avec une charge de travail RAG à l'aide de kubectl
    • Déployer une VM à apprentissage profond directement à l'aide d'un élément de catalogue en libre-service
    • Déployer une charge de travail RAG sur un cluster TKG
 Charger des images de conteneur AI dans un registre Harbor privé de VMware Private AI Foundation with NVIDIA
Déployer VMware Aria Automation
  • Déployer une VM à apprentissage profond directement à l'aide d'un élément de catalogue en libre-service
  • Déployer des charges de travail d'IA sur un cluster TKG accéléré par GPU provisionné à l'aide d'un élément de catalogue en libre-service
  • Déployer une charge de travail RAG
    • Déployer une VM à apprentissage profond directement à l'aide d'un élément de catalogue en libre-service
    • Déployer une charge de travail RAG sur un cluster TKG provisionné à l'aide d'un élément de catalogue en libre-service
 Configurer VMware Aria Automation pour VMware Private AI Foundation with NVIDIA
Déployer VMware Aria Operations Surveillez les mesures GPU au niveau des propriétés du cluster, du système hôte et de l'hôte avec l'option permettant d'ajouter ces mesures aux tableaux de bord personnalisés. Pour VMware Aria Operations 8.16, suivez Gestion intelligente des opérations pour VMware Cloud Foundation.

Pour utiliser les fonctionnalités de surveillance GPU étendues dans VMware Aria Operations 8.17.1, procédez comme suit :

  1. Appliquez les packs de support du produit de VMware Aria Operations 8.17.1 à VMware Aria Suite Lifecycle 8.16.

    Reportez-vous aux Notes de mise à jour du pack de support du produit VMware Aria Suite Lifecycle 8.16.

  2. Déployer VMware Aria Operations selon Gestion intelligente des opérations pour VMware Cloud Foundation
Déployer VMware Data Services Manager
  • Déployer une charge de travail RAG
Installation et configuration de VMware Data Services Manager

Déployez une instance de VMware Data Services Manager dans le domaine de charge de travail VI avec les charges de travail d'IA.

Pour pouvoir provisionner une base de données PostgreSQL avec l'extension pgvector à l'aide d'un élément de catalogue en libre-service dans VMware Aria Automation, déployez VMware Data Services Manager 2.0.2.
  • Configurez une machine qui a accès à Internet et sur laquelle Docker et Helm sont installés.
  • Configurez une machine qui a accès à vCenter Server pour le domaine de charge de travail VI, l'instance de superviseur et le registre de conteneur local.

    La machine doit disposer des outils d'interface de ligne de commande Docker, Helm et Kubernetes pour vSphere.
  • Déployer une VM à apprentissage profond
  • Déployer un cluster TKG accéléré par GPU
  • Déployer une charge de travail RAG