Configurer les classes de VM basées sur vGPU pour les charges de travail d'IA de VMware Private AI Foundation with NVIDIA

Dans ces classes de VM, définissez en tant qu'administrateur de cloud le calcul requis et un profil vGPU pour un périphérique NVIDIA GRID vGPU en fonction des périphériques vGPU configurés sur les hôtes ESXi dans le cluster superviseur.

Note : Cette documentation est basée sur VMware Cloud Foundation 5.2.1. Pour plus d'informations sur la fonctionnalité VMware Private AI Foundation with NVIDIA dans VMware Cloud Foundation 5.2, consultez le Guide de VMware Private AI Foundation with NVIDIA pour VMware Cloud Foundation 5.2.

Conditions préalables

• Vérifiez que VMware Private AI Foundation with NVIDIA est configuré jusqu'à cette étape du workflow de déploiement. Reportez-vous à la section Préparation de VMware Cloud Foundation pour le déploiement de charges de travail Private AI.

Procédure

1. Pour une instance de VMware Cloud Foundation 5.2.1, connectez-vous à l'instance de vCenter Server du domaine de gestion à l'adresse https://<vcenter_server_fqdn>/ui.
2. Dans le panneau latéral vSphere Client, cliquez sur Private AI Foundation.
3. Dans le workflow Private AI Foundation, cliquez sur la section Configurer un domaine de charge de travail.
4. Créez les classes de VM avec des vGPU NVIDIA.

   L'assistant du workflow de déploiement guidé dispose des mêmes options que l'assistant analogue dans la zone Gestion de la charge de travail de vSphere Client.

   • Pour plus d'informations sur la configuration des classes de VM basées sur vGPU pour les machines virtuelles, reportez-vous aux sections Créer une classe de VM personnalisée à l'aide de vSphere Client et Ajouter des périphériques PCI à une classe de VM dans vSphere with Tanzu.
   • Pour plus d'informations sur la configuration des classes de VM basées sur vGPU pour les nœuds worker TKG, reportez-vous aux sections Créer une classe de VM personnalisée avec un profil vGPU dans vSphere 8 Update 2b et versions ultérieures et Configuration d'espaces de noms vSphere pour les clusters TKG sur le superviseur.

   Définissez les paramètres supplémentaires suivants dans la boîte de dialogue Classe de machine virtuelle en fonction du contenu de la VM à apprentissage profond.

   Cas d'utilisation	Paramètres supplémentaires de classe de VM
   VM à apprentissage profond avec charges de travail NVIDIA RAG	Sélectionnez le profil vGPU complet pour le mode de découpage temporel ou un profil MIG. Par exemple, pour la carte NVIDIA A100 40 Go en mode de découpage temporel vGPU, sélectionnez nvidia_a100-40c. Dans l'onglet Matériel virtuel, allouez plus de 16 cœurs de CPU virtuels et 64 Go de mémoire virtuelle. Dans l'onglet Paramètres avancés, définissez le paramètre pciPassthru<vgpu-id>.cfg.enable_uvm sur 1. où <vgpu-id> identifie le vGPU attribué à la machine virtuelle. Par exemple, si deux vGPU sont attribués à la machine virtuelle, définissez pciPassthru0.cfg.parameter=1 et pciPassthru1.cfg.parameter = 1. Important : Cette configuration désactive la migration vSphere vMotion pour la VM à apprentissage profond.
   VM à apprentissage profond utilisant le serveur d'inférence Triton avec le serveur principal TensorRT	Dans l'onglet Paramètres avancés, définissez le paramètre pciPassthru<vgpu-id>.cfg.enable_uvm sur 1. où <vgpu-id> identifie le vGPU attribué à la machine virtuelle. Par exemple, si deux vGPU sont attribués à la machine virtuelle, définissez pciPassthru0.cfg.parameter=1 et pciPassthru1.cfg.parameter = 1. Important : Cette configuration désactive la migration vSphere vMotion pour la VM à apprentissage profond.