Konfigurieren von GPU-basierten VM-Klassen für KI-Arbeitslasten für VMware Private AI Foundation with NVIDIA

Als Cloud-Administrator legen Sie in diesen VM-Klassen die Computing-Anforderungen und ein vGPU-Profil für ein NVIDIA GRID vGPU-Gerät entsprechend den vGPU-Geräten fest, die auf den ESXi-Hosts im Supervisor-Cluster konfiguriert sind.

Hinweis: Diese Dokumentation basiert auf VMware Cloud Foundation 5.2.1. Informationen zur Funktion VMware Private AI Foundation with NVIDIA in VMware Cloud Foundation 5.2 finden Sie im Handbuch zu VMware Private AI Foundation with NVIDIA für VMware Cloud Foundation 5.2.

Voraussetzungen

• Stellen Sie sicher, dass VMware Private AI Foundation with NVIDIA bis zu diesem Schritt des Bereitstellungsworkflows konfiguriert ist. Weitere Informationen finden Sie unter Vorbereiten von VMware Cloud Foundation für die Bereitstellung von Private AI-Arbeitslasten.

Prozedur

1. Melden Sie sich für eine VMware Cloud Foundation 5.2.1 -Instanz bei der vCenter Server-Instanz für die Verwaltungsdomäne unter https://<vcenter_server_fqdn>/ui an.
2. Klicken Sie im Seitenbereich des vSphere Client auf Private AI Foundation.
3. Klicken Sie im Private AI Foundation-Workflow auf den Abschnitt Arbeitslastdomäne einrichten.
4. Erstellen Sie die VM-Klassen mit NVIDIA vGPUs.

   Der Assistent im Workflow für geführte Bereitstellungen verfügt über dieselben Optionen wie der analoge Assistent im Bereich Arbeitslastverwaltung des vSphere Client.

   • Informationen zum Einrichten von vGPU-basierten VM-Klassen für virtuelle Maschinen finden Sie unter Erstellen einer benutzerdefinierten VM-Klasse mit dem vSphere Client und Hinzufügen von PCI-Geräten zu einer VM-Klasse in vSphere with Tanzu.
   • Informationen zum Einrichten von vGPU-basierten VM-Klassen für TKG-Worker-Knoten finden Sie unter Erstellen Sie eine benutzerdefinierte VM-Klasse mit einem vGPU-Profil in vSphere 8 Update 2b und höher und Konfigurieren von vSphere-Namespaces für TKG-Cluster auf Supervisor.

   Legen Sie die folgenden zusätzlichen Einstellungen im Dialogfeld „VM-Klasse“ entsprechend dem Inhalt der Deep Learning-VM fest.

   Anwendungsfall	Zusätzliche Einstellungen der VM-Klasse
   Deep Learning-VMs mit NVIDIA RAG-Arbeitslasten	Wählen Sie das vollständige vGPU-Profil für den Zeitaufteilungsmodus oder ein MIG-Profil aus. Wählen Sie beispielsweise für die NVIDIA A100-40-GB-Karte im vGPU-Zeitaufteilungsmodus die Option nvidia_a100-40c aus. Teilen Sie auf der Registerkarte Virtuelle Hardware mehr als 16 virtuelle CPU-Kerne und 64 GB virtuellen Arbeitsspeicher zu. Legen Sie auf der Registerkarte Erweiterte Parameter den Parameter pciPassthru<vgpu-id>.cfg.enable_uvm auf 1 fest. wobei <vgpu-id> die der virtuellen Maschine zugewiesene vGPU identifiziert. Wenn der virtuellen Maschine beispielsweise zwei vGPUs zugewiesen sind, legen Sie pciPassthru0.cfg.parameter=1 und pciPassthru1.cfg.parameter = 1 fest. Wichtig: Diese Konfiguration deaktiviert vSphere vMotion-Migration für die Deep Learning-VM.
   Deep Learning-VMs, die Triton Inference Server mit dem TensorRT-Back-End verwenden	Legen Sie auf der Registerkarte Erweiterte Parameter den Parameter pciPassthru<vgpu-id>.cfg.enable_uvm auf 1 fest. wobei <vgpu-id> die der virtuellen Maschine zugewiesene vGPU identifiziert. Wenn der virtuellen Maschine beispielsweise zwei vGPUs zugewiesen sind, legen Sie pciPassthru0.cfg.parameter=1 und pciPassthru1.cfg.parameter = 1 fest. Wichtig: Diese Konfiguration deaktiviert vSphere vMotion-Migration für die Deep Learning-VM.