Sie stellen Komponenten von VMware Private AI Foundation with NVIDIA in Ihrer VMware Cloud Foundation-Umgebung in einer VI-Arbeitslastdomäne bereit, in der bestimmte NVIDIA-Komponenten installiert sein müssen.
Erforderliche VMware-Softwareversionen
Weitere Informationen finden Sie unter VMware-Komponenten in VMware Private AI Foundation with NVIDIA.
Unterstützte NVIDIA GPU-Geräte
Bevor Sie mit der Verwendung von VMware Private AI Foundation with NVIDIA beginnen, stellen Sie sicher, dass die GPUs auf Ihren ESXi-Hosts von VMware von Broadcom unterstützt werden:
NVIDIA-Komponente | Unterstützte Optionen |
---|---|
NVIDIA GPUs |
|
GPU-Freigabemodus |
|
Erforderliche NVIDIA-Software
Das NVIDIA GPU-Gerät muss die aktuellen vGPU-Profile von NVIDIA AI Enterprise (NVAIE) unterstützen. Weitere Informationen finden Sie in der Dokumentation Von der NVIDIA Virtual GPU-Software unterstützte GPUs.
- NVIDIA vGPU-Hosttreiber (einschließlich VIB für ESXi-Hosts), der mit Ihrer VMware Cloud Foundation-Version kompatibel ist. Weitere Informationen finden Sie unter Versionshinweise zur virtuellen GPU-Software für VMware vSphere.
- NVIDIA GPU-Operator, der mit der Kubernetes-Version der bereitgestellten TKG-Cluster kompatibel ist. Weitere Informationen finden Sie unter Versionshinweise zum NVIDIA GPU-Operator und Versionshinweise zu VMware Tanzu Kubernetes-Versionen.
Erforderliches VMware Cloud Foundation-Setup
Bevor Sie VMware Private AI Foundation with NVIDIA bereitstellen, muss eine bestimmte Konfiguration in VMware Cloud Foundation verfügbar sein.
- Eine VMware Cloud Foundation-Lizenz.
- Eine VMware Private AI Foundation with NVIDIA-Add-On-Lizenz.
Sie benötigen die VMware Private AI Foundation with NVIDIA-Add-On-Lizenz, um auf die folgenden Funktionen zuzugreifen:
- Private AI-Einrichtung in VMware Aria Automation für Katalogelemente zwecks einfacher Bereitstellung von GPU-beschleunigten Deep Learning-VMs und TKG-Clustern.
- Bereitstellung von PostgreSQL-Datenbanken mit der pgvector-Erweiterung mit Enterprise-Unterstützung.
- Bereitstellen und Verwenden des Deep Learning-VM-Images, das von VMware von Broadcom bereitgestellt wird.
Sie können KI-Arbeitslasten mit und ohne aktivierten Supervisor bereitstellen und die GPU-Metriken in vCenter Server und VMware Aria Operations unter der VMware Cloud Foundation-Lizenz verwenden.
- Lizenziertes NVIDIA vGPU-Produkt, einschließlich der VIB-Datei des Hosttreibers für ESXi-Hosts und der Treiber des Gastbetriebssystems. Weitere Informationen finden Sie in der Dokumentation Von der NVIDIA Virtual GPU-Software unterstützte GPUs.
- Die VIB-Datei des NVIDIA vGPU-Hosttreibers, die von https://nvid.nvidia.com/ heruntergeladen wurde
- Ein vSphere Lifecycle Manager-Image mit der VIB-Datei des in SDDC Manager verfügbaren vGPU-Hostmanagertreibers. Weitere Informationen finden Sie unter Verwalten von vSphere Lifecycle Manager-Images in VMware Cloud Foundation.
- Eine VI-Arbeitslastdomäne mit mindestens 3 ESXi GPU-fähigen Hosts, die auf dem vSphere Lifecycle Manager-Image basiert, das die VIB-Datei des Hostmanagertreibers enthält. Weitere Informationen finden Sie unter Bereitstellen einer VI-Arbeitslastdomäne mithilfe der SDDC Manager-Benutzeroberfläche und Verwalten von vSphere Lifecycle Manager-Images in VMware Cloud Foundation.
- Der NVIDIA vGPU-Hosttreiber ist auf jedem ESXi-Host im Cluster für KI-Arbeitslasten installiert und für vGPU konfiguriert.
- Aktivieren Sie auf jedem ESXi-Host SR-IOV im BIOS und auf den Grafikgeräten für KI-Vorgänge direkt freigegeben.
Informationen zum Konfigurieren von SR-IOV finden Sie in der Dokumentation Ihres Hardwareanbieters. Informationen zum Konfigurieren der Option „Direkt freigegeben“ auf Grafikgeräten finden Sie unter Konfigurieren von virtuellen Grafiken in vSphere.
- Installieren Sie den NVIDIA vGPU-Hostmanagertreiber auf jedem ESXi-Host anhand einer der folgenden Vorgehensweisen:
- Installieren Sie den Treiber auf jedem Host und fügen Sie die VIB-Datei des Treibers zum vSphere Lifecycle-Image für den Cluster hinzu.
Weitere Informationen finden Sie in der Kurzanleitung für NVIDIA Virtual GPU-Software.
- Fügen Sie die VIB-Datei des Treibers zum vSphere Lifecycle-Image für den Cluster hinzu und standardisieren Sie die Hosts.
- Installieren Sie den Treiber auf jedem Host und fügen Sie die VIB-Datei des Treibers zum vSphere Lifecycle-Image für den Cluster hinzu.
- Wenn Sie die Option „GPU mit mehreren Instanzen (MIG)“ verwenden möchten, aktivieren Sie sie auf jedem ESXi-Host im Cluster.
Weitere Informationen finden Sie unter NVIDIA MIG-Benutzerhandbuch.
- Legen Sie auf der vCenter Server-Instanz für die VI-Arbeitslastdomäne die erweiterte
vgpu.hotmigrate.enabled
-Einstellung auftrue
fest, damit virtuelle Maschinen mit vGPU mithilfe von vSphere vMotion migriert werden können.Weitere Informationen finden Sie unter Konfigurieren von erweiterten Einstellungen.
- Aktivieren Sie auf jedem ESXi-Host SR-IOV im BIOS und auf den Grafikgeräten für KI-Vorgänge direkt freigegeben.