Sie stellen Komponenten von VMware Private AI Foundation with NVIDIA in Ihrer VMware Cloud Foundation-Umgebung in einer VI-Arbeitslastdomäne bereit, in der bestimmte NVIDIA-Komponenten installiert sein müssen.

Erforderliche VMware-Softwareversionen

Weitere Informationen finden Sie unter VMware-Komponenten in VMware Private AI Foundation with NVIDIA.

Unterstützte NVIDIA GPU-Geräte

Bevor Sie mit der Verwendung von VMware Private AI Foundation with NVIDIA beginnen, stellen Sie sicher, dass die GPUs auf Ihren ESXi-Hosts von VMware von Broadcom unterstützt werden:

Tabelle 1. Unterstützte NVIDIA-Komponenten für VMware Private AI Foundation with NVIDIA
NVIDIA-Komponente Unterstützte Optionen
NVIDIA GPUs
  • NVIDIA A100
  • NVIDIA L40S
  • NVIDIA H100
GPU-Freigabemodus
  • Zeitaufteilung
  • GPU mit mehreren Instanzen (MIG)

Erforderliche NVIDIA-Software

Das NVIDIA GPU-Gerät muss die aktuellen vGPU-Profile von NVIDIA AI Enterprise (NVAIE) unterstützen. Weitere Informationen finden Sie in der Dokumentation Von der NVIDIA Virtual GPU-Software unterstützte GPUs.

Erforderliches VMware Cloud Foundation-Setup

Bevor Sie VMware Private AI Foundation with NVIDIA bereitstellen, muss eine bestimmte Konfiguration in VMware Cloud Foundation verfügbar sein.

  • Eine VMware Cloud Foundation-Lizenz.
  • Eine VMware Private AI Foundation with NVIDIA-Add-On-Lizenz.
  • Lizenziertes NVIDIA vGPU-Produkt, einschließlich der VIB-Datei des Hosttreibers für ESXi-Hosts und der Treiber des Gastbetriebssystems. Weitere Informationen finden Sie in der Dokumentation Von der NVIDIA Virtual GPU-Software unterstützte GPUs.
  • Die VIB-Datei des NVIDIA vGPU-Hosttreibers, die von https://nvid.nvidia.com/ heruntergeladen wurde
  • Ein vSphere Lifecycle Manager-Image mit der VIB-Datei des in SDDC Manager verfügbaren vGPU-Hostmanagertreibers. Weitere Informationen finden Sie unter Verwalten von vSphere Lifecycle Manager-Images in VMware Cloud Foundation.
  • Eine VI-Arbeitslastdomäne mit mindestens 3 ESXi GPU-fähigen Hosts, die auf dem vSphere Lifecycle Manager-Image basiert, das die VIB-Datei des Hostmanagertreibers enthält. Weitere Informationen finden Sie unter Bereitstellen einer VI-Arbeitslastdomäne mithilfe der SDDC Manager-Benutzeroberfläche und Verwalten von vSphere Lifecycle Manager-Images in VMware Cloud Foundation.
  • Der NVIDIA vGPU-Hosttreiber ist auf jedem ESXi-Host im Cluster für KI-Arbeitslasten installiert und für vGPU konfiguriert.
    1. Aktivieren Sie auf jedem ESXi-Host SR-IOV im BIOS und auf den Grafikgeräten für KI-Vorgänge direkt freigegeben.

      Informationen zum Konfigurieren von SR-IOV finden Sie in der Dokumentation Ihres Hardwareanbieters. Informationen zum Konfigurieren der Option „Direkt freigegeben“ auf Grafikgeräten finden Sie unter Konfigurieren von virtuellen Grafiken in vSphere.

    2. Installieren Sie den NVIDIA vGPU-Hostmanagertreiber auf jedem ESXi-Host anhand einer der folgenden Vorgehensweisen:
      • Installieren Sie den Treiber auf jedem Host und fügen Sie die VIB-Datei des Treibers zum vSphere Lifecycle-Image für den Cluster hinzu.

        Weitere Informationen finden Sie in der Kurzanleitung für NVIDIA Virtual GPU-Software.

      • Fügen Sie die VIB-Datei des Treibers zum vSphere Lifecycle-Image für den Cluster hinzu und standardisieren Sie die Hosts.
    3. Wenn Sie die Option „GPU mit mehreren Instanzen (MIG)“ verwenden möchten, aktivieren Sie sie auf jedem ESXi-Host im Cluster.

      Weitere Informationen finden Sie unter NVIDIA MIG-Benutzerhandbuch.

    4. Legen Sie auf der vCenter Server-Instanz für die VI-Arbeitslastdomäne die erweiterte vgpu.hotmigrate.enabled-Einstellung auf true fest, damit virtuelle Maschinen mit vGPU mithilfe von vSphere vMotion migriert werden können.

      Weitere Informationen finden Sie unter Konfigurieren von erweiterten Einstellungen.