Bereitstellen von VMware Private AI Foundation with NVIDIA

Als Cloud-Administrator müssen Sie spezifische Software bereitstellen und die VI-Arbeitslastdomänen des Ziels so konfigurieren, dass Datenwissenschaftler und DevOps-Ingenieure KI-Arbeitslasten zusätzlich zu VMware Private AI Foundation with NVIDIA bereitstellen können.

VMware-Komponenten in VMware Private AI Foundation with NVIDIA

Die Funktionen der VMware Private AI Foundation with NVIDIA-Lösung sind über mehrere Softwarekomponenten hinweg verfügbar.

• VMware Cloud Foundation 5.1.1
• VMware Aria Automation 8.16.2 und VMware Aria Automation 8.17
• VMware Aria Operations 8.16 und VMware Aria Operations 8.17.1
• VMware Data Services Manager 2.0.x

Informationen zur Architektur und zu den Komponenten von VMware Private AI Foundation with NVIDIA finden Sie unter Was ist VMware Private AI Foundation with NVIDIA?.

Bereitstellungsworkflow für VMware Private AI Foundation with NVIDIA

In einer nicht verbundenen Umgebung müssen Sie zusätzliche Schritte zum Einrichten und Bereitstellen von Appliances durchführen und Ressourcen lokal bereitstellen, damit Ihre Arbeitslasten darauf zugreifen können.

Verbundene Umgebung

Aufgabe	Bereitstellungsoptionen für zugehörige KI-Arbeitslasten	Schritte
Überprüfen Sie die Anforderungen für die Bereitstellung von VMware Private AI Foundation with NVIDIA.	Bereitstellen einer Deep Learning-VM Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster Bereitstellen einer RAG-Arbeitslast	Anforderungen für die Bereitstellung von VMware Private AI Foundation with NVIDIA
Konfigurieren Sie eine Lizenzdienst-Instanz im NVIDIA-Lizenzierungsportal und generieren Sie ein Clientkonfigurationstoken.	Bereitstellen einer Deep Learning-VM Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster Bereitstellen einer RAG-Arbeitslast	Benutzerhandbuch für das NVIDIA-Lizenzsystem.
Generieren Sie einen API-Schlüssel für den Zugriff auf den NVIDIA NGC-Katalog.	Bereitstellen einer Deep Learning-VM Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster Bereitstellen einer RAG-Arbeitslast	Abrufen und Ausführen von NVIDIA AI Enterprise-Containern
Wenn Sie Deep Learning-VMs oder TKG-Cluster direkt auf einem Supervisor in vSphere with Tanzu bereitstellen möchten, richten Sie eine Maschine ein, die Zugriff auf die Supervisor-Instanz hat und über Docker-, Helm- und Kubernetes-CLI-Tools für vSphere verfügt.	Bereitstellen einer Deep Learning-VM direkt mithilfe von kubectl Bereitstellen von KI-Arbeitslasten auf einem GPU-beschleunigten TKG-Cluster, der mithilfe von kubectl zur Verfügung gestellt wird Bereitstellen einer RAG-Arbeitslast Bereitstellen einer Deep Learning-VM mit einer RAG-Arbeitslast mithilfe von kubectl Bereitstellen einer RAG-Arbeitslast auf einem TKG-Cluster	Installieren des Kubernetes-CLI-Tools für vSphere
Aktivieren Sie vSphere with Tanzu.	Bereitstellen einer Deep Learning-VM direkt mithilfe von kubectl Bereitstellen von KI-Arbeitslasten auf einem GPU-beschleunigten TKG-Cluster, der mithilfe von kubectl zur Verfügung gestellt wird Bereitstellen einer RAG-Arbeitslast Bereitstellen einer Deep Learning-VM mit einer RAG-Arbeitslast mithilfe von kubectl Bereitstellen einer RAG-Arbeitslast auf einem TKG-Cluster	Konfigurieren von vSphere with Tanzu für VMware Private AI Foundation with NVIDIA
VMware Aria Automation bereitstellen.	Direkte Bereitstellung einer Deep Learning-VM mithilfe eines Self-Service-Katalogelements Bereitstellen von KI-Arbeitslasten auf einem GPU-beschleunigten TKG-Cluster, der mithilfe eines Self-Service-Katalogelements zur Verfügung gestellt wird Bereitstellen einer RAG-Arbeitslast Bereitstellen einer Deep Learning-VM mit einer RAG-Arbeitslast mithilfe eines Self-Service-Katalogelements Bereitstellen einer RAG-Arbeitslast auf einem TKG-Cluster, der mithilfe eines Self-Service-Katalogelements zur Verfügung gestellt wird	Einrichten von VMware Aria Automation für VMware Private AI Foundation with NVIDIA
VMware Aria Operations bereitstellen.	Überwachen Sie GPU-Metriken auf den Cluster-, Hostsystem- und Hosteigenschaften mit der Option, diese Metriken zu benutzerdefinierten Dashboards hinzuzufügen.	Führen Sie für VMware Aria Operations 8.16 die Schritte unter Intelligentes Betriebsmanagement für VMware Cloud Foundation aus. Wenn Sie die erweiterten GPU-Überwachungsfunktionen in VMware Aria Operations 8.17.1 verwenden möchten, führen Sie die folgenden Schritte aus: Wenden Sie die Produktsupportpakete für VMware Aria Operations 8.17.1 auf VMware Aria Suite Lifecycle 8.16 an. Weitere Informationen finden Sie unter Versionshinweise zum VMware Aria Suite Lifecycle 8.16-Produktsupportpaket. Bereitstellen von VMware Aria Operations gemäß Intelligentes Betriebsmanagement für VMware Cloud Foundation
VMware Data Services Manager bereitstellen	Bereitstellen einer RAG-Arbeitslast	Installieren und Konfigurieren von VMware Data Services Manager Sie stellen eine VMware Data Services Manager-Instanz in der VI-Arbeitslastdomäne mit den KI-Arbeitslasten bereit. Um eine PostgreSQL-Datenbank mit der pgvector-Erweiterung mithilfe eines Self-Service-Katalogelements in VMware Aria Automation zur Verfügung stellen zu können, stellen Sie VMware Data Services Manager 2.0.2 bereit.

Getrennte Umgebung

Aufgabe	Bereitstellungsoptionen für zugehörige KI-Arbeitslasten	Schritte
Überprüfen Sie die Anforderungen für die Bereitstellung von VMware Private AI Foundation with NVIDIA.	Bereitstellen einer Deep Learning-VM Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster Bereitstellen einer RAG-Arbeitslast	Anforderungen für die Bereitstellung von VMware Private AI Foundation with NVIDIA
Stellen Sie eine Dienstinstanz für delegierte NVIDIA-Lizenzen bereit.	Bereitstellen einer Deep Learning-VM Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster Bereitstellen einer RAG-Arbeitslast	Installieren und Konfigurieren der virtuellen DLS-Appliance Sie können die virtuelle Appliance in derselben Arbeitslastdomäne wie die KI-Arbeitslasten oder in der Verwaltungsdomäne bereitstellen.
Registrieren Sie eine NVIDIA DLS Instanz auf dem NVIDIA Lizenzierungsportal, binden Sie einen Lizenzserver daran und installieren Sie ihn. Generieren Sie einen Clientauthentifizierungstoken.	Bereitstellen einer Deep Learning-VM Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster Bereitstellen einer RAG-Arbeitslast	Konfigurieren einer Dienstinstanz Verwalten von Lizenzen auf einem Lizenzserver.
Aktivieren von vSphere with Tanzu	Bereitstellen einer Deep Learning-VM direkt mithilfe von kubectl Bereitstellen von KI-Arbeitslasten auf einem GPU-beschleunigten TKG-Cluster, der mithilfe von kubectl zur Verfügung gestellt wird Bereitstellen einer RAG-Arbeitslast Bereitstellen einer Deep Learning-VM mit einer RAG-Arbeitslast mithilfe von kubectl Bereitstellen einer RAG-Arbeitslast auf einem TKG-Cluster	Konfigurieren von vSphere with Tanzu für VMware Private AI Foundation with NVIDIA
Richten Sie einen Harbor-Registrierungsdienst im Supervisor ein.	Bereitstellen einer Deep Learning-VM Bereitstellen einer Deep Learning-VM direkt mithilfe von kubectl Direkte Bereitstellung einer Deep Learning-VM mithilfe eines Self-Service-Katalogelements Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster Bereitstellen einer RAG-Arbeitslast Bereitstellen einer Deep Learning-VM mit einer RAG-Arbeitslast mithilfe von kubectl Direkte Bereitstellung einer Deep Learning-VM mithilfe eines Self-Service-Katalogelements Bereitstellen einer RAG-Arbeitslast auf einem TKG-Cluster	Einrichten einer Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA
Geben Sie einen Speicherort zum Herunterladen der vGPU-Gasttreiber an.	Bereitstellen einer Deep Learning-VM	Laden Sie die erforderlichen vGPU-Gasttreiberversionen und einen Index in einem der folgenden Formate auf einen lokalen Web Server hoch: Eine Indexdatei mit einer Liste der .run-Dateien der vGPU-Gasttreiber. host-driver-version-1 guest-driver-download-URL-1 host-driver-version-2 guest-driver-download-URL-2 host-driver-version-3 guest-driver-download-URL-3 Ein Verzeichnisindex im Format, das von Webservern wie NGINX und Apache HTTP Server generiert wird.
Laden Sie die NVIDIA NGC-Container-Images in eine private Containerregistrierung hoch, z. B. in den Harbor-Registrierungsdienst des Supervisors.	Bereitstellen einer Deep Learning-VM Bereitstellen einer Deep Learning-VM direkt mithilfe von kubectl Direkte Bereitstellung einer Deep Learning-VM mithilfe eines Self-Service-Katalogelements Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster Bereitstellen einer RAG-Arbeitslast Bereitstellen einer Deep Learning-VM mit einer RAG-Arbeitslast mithilfe von kubectl Direkte Bereitstellung einer Deep Learning-VM mithilfe eines Self-Service-Katalogelements Bereitstellen einer RAG-Arbeitslast auf einem TKG-Cluster	Hochladen von KI-Container-Images in eine Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA
VMware Aria Automation bereitstellen	Direkte Bereitstellung einer Deep Learning-VM mithilfe eines Self-Service-Katalogelements Bereitstellen von KI-Arbeitslasten auf einem GPU-beschleunigten TKG-Cluster, der mithilfe eines Self-Service-Katalogelements zur Verfügung gestellt wird Bereitstellen einer RAG-Arbeitslast Direkte Bereitstellung einer Deep Learning-VM mithilfe eines Self-Service-Katalogelements Bereitstellen einer RAG-Arbeitslast auf einem TKG-Cluster, der mithilfe eines Self-Service-Katalogelements zur Verfügung gestellt wird	Einrichten von VMware Aria Automation für VMware Private AI Foundation with NVIDIA
VMware Aria Operations bereitstellen	Überwachen Sie GPU-Metriken auf den Cluster-, Hostsystem- und Hosteigenschaften mit der Option, diese Metriken zu benutzerdefinierten Dashboards hinzuzufügen.	Führen Sie für VMware Aria Operations 8.16 die Schritte unter Intelligentes Betriebsmanagement für VMware Cloud Foundation aus. Wenn Sie die erweiterten GPU-Überwachungsfunktionen in VMware Aria Operations 8.17.1 verwenden möchten, führen Sie die folgenden Schritte aus: Wenden Sie die Produktsupportpakete für VMware Aria Operations 8.17.1 auf VMware Aria Suite Lifecycle 8.16 an. Weitere Informationen finden Sie unter Versionshinweise zum VMware Aria Suite Lifecycle 8.16-Produktsupportpaket. Bereitstellen von VMware Aria Operations gemäß Intelligentes Betriebsmanagement für VMware Cloud Foundation
VMware Data Services Manager bereitstellen	Bereitstellen einer RAG-Arbeitslast	Installieren und Konfigurieren von VMware Data Services Manager Sie stellen eine VMware Data Services Manager-Instanz in der VI-Arbeitslastdomäne mit den KI-Arbeitslasten bereit. Um eine PostgreSQL-Datenbank mit der pgvector-Erweiterung mithilfe eines Self-Service-Katalogelements in VMware Aria Automation zur Verfügung stellen zu können, stellen Sie VMware Data Services Manager 2.0.2 bereit.
Richten Sie eine Maschine ein, die Zugriff auf das Internet hat und auf der Docker und Helm installiert sind. Richten Sie eine Maschine ein, die Zugriff auf vCenter Server für die VI-Arbeitslastdomäne, die Supervisor-Instanz und die lokale Containerregistrierung hat. Die Maschine muss über Docker-, Helm- und Kubernetes-CLI-Tools für vSphere verfügen.	Bereitstellen einer Deep Learning-VM Bereitstellen eines GPU-beschleunigten TKG-Clusters Bereitstellen einer RAG-Arbeitslast	Installieren des Kubernetes-CLI-Tools für vSphere Installieren von VMware vSphere with VMware Tanzu (Air-Gapped)