Als Cloud-Administrator müssen Sie spezifische Software bereitstellen und die VI-Arbeitslastdomänen des Ziels so konfigurieren, dass Datenwissenschaftler und DevOps-Ingenieure KI-Arbeitslasten zusätzlich zu VMware Private AI Foundation with NVIDIA bereitstellen können.
VMware-Komponenten in VMware Private AI Foundation with NVIDIA
Die Funktionen der VMware Private AI Foundation with NVIDIA-Lösung sind über mehrere Softwarekomponenten hinweg verfügbar.
- VMware Cloud Foundation 5.2
- VMware Aria Automation 8.18 und VMware Aria Automation 8.18
- VMware Aria Operations 8.18 und VMware Aria Operations 8.18
- VMware Data Services Manager 2.1
Informationen zur Architektur und zu den Komponenten von VMware Private AI Foundation with NVIDIA finden Sie unter Systemarchitektur von VMware Private AI Foundation with NVIDIA.
Bereitstellungsworkflow für VMware Private AI Foundation with NVIDIA
Die Funktionen von VMware Private AI Foundation with NVIDIA basieren auf einem grundlegenden Komponentensatz sowie zusätzlichen Komponenten, die für die Bereitstellung einer der folgenden KI-Arbeitslasttypen erforderlich sind:
- Deep Learning-VMs im Allgemeinen
- KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster im Allgemeinen
- RAG-Arbeitslasten als Deep Learning-VMs oder Anwendungen auf GPU-beschleunigten TKG-Clustern
Mit der Bereitstellung einer RAG-Arbeitslast wird der allgemeine Ansatz für Deep Learning-VMs und KI-Arbeitslasten auf TKG-Clustern um die Bereitstellung einer PostgreSQL-Datenbank vom Typ „pgvector“ und die Konfiguration der Anwendung mit der pgvector-Datenbank erweitert.
In einer nicht verbundenen Umgebung müssen Sie zusätzliche Schritte zum Einrichten und Bereitstellen von Appliances durchführen und Ressourcen lokal bereitstellen, damit Ihre Arbeitslasten darauf zugreifen können.
- Verbundene Umgebung
-
Aufgabe Anwendungsbeispiele für die Bereitstellung von KI-Arbeitslasten Schritte Überprüfen Sie die Architektur und die Anforderungen für die Bereitstellung von VMware Private AI Foundation with NVIDIA. Alle Konfigurieren Sie eine Lizenzdienst-Instanz im NVIDIA-Lizenzierungsportal und generieren Sie ein Clientkonfigurationstoken. Benutzerhandbuch für das NVIDIA-Lizenzsystem. Generieren Sie einen API-Schlüssel für den Zugriff auf den NVIDIA NGC-Katalog. Abrufen und Ausführen von NVIDIA AI Enterprise-Containern Erstellen Sie eine Inhaltsbibliothek für Deep Learning-VM-Images. Bereitstellen einer Deep Learning-VM Erstellen einer Inhaltsbibliothek mit Deep Learning-VM-Images für VMware Private AI Foundation with NVIDIA Aktivieren Sie vSphere IaaS control plane (wurde früher als vSphere with Tanzu bezeichnet). Alle Konfigurieren von vSphere IaaS Control Plane für VMware Private AI Foundation with NVIDIA Bereitstellen Stellen Sie VMware Aria Automation
mithilfe von VMware Aria Suite Lifecycle in VMware Cloud Foundation mode bereit.Alle Erforderlich, wenn Datenwissenschaftler und DevOps-Ingenieure Arbeitslasten mithilfe von Self-Service-Katalogelementen in VMware Aria Automation bereitstellen.
Stellen Sie VMware Aria Operations mithilfe von VMware Aria Suite Lifecycle in VMware Cloud Foundation mode bereit. Alle Intelligentes Betriebsmanagement für VMware Cloud Foundation. VMware Data Services Manager bereitstellen Bereitstellen einer RAG-Arbeitslast - Installieren und Konfigurieren von VMware Data Services Manager
Sie stellen eine VMware Data Services Manager-Instanz in der Verwaltungsdomäne bereit.
- Erstellen eines Vektordatenbank-Katalogelements in VMware Aria Automation
Richten Sie eine Maschine mit Zugriff auf die Supervisor-Instanz ein, die über Docker- und Helm-Tools sowie Kubernetes CLI Tools for vSphere verfügt. Alle Erforderlich, wenn die KI-Arbeitslasten durch direkte Verwendung des Befehls kubectl bereitgestellt werden.
Installieren des Kubernetes CLI Tools for vSphere - Installieren und Konfigurieren von VMware Data Services Manager
- Getrennte Umgebung
-
Aufgabe Bereitstellungsoptionen für zugehörige KI-Arbeitslasten Schritte Überprüfen Sie die Anforderungen für die Bereitstellung von VMware Private AI Foundation with NVIDIA. Alle Stellen Sie eine Dienstinstanz für delegierte NVIDIA-Lizenzen bereit. Installieren und Konfigurieren der virtuellen DLS-Appliance Sie können die virtuelle Appliance in derselben Arbeitslastdomäne wie die KI-Arbeitslasten oder in der Verwaltungsdomäne bereitstellen.
- Registrieren Sie eine NVIDIA DLS Instanz auf dem NVIDIA Lizenzierungsportal, binden Sie einen Lizenzserver daran und installieren Sie ihn.
- Generieren Sie einen Clientauthentifizierungstoken.
Erstellen Sie eine Inhaltsbibliothek für Deep Learning-VM-Images Bereitstellen einer Deep Learning-VM Erstellen einer Inhaltsbibliothek mit Deep Learning-VM-Images für VMware Private AI Foundation with NVIDIA Aktivieren Sie vSphere IaaS control plane (wurde früher als vSphere with Tanzu bezeichnet) Alle Konfigurieren von vSphere IaaS Control Plane für VMware Private AI Foundation with NVIDIA - Richten Sie eine Maschine ein, die Zugriff auf das Internet hat und auf der Docker und Helm installiert sind.
- Richten Sie eine Maschine ein, die Zugriff auf vCenter Server für die VI-Arbeitslastdomäne, die Supervisor-Instanz und die lokale Containerregistrierung hat.
Die Maschine muss über Docker-, Helm- und Kubernetes CLI Tools for vSphere verfügen.
Konfigurieren Sie eine Inhaltsbibliothek für Tanzu Kubernetes Releases (TKr) für Ubuntu - Bereitstellen einer RAG-Arbeitslast in einem GPU-beschleunigten TKG-Cluster
- Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster
Konfigurieren einer Inhaltsbibliothek mit Ubuntu TKr für eine getrennte VMware Private AI Foundation with NVIDIA-Umgebung Richten Sie einen Harbor-Registrierungsdienst im Supervisor ein. Alle Erforderlich, wenn die KI-Arbeitslasten auf einem Supervisor in vSphere IaaS control plane bereitgestellt werden
In einer Umgebung ohne vSphere IaaS control plane müssen Sie zum Abrufen von Container-Images auf einer Deep Learning-VM, die direkt auf einem vSphere-Cluster ausgeführt wird, eine Registrierung eines anderen Anbieters konfigurieren.
Einrichten einer Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA Laden Sie die Komponenten der NVIDIA-Operatoren in die Umgebung hoch. - Bereitstellen einer RAG-Arbeitslast in einem GPU-beschleunigten TKG-Cluster
- Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster
Hochladen der NVIDIA GPU-Operatorkomponenten in eine getrennte Umgebung Geben Sie einen Speicherort zum Herunterladen der vGPU-Gasttreiber an. Bereitstellen einer Deep Learning-VM Laden Sie die erforderlichen aus dem NVIDIA-Lizenzierungsportal heruntergeladenen vGPU-Gasttreiberversionen und einen Index in einem der folgenden Formate auf einen lokalen Webserver hoch: - Eine Indexdatei vom Typ .txt mit einer Liste der Dateien vom Typ .run oder .zip der vGPU-Gasttreiber.
host-driver-version-1 guest-driver-download-URL-1 host-driver-version-2 guest-driver-download-URL-2 host-driver-version-3 guest-driver-download-URL-3
- Ein Verzeichnisindex im Format, das von Webservern wie NGINX und Apache HTTP Server generiert wird. Die versionsspezifischen vGPU-Treiberdateien müssen als Dateien vom Typ .zip bereitgestellt werden.
Laden Sie die NVIDIA NGC-Container-Images in eine private Containerregistrierung hoch, z. B. in den Harbor-Registrierungsdienst des Supervisors. Alle In einer Umgebung ohne vSphere IaaS control plane müssen Sie zum Abrufen von Container-Images auf einer Deep Learning-VM, die direkt auf einem vSphere-Cluster ausgeführt wird, eine Registrierung eines anderen Anbieters konfigurieren.
Hochladen von KI-Container-Images in eine Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA Stellen Sie VMware Aria Automation mithilfe von VMware Aria Suite Lifecycle in VMware Cloud Foundation mode bereit. Alle Erforderlich, wenn Datenwissenschaftler und DevOps-Ingenieure Arbeitslasten mithilfe von Self-Service-Katalogelementen in VMware Aria Automation bereitstellen.
Stellen Sie VMware Aria Operations mithilfe von VMware Aria Suite Lifecycle in VMware Cloud Foundation mode bereit. Alle Intelligentes Betriebsmanagement für VMware Cloud Foundation VMware Data Services Manager bereitstellen Bereitstellen einer RAG-Arbeitslast - Installieren und Konfigurieren von VMware Data Services Manager
Sie stellen eine VMware Data Services Manager-Instanz in der Verwaltungsdomäne bereit.
- Erstellen eines Vektordatenbank-Katalogelements in VMware Aria Automation
