Als Cloud-Administrator müssen Sie spezifische Software bereitstellen und die VI-Arbeitslastdomänen des Ziels so konfigurieren, dass Datenwissenschaftler und DevOps-Ingenieure KI-Arbeitslasten zusätzlich zu VMware Private AI Foundation with NVIDIA bereitstellen können.
VMware-Komponenten in VMware Private AI Foundation with NVIDIA
Die Funktion der VMware Private AI Foundation with NVIDIA-Lösung ist in VMware Cloud Foundation und bestimmten Versionen von VMware Aria Automation, VMware Aria Operations und VMware Data Services Manager verfügbar.
| VMware Cloud Foundation-Version | Versionen von VMware Aria-Komponenten und VMware Data Services Manager |
|---|---|
| VMware Cloud Foundation 5.2.1 |
|
| VMware Cloud Foundation 5.2
Hinweis: Diese Dokumentation basiert auf
VMware Cloud Foundation 5.2.1. Informationen zur Funktion
VMware Private AI Foundation with NVIDIA in
VMware Cloud Foundation 5.2 finden Sie im
Handbuch zu VMware Private AI Foundation with NVIDIA für VMware Cloud Foundation 5.2.
|
|
Informationen zur Architektur und zu den Komponenten von VMware Private AI Foundation with NVIDIA finden Sie unter Systemarchitektur von VMware Private AI Foundation with NVIDIA.
Geführte Bereitstellung im vSphere Client
Ab VMware Cloud Foundation 5.2.1 können Sie die VMware Private AI Foundation with NVIDIA-Komponenten vollständig einrichten, indem Sie die Benutzeroberfläche für geführte Bereitstellungen im vSphere Client verwenden. Die Benutzeroberfläche für geführte Bereitstellungen stellt eine Verbindung mit SDDC Manager her, um die angeforderten Vorgänge durchzuführen.
Führen Sie die folgenden Schritte aus, um die geführte Bereitstellung für VMware Private AI Foundation with NVIDIA zu öffnen:
- Melden Sie sich beim Management vCenter Server mithilfe des vSphere Client unter https://<management_vcenter_server>/ui als [email protected] an.
- Klicken Sie im Seitenbereich des vSphere Client auf Private AI Foundation und geben Sie Ihre VMware Private AI Foundation with NVIDIA-Lizenz ein.
Der Lizenzschlüssel wird dem Management vCenter Server als Lösungslizenz zugewiesen.
- Schließen Sie mithilfe des Assistenten die Einrichtung von VMware Private AI Foundation with NVIDIA in Übereinstimmung mit den folgenden Bereitstellungsworkflows ab.
Bereitstellungsworkflow für VMware Private AI Foundation with NVIDIA
Die Funktionen von VMware Private AI Foundation with NVIDIA basieren auf einem grundlegenden Komponentensatz sowie zusätzlichen Komponenten, die für die Bereitstellung einer der folgenden KI-Arbeitslasttypen erforderlich sind:
- Deep Learning-VMs im Allgemeinen
- KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster im Allgemeinen
- RAG-Arbeitslasten als Deep Learning-VMs oder Anwendungen auf GPU-beschleunigten TKG-Clustern
Mit der Bereitstellung einer RAG-Arbeitslast wird der allgemeine Ansatz für Deep Learning-VMs und KI-Arbeitslasten auf TKG-Clustern um die Bereitstellung einer PostgreSQL-Datenbank vom Typ „pgvector“ und die Konfiguration der Anwendung mit der pgvector-Datenbank erweitert.
In einer nicht verbundenen Umgebung müssen Sie zusätzliche Schritte zum Einrichten und Bereitstellen von Appliances durchführen und Ressourcen lokal bereitstellen, damit Ihre Arbeitslasten darauf zugreifen können.
- Verbundene Umgebung
-
Aufgabe Anwendungsbeispiele für die Bereitstellung von KI-Arbeitslasten Schritte Überprüfen Sie die Architektur und die Anforderungen für die Bereitstellung von VMware Private AI Foundation with NVIDIA. Alle Konfigurieren Sie eine Lizenzdienst-Instanz im NVIDIA-Lizenzierungsportal und generieren Sie ein Clientkonfigurationstoken. Benutzerhandbuch für das NVIDIA-Lizenzsystem. Generieren Sie einen API-Schlüssel für den Zugriff auf den NVIDIA NGC-Katalog. Abrufen und Ausführen von NVIDIA AI Enterprise-Containern Stellen Sie eine GPU-beschleunigte VI-Arbeitslastdomäne bereit. Bereitstellen einer GPU-beschleunigten VI-Arbeitslastdomäne für VMware Private AI Foundation with NVIDIA Aktivieren Sie vSphere IaaS control plane (wurde früher als vSphere with Tanzu bezeichnet). Alle Erforderlich, wenn Datenwissenschaftler und DevOps-Ingenieure Arbeitslasten mithilfe von Self-Service-Katalogelementen in VMware Aria Automation oder unter Verwendung des Befehls kubectl bereitstellen.
Konfigurieren von vSphere IaaS Control Plane für VMware Private AI Foundation with NVIDIA Erstellen Sie eine Inhaltsbibliothek für Deep Learning-VM-Images. Bereitstellen einer Deep Learning-VM Erstellen einer Inhaltsbibliothek mit Deep Learning-VM-Images für VMware Private AI Foundation with NVIDIA Konfigurieren Sie vGPU-basierte VM-Klassen für KI-Arbeitslasten. Alle Konfigurieren von GPU-basierten VM-Klassen für KI-Arbeitslasten für VMware Private AI Foundation with NVIDIA Konfigurieren eines vSphere-Namespace für KI-Arbeitslasten. Alle Konfigurieren eines vSphere-Namespace für GPU-beschleunigte Arbeitslasten Stellen Sie VMware Aria Automation
mithilfe von VMware Aria Suite Lifecycle in VMware Cloud Foundation mode bereit.Alle Erforderlich, wenn Datenwissenschaftler und DevOps-Ingenieure Arbeitslasten mithilfe von Self-Service-Katalogelementen in VMware Aria Automation bereitstellen.
Stellen Sie VMware Aria Operations mithilfe von VMware Aria Suite Lifecycle in VMware Cloud Foundation mode bereit. Alle Intelligentes Betriebsmanagement für VMware Cloud Foundation. VMware Data Services Manager bereitstellen Bereitstellen einer RAG-Arbeitslast - Installieren und Konfigurieren von VMware Data Services Manager
Sie stellen eine VMware Data Services Manager-Instanz in der Verwaltungsdomäne bereit.
- Installieren Sie den Data Services Manager Consumption Operator als Supervisor-Dienst. Weitere Informationen finden Sie unter vSphere Supervisor-Dienst-Katalog.
- Konfigurieren Sie VMware Data Services Manager mit mindestens einer Infrastrukturrichtlinie. Weitere Informationen finden Sie unter Erstellen von Infrastrukturrichtlinien.
Richten Sie eine Maschine mit Zugriff auf die Supervisor-Instanz ein, die über Docker- und Helm-Tools sowie Kubernetes CLI Tools for vSphere verfügt. Alle Erforderlich, wenn die KI-Arbeitslasten durch direkte Verwendung des Befehls kubectl bereitgestellt werden.
Installieren des Kubernetes CLI Tools for vSphere Richten Sie ab VMware Cloud Foundation 5.2.1 einen Harbor-Registrierungsdienst im Supervisor ein. Alle Erforderlich, wenn:
- die KI-Arbeitslasten auf einem Supervisor in vSphere IaaS control plane bereitgestellt werden
- Sie planen, eine Modellgalerie in Harbor zum Speichern validierter ML-Modelle zu verwenden.
Einrichten einer Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA - Installieren und Konfigurieren von VMware Data Services Manager
- Getrennte Umgebung
-
Aufgabe Bereitstellungsoptionen für zugehörige KI-Arbeitslasten Schritte Überprüfen Sie die Anforderungen für die Bereitstellung von VMware Private AI Foundation with NVIDIA. Alle Stellen Sie eine Dienstinstanz für delegierte NVIDIA-Lizenzen bereit. Installieren und Konfigurieren der virtuellen DLS-Appliance Sie können die virtuelle Appliance in derselben Arbeitslastdomäne wie die KI-Arbeitslasten oder in der Verwaltungsdomäne bereitstellen.
- Registrieren Sie eine NVIDIA DLS Instanz auf dem NVIDIA Lizenzierungsportal, binden Sie einen Lizenzserver daran und installieren Sie ihn.
- Generieren Sie einen Clientauthentifizierungstoken.
Stellen Sie eine GPU-beschleunigte VI-Arbeitslastdomäne bereit. Bereitstellen einer GPU-beschleunigten VI-Arbeitslastdomäne für VMware Private AI Foundation with NVIDIA Aktivieren Sie vSphere IaaS control plane (wurde früher als vSphere with Tanzu bezeichnet). Alle Konfigurieren von vSphere IaaS Control Plane für VMware Private AI Foundation with NVIDIA Erstellen Sie eine Inhaltsbibliothek für Deep Learning-VM-Images. Bereitstellen einer Deep Learning-VM Erstellen einer Inhaltsbibliothek mit Deep Learning-VM-Images für VMware Private AI Foundation with NVIDIA Konfigurieren eines vSphere-Namespace für KI-Arbeitslasten. Alle Konfigurieren eines vSphere-Namespace für GPU-beschleunigte Arbeitslasten - Richten Sie eine Maschine ein, die Zugriff auf das Internet hat und auf der Docker und Helm installiert sind.
- Richten Sie eine Maschine ein, die Zugriff auf vCenter Server für die VI-Arbeitslastdomäne, die Supervisor-Instanz und die lokale Containerregistrierung hat.
Die Maschine muss über Docker-, Helm- und Kubernetes CLI Tools for vSphere verfügen.
Alle Richten Sie einen Harbor-Registrierungsdienst im Supervisor ein. Alle Erforderlich, wenn die KI-Arbeitslasten auf einem Supervisor in vSphere IaaS control plane bereitgestellt werden.
In einer Umgebung ohne vSphere IaaS control plane müssen Sie zum Abrufen von Container-Images auf einer Deep Learning-VM, die direkt auf einem vSphere-Cluster ausgeführt wird, eine Registrierung eines anderen Anbieters konfigurieren.
Einrichten einer Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA Konfigurieren Sie eine Inhaltsbibliothek für Tanzu Kubernetes Releases (TKr) für Ubuntu - Bereitstellen einer RAG-Arbeitslast in einem GPU-beschleunigten TKG-Cluster
- Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster
Konfigurieren einer Inhaltsbibliothek mit Ubuntu TKr für eine getrennte VMware Private AI Foundation with NVIDIA-Umgebung Laden Sie die Komponenten der NVIDIA-Operatoren in die Umgebung hoch. - Bereitstellen einer RAG-Arbeitslast in einem GPU-beschleunigten TKG-Cluster
- Bereitstellen von KI-Arbeitslasten in einem GPU-beschleunigten TKG-Cluster
Hochladen der NVIDIA GPU-Operatorkomponenten in eine getrennte Umgebung Geben Sie einen Speicherort zum Herunterladen der vGPU-Gasttreiber an. Bereitstellen einer Deep Learning-VM Laden Sie die erforderlichen aus dem NVIDIA-Lizenzierungsportal heruntergeladenen vGPU-Gasttreiberversionen und einen Index in einem der folgenden Formate auf einen lokalen Webserver hoch: - Eine Indexdatei vom Typ .txt mit einer Liste der Dateien vom Typ .run oder .zip der vGPU-Gasttreiber.
host-driver-version-1 guest-driver-download-URL-1 host-driver-version-2 guest-driver-download-URL-2 host-driver-version-3 guest-driver-download-URL-3
- Ein Verzeichnisindex im Format, das von Webservern wie NGINX und Apache HTTP Server generiert wird. Die versionsspezifischen vGPU-Treiberdateien müssen als Dateien vom Typ .zip bereitgestellt werden.
Laden Sie die NVIDIA NGC-Container-Images in eine private Containerregistrierung hoch, z. B. in den Harbor-Registrierungsdienst des Supervisors. Alle In einer Umgebung ohne vSphere IaaS control plane müssen Sie zum Abrufen von Container-Images auf einer Deep Learning-VM, die direkt auf einem vSphere-Cluster ausgeführt wird, eine Registrierung eines anderen Anbieters konfigurieren.
Hochladen von KI-Container-Images in eine Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA Stellen Sie VMware Aria Automation mithilfe von VMware Aria Suite Lifecycle in VMware Cloud Foundation mode bereit. Alle Erforderlich, wenn Datenwissenschaftler und DevOps-Ingenieure Arbeitslasten mithilfe von Self-Service-Katalogelementen in VMware Aria Automation bereitstellen.
Stellen Sie VMware Aria Operations mithilfe von VMware Aria Suite Lifecycle in VMware Cloud Foundation mode bereit. Alle Intelligentes Betriebsmanagement für VMware Cloud Foundation VMware Data Services Manager bereitstellen Bereitstellen einer RAG-Arbeitslast - Installieren und Konfigurieren von VMware Data Services Manager
Sie können auch die Benutzeroberfläche für geführte Bereitstellungen im vSphere Client verwenden, um eine VMware Data Services Manager-Instanz in der Verwaltungsdomäne bereitzustellen.
- Installieren Sie den Data Services Manager Consumption Operator als Supervisor-Dienst. Weitere Informationen finden Sie unter vSphere Supervisor-Dienst-Katalog.
- Konfigurieren Sie VMware Data Services Manager mit mindestens einer Infrastrukturrichtlinie. Weitere Informationen finden Sie unter Erstellen von Infrastrukturrichtlinien.
