Damit Datenwissenschaftler die Deep Learning-VM-Vorlagen in VMware Private AI Foundation with NVIDIA schnell testen können, können Sie als Cloud-Administrator mithilfe des vSphere Client eine Deep Learning-VM direkt auf einem vSphere-Cluster bereitstellen.
Informationen zu Deep Learning-VM-Images in
VMware Private AI Foundation with NVIDIA finden Sie unter
Informationen zu Deep Learning-VM-Images in VMware Private AI Foundation with NVIDIA.
Für die Bereitstellung einer Deep Learning-VM mit NVIDIA RAG ist eine Vektordatenbank erforderlich. Sie können eine PostgreSQL-Datenbank mit pgvector in VMware Data Services Manager verwenden. Informationen zum Bereitstellen einer solchen Datenbank und deren Integration in eine Deep Learning-VM finden Sie unter Bereitstellen einer Deep Learning-VM mit einer RAG-Arbeitslast.
Prozedur
- Melden Sie sich bei der vCenter Server-Instanz für die VI-Arbeitslastdomäne an.
- Wählen Sie im vSphere Client-Startmenü die Option Inhaltsbibliotheken aus.
- Navigieren Sie zum Deep Learning-VM-Image in der Inhaltsbibliothek.
- Klicken Sie mit der rechten Maustaste auf eine OVF-Vorlage und wählen Sie Neue VM über diese Vorlage aus.
- Geben Sie auf der Seite Namen und Ordner auswählen des angezeigten Assistenten einen Namen ein und wählen Sie einen VM-Ordner aus, wählen Sie Hardware dieser virtuellen Maschine anpassen und klicken Sie auf Weiter.
- Wählen Sie einen GPU-fähigen Cluster in der VI-Arbeitslastdomäne aus, geben Sie an, ob die virtuelle Maschine nach Abschluss der Bereitstellung eingeschaltet werden muss, und klicken Sie auf Weiter.
- Folgen Sie den Anweisungen des Assistenten, um einen Datenspeicher und ein Netzwerk auf dem Distributed Switch für den Cluster auszuwählen.
- Geben Sie auf der Seite Vorlage anpassen die benutzerdefinierten VM-Eigenschaften ein, die zum Einrichten der KI-Funktionen erforderlich sind, und klicken Sie auf Weiter.
- Weisen Sie auf der Seite Hardware anpassen der virtuellen Maschine ein NVIDIA vGPU-Gerät als Neues PCI-Gerät zu und klicken Sie auf Weiter.
Wählen Sie für eine Deep Learning-VM, auf der ein NVIDIA RAG ausgeführt wird, das vGPU-Profil in voller Größe für den Zeitaufteilungsmodus oder ein MIG-Profil aus. Wählen Sie beispielsweise für NVIDIA A100 40 GB im vGPU-Zeitaufteilungsmodus die Option nvidia_a100-40c aus.
- Legen Sie für eine Deep Learning-VM, auf der ein NVIDIA RAG ausgeführt wird oder Triton Inference Server mit dem TensorRT-Backend verwendet wird, auf der Registerkarte Erweitere Parameter der Einstellungen der virtuellen Maschine den Parameter
pciPassthru<vgpu-id>.cfg.enable_uvm auf 1 fest.
wobei <vgpu-id> die der virtuellen Maschine zugewiesene vGPU identifiziert. Wenn der virtuellen Maschine beispielsweise zwei vGPUs zugewiesen sind, legen Sie pciPassthru0.cfg.parameter=1 und pciPassthru1.cfg.parameter = 1 fest.
Wichtig: Diese Konfiguration deaktiviert vSphere vMotion-Migration für die Deep Learning-VM.
- Überprüfen Sie die Bereitstellungsspezifikation und klicken Sie auf Beenden.
Ergebnisse
Der vGPU-Gasttreiber und die angegebene Deep Learning-Arbeitslast werden beim ersten Start der Deep Learning-VM installiert.
Sie können die Protokolle untersuchen oder die JupyterLab-Instanz öffnen, die in einigen der Images enthalten ist. Sie können Zugriffsdetails für Datenwissenschaftler in Ihrer Organisation freigeben. Weitere Informationen finden Sie unter Deep Learning-Arbeitslasten in VMware Private AI Foundation with NVIDIA.
Nächste Maßnahme
- Stellen Sie über SSH eine Verbindung zur Deep Learning-VM her und stellen Sie sicher, dass alle Komponenten installiert sind und wie erwartet ausgeführt werden.
- Senden Sie die Zugriffsdetails an Ihre Datenwissenschaftler.
