Als Datenwissenschaftler oder DevOps-Ingenieur können Sie eine Deep Learning-VM aus Automation Service Broker bereitstellen, indem Sie das Self-Service-Katalogelement der KI-Workstation verwenden.

Wenn Sie eine Deep Learning-VM im Automation Service Broker-Katalog anfordern, stellen Sie eine GPU-fähige Deep Learning-VM bereit, die mit den gewünschten vCPU-, vGPU-, Arbeitsspeicher- und AI/ML-NGC-Containern aus NVIDIA konfiguriert werden kann. Der vGPU-Gasttreiber und die angegebene Deep Learning-Arbeitslast werden installiert, wenn Sie die Deep Learning-VM erstmalig starten.

Verwenden Sie für eine Deep Learning-VM mit einer NVIDIA RAG-Arbeitslast das Katalogelement KI-RAG-Workstation. Weitere Informationen finden Sie unter Bereitstellen einer Deep Learning-VM mit einer RAG-Arbeitslast unter Verwendung eines Self-Service-Katalogelements in VMware Aria Automation.

Voraussetzungen

  • Stellen Sie sicher, dass der Cloud-Administrator Private AI Automation Services für das Projekt konfiguriert hat.
  • Stellen Sie sicher, dass Sie über die Berechtigungen zum Anfordern von KI-Katalogelementen verfügen.

Bereitstellen einer Deep Learning-VM mithilfe eines Self-Service-Katalogelements in VMware Aria Automation

Als Datenwissenschaftler können Sie eine einzelne softwaredefinierte GPU-Entwicklungsumgebung über den Automation Service Broker-Self-Service-Katalog bereitstellen.

Sie können die GPU-fähige virtuelle Maschine mit Maschinenparametern anpassen, um Entwicklungsanforderungen zu modellieren, KI-/ML-Frameworks zur Erfüllung von Schulungs- und Inferenzanforderungen vorab zu installieren und die KI-/ML-Pakete aus der NVIDIA NGC-Registrierung über einen Schlüssel für den Zugriff auf das Portal anzugeben.

Prozedur

  1. Suchen Sie auf der Seite Katalog in Automation Service Broker nach der Karte KI-Workstation und klicken Sie auf Anfordern.
  2. Wählen Sie ein Projekt aus.
  3. Geben Sie einen Namen und eine Beschreibung für die Bereitstellung ein.
  4. Konfigurieren Sie die Parameter der KI-Workstation.
    Einstellung Beispielwert
    VM-Klasse A100 Klein – 1 vGPU (16 GB), 8 CPUs und 16 GB Memory
    Größe der Datenfestplatte 32 GB
    Benutzerkennwort Geben Sie ein Kennwort für den Standardbenutzer ein. Sie werden bei der ersten Anmeldung unter Umständen dazu aufgefordert, Ihr Kennwort zurückzusetzen.
    Öffentlicher SSH-Schlüssel Diese Einstellung ist optional.
  5. Wählen Sie ein Softwarepaket aus, das auf Ihrer Workstation installiert werden soll.
    Zu den unterstützten Deep Learning-Arbeitslasten gehören beispielsweise PyTorch, TensorFlow und CUDA. Weitere Informationen finden Sie unter Deep Learning-Arbeitslasten in VMware Private AI Foundation with NVIDIA.
  6. (Optional) Geben Sie zusätzlich zu der für das Softwarepaket definierten cloud-init eine benutzerdefinierte cloud-init ein, die Sie installieren möchten.
    VMware Aria Automation führt cloud-init über das Softwarepaket und die benutzerdefinierte cloud-init zusammen.
  7. Geben Sie den API-Schlüssel für NVIDIA NGC ein.
  8. (Optional) Stellen Sie NVIDIA DCGM-Metriken (Data Center GPU Manager) über einen Lastausgleichsdienst bereit.
    NVIDIA DCGM verwaltet und überwacht GPUs in Datencenter-Umgebungen.
  9. (Optional) Wenn Sie das PyTorch- oder TensorFlow NGC-Softwarepaket installieren, aktivieren Sie JupyterLab-Authentifizierung.
  10. Klicken Sie auf Senden.

Ergebnisse

Die Registerkarte „Bereitstellungsübersicht“ enthält eine Übersicht über die installierte Software sowie Anweisungen zum Zugriff auf die Anwendung, Dienste und die Deep Learning-VM.

Bereitstellen einer Deep Learning-VM mit NVIDIA Triton Inference Server unter Verwendung eines Self-Service-Katalogelements in VMware Aria Automation

Als Datenwissenschaftler können Sie eine GPU-fähige Deep Learning-VM mit NVIDIA Triton Inference Server aus dem Automation Service Broker-Self-Service-Katalog bereitstellen.

Im Lieferumfang der bereitgestellten Workstation befinden sich Ubuntu 22.04, ein NVIDIA vGPU-Treiber, die Docker-Engine, das NVIDIA Container Toolkit und NVIDIA Triton Inference Server.

Prozedur

  1. Suchen Sie auf der Seite Katalog in Automation Service Broker nach der Karte Triton Inferencing Server und klicken Sie auf Anfordern.
  2. Wählen Sie ein Projekt aus.
  3. Geben Sie einen Namen und eine Beschreibung für die Bereitstellung ein.
  4. Konfigurieren Sie die Parameter der KI-Workstation.
    Einstellung Beispielwert
    VM-Klasse A100 Klein – 1 vGPU (16 GB), 8 CPUs und 16 GB Memory

    VM-Klassen mit UVM-Unterstützung (Unified Virtual Memory) sind für die Ausführung von Triton Inferencing Server erforderlich.
    Größe der Datenfestplatte 32 GB
    Benutzerkennwort Geben Sie ein Kennwort für den Standardbenutzer ein. Sie werden bei der ersten Anmeldung unter Umständen dazu aufgefordert, Ihr Kennwort zurückzusetzen.
    Öffentlicher SSH-Schlüssel Diese Einstellung ist optional.
  5. (Optional) Geben Sie zusätzlich zu der für das Softwarepaket definierten cloud-init eine benutzerdefinierte cloud-init ein, die Sie installieren möchten.
    VMware Aria Automation führt cloud-init über das Softwarepaket und die benutzerdefinierte cloud-init zusammen.
  6. (Optional) Stellen Sie NVIDIA DCGM-Metriken (Data Center GPU Manager) über einen Lastausgleichsdienst bereit.
    NVIDIA DCGM verwaltet und überwacht GPUs in Datencenter-Umgebungen.
  7. Klicken Sie auf Senden.