Als DevOps-Ingenieur können Sie eine Deep Learning-VM mit einer RAG-Referenzlösung über den Automation Service Broker-Self-Service-Katalog bereitstellen.

Prozedur

  1. Suchen Sie auf der Seite Katalog in Automation Service Broker nach der Karte KI-RAG-Workstation und klicken Sie auf Anfordern.
  2. Wählen Sie ein Projekt aus.
  3. Geben Sie einen Namen und eine Beschreibung für die Bereitstellung ein.
  4. Konfigurieren Sie die Parameter der RAG-Workstation.
    Einstellung Beispielwert
    VM-Klasse A100 Klein – 1 vGPU (16 GB), 8 CPUs und 16 GB Memory
    Mindestspezifikation für VM-Klassen:
    • CPU: 10 vCPUs
    • CPU-RAM: 64 GB
    • GPU: 2xH100
    • GPU-Arbeitsspeicher: 50 GB
    Größe der Datenfestplatte 3 Gi
    Benutzerkennwort Geben Sie ein Kennwort für den Standardbenutzer ein. Sie werden bei der ersten Anmeldung unter Umständen dazu aufgefordert, Ihr Kennwort zurückzusetzen.
    Öffentlicher SSH-Schlüssel Diese Einstellung ist optional.
  5. Installieren Sie Softwareanpassungen.
    1. (Optional) Wenn Sie zusätzlich zu der für das RAG-Softwarepaket definierten cloud-init eine benutzerdefinierte cloud-init installieren möchten, aktivieren Sie das Kontrollkästchen und fügen Sie den Inhalt des Konfigurationspakets ein.
      VMware Aria Automation führt cloud-init über das RAG-Softwarepaket und die benutzerdefinierte cloud-init zusammen.
    2. Geben Sie den Schlüssel für den Zugriff auf das NVIDIA NGC-Portal an.
    3. Geben Sie die Anmeldedaten für den Docker-Hub ein.
  6. Klicken Sie auf Senden.

Ergebnisse

Im Lieferumfang der Deep Learning-VM befinden sich Ubuntu 22.04, ein NVIDIA vGPU-Treiber, eine Docker-Engine, ein NVIDIA Container Toolkit sowie eine RAG-Referenzlösung, die das Modell „Llama-2-13b-chat“ verwendet.