Als Datenwissenschaftler können Sie eine GPU-fähige RAG-Workstation mit einer PostgreSQL-Datenbank vom Typ „pgvector“ bereitstellen, die von VMware Data Services Manager (DSM) über den Automation Service Broker-Self-Service-Katalog verwaltet wird.

Wenn Sie die KI-RAG-Workstation mit DSM im Katalog anfordern, können Sie eine vorhandene Datenbankinstanz verwenden oder eine neue erstellen. Während der Bereitstellung werden sowohl die Deep Learning-VM als auch die Datenbank-VM bereitgestellt, mit der eine Verbindung hergestellt wird. Die Datenbank wird außerhalb der RAG-Bereitstellung zur Verfügung gestellt.

  • Wenn Sie sich für Option „Vorhandene Datenbank“ entscheiden, verwenden Sie eine vorab bereitgestellte Datenbank, bei der es sich um eine externe Datenbank oder eine Datenbank handeln kann, die von einer anderen Bereitstellung vom Typ KI-RAG-Workstation mit DSM zur Verfügung gestellt wurde. Während der Bereitstellung wird keine neue Datenbankinstanz zur Verfügung gestellt.
  • Wenn keine zu verwendende Datenbank vorhanden ist oder die eigene private Datenbank für einen bestimmten Anwendungsfall verwendet werden soll, wählen Sie die Option „Neue Datenbank“ aus.

Prozedur

  1. Suchen Sie auf der Seite Katalog in Automation Service Broker nach der Karte KI-RAG-Workstation mit DSM und klicken Sie auf Anfordern.
  2. Wählen Sie ein Projekt aus.
  3. Geben Sie einen Namen und eine Beschreibung für die Bereitstellung ein.
  4. Konfigurieren Sie die Parameter der RAG-Workstation.
    Einstellung Beispielwert
    VM-Klasse vgpu-1xa100-40c
    Mindestspezifikation für VM-Klassen:
    • CPU: 10 vCPUs
    • CPU-RAM: 64 GB
    • GPU: 2xH100
    • GPU-Arbeitsspeicher: 50 GB
    Größe der Datenfestplatte 32 Gi

    Wählen Sie eine Festplattengröße zwischen 20 GB und 1 TB aus.
    Benutzerkennwort Geben Sie ein Kennwort für den Standardbenutzer ein. Sie werden bei der ersten Anmeldung unter Umständen dazu aufgefordert, Ihr Kennwort zurückzusetzen.
    Öffentlicher SSH-Schlüssel Diese Einstellung ist optional.
  5. Konfigurieren Sie die Workstation-Datenbank.
    Einstellung Beispielwert
    Datenbankinstanz Vorhandene Datenbank
    Verbindungszeichenfolge

    Geben Sie die DSM-Verbindungszeichenfolge aus der DSM-Bereitstellungsübersicht an.
  6. Installieren Sie Softwareanpassungen.
    1. (Optional) Wenn Sie zusätzlich zu der für das RAG-Softwarepaket definierten cloud-init eine benutzerdefinierte cloud-init installieren möchten, aktivieren Sie das Kontrollkästchen und fügen Sie den Inhalt des Konfigurationspakets ein.
      VMware Aria Automation führt cloud-init über das RAG-Softwarepaket und die benutzerdefinierte cloud-init zusammen.
    2. Geben Sie den Schlüssel für den Zugriff auf das NVIDIA NGC-Portal an.
    3. (Optional) Stellen Sie NVIDIA DCGM-Metriken (Data Center GPU Manager) über einen Lastausgleichsdienst bereit.
      NVIDIA DCGM verwaltet und überwacht GPUs in Datencenter-Umgebungen.
    4. Geben Sie die Anmeldedaten für den Docker-Hub ein.
  7. Klicken Sie auf Senden.