In qualità di data scientist, è possibile distribuire una workstation RAG abilitata per GPU con un database PostgreSQL pgvector gestito da VMware Data Services Manager (DSM) dal catalogo self-service di Automation Service Broker.

Quando si richiede Workstation RAG AI con DSM nel catalogo, è possibile utilizzare l'istanza di un database esistente o crearne una nuova. Durante la distribuzione, viene eseguito il provisioning di Deep Learning VM e della macchina virtuale del database a cui si connette. Il provisioning del database viene eseguito all'esterno della distribuzione di RAG.

  • Se si sceglie l'opzione Database esistente, si utilizza un database pre-distribuito, che può essere un database esterno o un database il cui provisioning è stato eseguito da un'altra distribuzione di Workstation RAG AI con DSM. Durante la distribuzione, non viene eseguito il provisioning di una nuova istanza del database.
  • Se non è presente alcun database che può essere utilizzato o si desidera usare un database privato per un caso d'uso specifico, scegliere l'opzione Nuovo database.

Procedura

  1. Nella pagina Catalogo di Automation Service Broker, individuare la scheda Workstation RAG AI con DSM e fare clic su Richiedi.
  2. Selezionare un progetto.
  3. Immettere un nome e una descrizione per la distribuzione.
  4. Configurare i parametri della workstation RAG.
    Impostazione Valore di esempio
    Classe di macchine virtuali vgpu-1xa100-40c
    Specifica minima della classe di macchine virtuali:
    • CPU: 10 vCPU
    • RAM CPU: 64 GB
    • GPU: 2xH100
    • Memoria GPU: 50 GB
    Dimensioni disco dati 32 Gi

    Selezionare dimensioni del disco comprese tra 20 GB e 1 TB.
    Password utente Immettere una password per l'utente predefinito. È possibile che venga richiesto di reimpostare la password al primo accesso.
    Chiave pubblica SSH Questa impostazione è opzionale.
  5. Configurare il database della workstation.
    Impostazione Valore di esempio
    Istanza database Database esistente
    Stringa di connessione

    Specificare la stringa di connessione DSM dalla panoramica della distribuzione DSM.
  6. Installare le personalizzazioni del software.
    1. (Facoltativo) Se si desidera installare un cloud-init personalizzato oltre al cloud-init definito per il bundle software RAG, selezionare la casella di controllo e incollare il contenuto del pacchetto di configurazione.
      VMware Aria Automation unisce il cloud-init del bundle del software RAG e il cloud-init personalizzato.
    2. Specificare la chiave di accesso al portale NVIDIA NGC.
    3. (Facoltativo) Esporre le metriche di NVIDIA Data Center GPU Manager (DCGM) tramite un bilanciamento del carico.
      NVIDIA DCGM gestisce e monitora le GPU negli ambienti di data center.
    4. Immettere le credenziali di Docker Hub.
  7. Fare clic su Invia.