In qualità di tecnico DevOps, è possibile distribuire Deep Learning VM con una soluzione di riferimento RAG dal catalogo self-service di Automation Service Broker.

Procedura

  1. Nella pagina Catalogo di Automation Service Broker, individuare la scheda Workstation RAG AI e fare clic su Richiedi.
  2. Selezionare un progetto.
  3. Immettere un nome e una descrizione per la distribuzione.
  4. Configurare i parametri della workstation RAG.
    Impostazione Valore di esempio
    Classe di macchine virtuali A100 Small - 1 vGPU (16 GB), 8 CPU e 16 GB di memoria
    Specifica minima della classe di macchine virtuali:
    • CPU: 10 vCPU
    • RAM CPU: 64 GB
    • GPU: 2xH100
    • Memoria GPU: 50 GB
    Dimensioni disco dati 3 Gi
    Password utente Immettere una password per l'utente predefinito. È possibile che venga richiesto di reimpostare la password al primo accesso.
    Chiave pubblica SSH Questa impostazione è opzionale.
  5. Installare le personalizzazioni del software.
    1. (Facoltativo) Se si desidera installare un cloud-init personalizzato oltre al cloud-init definito per il bundle software RAG, selezionare la casella di controllo e incollare il contenuto del pacchetto di configurazione.
      VMware Aria Automation unisce il cloud-init del bundle del software RAG e il cloud-init personalizzato.
    2. Specificare la chiave di accesso al portale NVIDIA NGC.
    3. Immettere le credenziali di Docker Hub.
  6. Fare clic su Invia.

risultati

Deep Learning VM include Ubuntu 22.04, un driver NVIDIA vGPU, un Docker Engine, un NVIDIA Container Toolkit, nonché una soluzione RAG di riferimento che utilizza il modello Llama-2-13b-chat.