Distribuzione di un cluster RAG con un database vettore mediante un elemento del catalogo self-service in VMware Aria Automation

In qualità di data scientist, è possibile distribuire un cluster Tanzu Kubernetes Grid compatibile con Deep Learning che utilizza un database PostgreSQL pgvector gestito da VMware Data Services Manager (DSM) dal catalogo self-service di Automation Service Broker. È possibile utilizzare un'istanza del database esistente o crearne una nuova.

Quando si richiede l'elemento Cluster RAG Kubernetes AI con DSM nel catalogo, è possibile utilizzare un'istanza del database esistente o crearne una nuova. Durante la distribuzione, viene eseguito il provisioning di Deep Learning VM e della macchina virtuale del database a cui si connette. Il provisioning del database viene eseguito all'esterno della distribuzione di RAG.

• Se si sceglie di usare un database esistente, si utilizza un database pre-distribuito, che può essere un database esterno o un database il cui provisioning è stato eseguito da un'altra distribuzione di Workstation RAG AI con DSM. Durante la distribuzione, non viene eseguito il provisioning di una nuova istanza del database.
• Se non è presente alcun database che può essere utilizzato o si desidera usare un database privato per un caso d'uso specifico, scegliere di utilizzare un nuovo database.

Procedura

1. Nella pagina Catalogo in Automation Service Broker, individuare la scheda Cluster RAG Kubernetes AI con DSM e fare clic su Richiedi.
2. Selezionare un progetto.
3. Immettere un nome e una descrizione per la distribuzione.
4. Selezionare il numero di nodi del piano di controllo.

   Impostazione	Valore di esempio
   Numero di nodi	1
   Classe di macchine virtuali	best-effort-large La selezione della classe definisce le risorse disponibili all'interno della macchina virtuale. Per un nodo worker, è possibile utilizzare 1 vGPU o 2 vGPU per ogni nodo worker. Per due nodi worker, selezionare 1 vGPU per ogni nodo.

5. Configurare il database.

   Impostazione	Valore di esempio
   Istanza database	Database esistente
   Stringa di connessione	Specificare la stringa di connessione DSM dalla panoramica della distribuzione DSM.

6. Installare le personalizzazioni del software.
   1. Specificare la chiave API aziendale di NVIDIA AI.
   2. Selezionare un profilo di modello NIM.
      Il profilo del modello NIM definisce quali motori del modello NIM può utilizzare e i criteri per scegliere tali motori.
   3. Immettere le credenziali di Docker Hub.
7. Fare clic su Invia.