Distribuzione di un carico di lavoro RAG in un cluster TKG

In qualità di tecnico DevOps, in un cluster TKG in un supervisore è possibile distribuire un carico di lavoro RAG basato sulla pipeline di esempio di RAG di NVIDIA che utilizza un database PostgreSQL pgvector gestito da VMware Data Services Manager.

Prerequisiti

• Verificare che VMware Private AI Foundation with NVIDIA sia disponibile per il dominio del carico di lavoro VI. Vedere Preparazione di VMware Cloud Foundation per la distribuzione del carico di lavoro di Private AI.
• Distribuzione di un database vettore in VMware Private AI Foundation with NVIDIA.

Procedura

1. Eseguire il provisioning di un cluster TKG con accelerazione GPU.
   È possibile utilizzare uno dei workflow seguenti.

   Workflow di provisioning	Passaggi
   Utilizzando un elemento catalogo in VMware Aria Automation	Distribuzione di un cluster RAG Tanzu Kubernetes Grid con accelerazione GPU.
   Utilizzando il comando kubectl	Eseguire il provisioning di un cluster TKG con accelerazione GPU utilizzando il comando kubectl. Per un ambiente connesso, vedere Provisioning di un cluster TKG con accelerazione GPU tramite il comando kubectl in un ambiente di VMware Private AI Foundation with NVIDIA connesso. Per un ambiente disconnesso, vedere Provisioning di un cluster TKG con accelerazione GPU tramite il comando kubectl in un ambiente di VMware Private AI Foundation with NVIDIA disconnesso. Installare l'operatore RAG LLM. Vedere Installazione dell'operatore RAG LLM.

2. Se si utilizza il comando kubectl per eseguire il provisioning del cluster TKG, installare l'operatore NVIDIA RAG LLM nel cluster TKG.

   Vedere Installazione dell'operatore RAG LLM.

   Durante la distribuzione, l'elemento catalogo Cluster RAG Kubernetes AI in VMware Aria Automation installa automaticamente l'operatore NVIDIA RAG LLM nel cluster TKG.

3. Scaricare i manifesti per la pipeline RAG di esempio di NVIDIA.
   Vedere Pipeline RAG di esempio.
4. Configurare la pipeline RAG di esempio con il database PostgreSQL pgvector.
   1. Modificare il file YAML della pipeline di esempio.
      Vedere il passaggio 4 in Pipeline RAG di esempio.
   2. Nel file YAML configurare la pipeline di esempio con il database PostgreSQL pgvector utilizzando la stringa di connessione del database.
      Vedere Database vettore per la pipeline di esempio RAG.
5. Per fornire un IP esterno per l'applicazione della chat di esempio, nel file YAML impostare frontend.service.type su loadBalancer.
6. Avviare la pipeline RAG di esempio.
   Vedere Pipeline RAG di esempio.
7. Per accedere all'applicazione di chat di esempio, eseguire il comando seguente per ottenere l'indirizzo IP esterno dell'applicazione.

   kubectl -n rag-sample get service rag-playground

8. In un browser Web, aprire l'applicazione di chat di esempio all'indirizzo http://application_external_ip:3001/orgs/nvidia/models/text-qa-chatbot.