Als DevOps-Ingenieur können Sie auf einem TKG-Cluster in einem Supervisor eine RAG-Arbeitslast auf Basis der RAG-Beispiel-Pipeline von NVIDIA bereitstellen, die eine von VMware Data Services Manager verwaltete PostgreSQL-Datenbank vom Typ „pgvector“ verwendet.
Prozedur
- Stellen Sie einen GPU-beschleunigten TKG-Cluster bereit.
Sie können Sie einen der folgenden Workflows verwenden.
- Wenn Sie den Befehl kubectl zum Bereitstellen des TKG-Clusters verwendet haben, installieren Sie den NVIDIA RAG LLM-Operator auf dem TKG-Cluster.
Weitere Informationen finden Sie unter Installieren des RAG LLM-Operators.
Während der Bereitstellung wird mithilfe des Katalogelements KI-Kubernetes-RAG-Cluster in VMware Aria Automation der NVIDIA RAG LLM-Operator automatisch auf dem TKG-Cluster installiert.
- Laden Sie die Manifeste für die NVIDIA-Beispiel-RAG-Pipeline herunter.
- Konfigurieren Sie die Beispiel-RAG-Pipeline mit der PostgreSQL-Datenbank „pgvector“.
- Bearbeiten Sie eine Beispiel-Pipeline-YAML-Datei.
- Konfigurieren Sie in der YAML-Datei die Beispiel-Pipeline mit der PostgreSQL-Datenbank „pgvector“, indem Sie die Verbindungszeichenfolge der Datenbank verwenden.
- Um eine externe IP-Adresse für die Beispiel-Chat-Anwendung anzugeben, legen Sie in der YAML-Datei
frontend.service.type
auf loadBalancer
fest.
- Starten Sie die Beispiel-RAG-Pipeline.
- Für den Zugriff auf die Beispiel-Chat-Anwendung führen Sie den folgenden Befehl aus, um die externe IP-Adresse der Anwendung abzurufen.
kubectl -n rag-sample get service rag-playground
- Öffnen Sie in einem Webbrowser die Beispiel-Chat-Anwendung unter http://application_external_ip:3001/orgs/nvidia/models/text-qa-chatbot.