Wenn der Cloud-Administrator Private AI Automation Services in VMware Aria Automation eingerichtet hat, können Sie KI-Arbeitslasten mithilfe des Automation Service Broker-Katalogs anfordern und darauf zugreifen.

Hinweis: Diese Dokumentation basiert auf VMware Aria Automation 8.18. Informationen zur VMware Private AI Foundation-Funktionalität in VMware Aria Automation 8.18.1 finden Sie in der Dokumentation zu VMware Private AI Foundation mit NVIDIA.
Als Datenwissenschaftler oder DevOps-Ingenieur können Sie die folgenden Private AI Automation Services-Katalogelemente anfordern:
  • KI-Workstation – eine GPU-fähige virtuelle Maschine, die mit der gewünschten vCPU, vGPU, Arbeitsspeicher und der Option zur Vorabinstallation von KI-/ML-Frameworks wie PyTorch, CUDA Samples und TensorFlow konfiguriert werden kann.
  • KI-RAG-Workstation – eine GPU-fähige virtuelle Maschine mit RAG (Retrieval Augmented Generation).
  • Triton Inference Server – eine GPU-fähige virtuelle Maschine mit NVIDIA Triton Inference Server.
  • KI-Kubernetes-Cluster – ein VMware Tanzu Kubernetes Grid-Cluster mit GPU-fähigen Worker-Knoten zum Ausführen von cloudnativen KI-/ML-Arbeitslasten.
  • KI-Kubernetes-RAG-Cluster – ein VMware Tanzu Kubernetes Grid-Cluster mit GPU-fähigen Worker-Knoten zum Ausführen einer RAG-Referenzlösung.

Bevor Sie beginnen

  • Stellen Sie sicher, dass der Cloud-Administrator Private AI Automation Services für Ihr Projekt konfiguriert hat.
  • Stellen Sie sicher, dass Sie über die Berechtigungen zum Anfordern von KI-Katalogelementen verfügen.

Wie greife ich auf Private AI Automation Services-Katalogelemente zu?

Öffnen Sie in Automation Service Broker die Registerkarte „Nutzung“ und klicken Sie dann auf „Katalog“. Die Katalogelemente stehen Ihnen basierend auf dem ausgewählten Projekt zur Verfügung. Wenn Sie kein Projekt ausgewählt haben, werden alle verfügbaren Katalogelemente im Katalog angezeigt.

Beachten Sie, dass alle Werte, die in den Verfahren in diesem Abschnitt beschrieben werden, Anwendungsbeispiele sind. Ihre Kontowerte hängen von Ihrer Umgebung ab.

Vorgehensweise zum Überwachen Ihrer Private AI-Bereitstellungen

Sie verwenden die Seite „Bereitstellungen“ in Automation Service Broker, um Ihre Bereitstellungen und die verknüpften Ressourcen zu verwalten, Änderungen an Bereitstellungen vorzunehmen, Fehler in Bereitstellungen zu beheben, die Ressourcen zu ändern und nicht verwendete Bereitstellungen zu löschen.

Zum Verwalten Ihrer Bereitstellungen klicken Sie auf Verbrauchen > Bereitstellungen > Bereitstellungen.

Weitere Informationen finden Sie unter Vorgehensweise zum Verwalten meiner Automation Service Broker-Bereitstellungen.