如果雲端管理員已在 VMware Aria Automation 中設定 Private AI Automation Services，則可以使用 Automation Service Broker 目錄存取和請求 AI 工作負載。

身為資料科學家或 DevOps 工程師，您可以請求以下 Private AI Automation Services 目錄項目：
  • AI Workstation – 已啟用 GPU 的虛擬機器 (可以設定所需的 vCPU、vGPU、記憶體) 以及用於預先安裝 AI/ML 架構 (例如 PyTorch、CUDA Samples 和 TensorFlow) 的選項。
  • AI RAG Workstation – 已啟用 GPU 的虛擬機器，具有擷取增強產生 (RAG) 參考解決方案。
  • Triton Inference Server – 已啟用 GPU 的虛擬機器，具有 NVIDIA Triton Inference Server。
  • AI Kubernetes 叢集 – VMware Tanzu Kubernetes Grid 叢集，具有支援 GPU 的 Worker 節點，可執行 AI/ML 雲端原生工作負載。
  • AI Kubernetes RAG 叢集 – VMware Tanzu Kubernetes Grid 叢集，具有支援 GPU 的 Worker 節點，可執行參考 RAG 解決方案。

開始之前

  • 確認雲端管理員已為您的專案設定 Private AI Automation Services。
  • 確認您具有請求 AI 目錄項目的權限。

如何存取 Private AI Automation Services 目錄項目

在 Automation Service Broker 中，開啟 [耗用] 索引標籤，然後按一下 [目錄]。可用的目錄項目取決於您選取的專案。如果您未選取專案，則可供您使用的所有目錄項目會顯示在目錄中。

請注意，此部分所述程序中顯示的所有值均為使用案例範例。帳戶值取決於環境。

如何監控私人 AI 部署

您可以使用 Automation Service Broker 中的 [部署] 頁面管理部署和相關聯的資源，對部署進行變更，疑難排解失敗的部署，對資源進行變更，以及銷毀未使用的部署。

若要管理部署，請選取耗用 > 部署 > 部署。

如需詳細資訊，請參閱如何管理我的 Automation Service Broker 部署。