如果云管理员在 VMware Aria Automation 中设置了Private AI Automation Services，则可以使用 Automation Service Broker 目录访问和请求 AI 工作负载。

作为数据科学家或 DevOps 工程师，您可以请求以下 Private AI Automation Services 目录项：
  • AI Workstation – 启用了 GPU 的虚拟机（可以配置所需的 vCPU、vGPU、内存）以及用于预安装 AI/ML 框架（如 PyTorch、CUDA Samples 和 TensorFlow）的选项。
  • AI RAG Workstation – 启用了 GPU 的虚拟机，具有检索增强生成 (RAG) 参考解决方案。
  • Triton Inference Server – 启用了 GPU 的虚拟机，具有 NVIDIA Triton Inference Server。
  • AI Kubernetes 集群 – VMware Tanzu Kubernetes Grid 集群，具有支持 GPU 的 Worker 节点，可运行 AI/ML 云原生工作负载。
  • AI Kubernetes RAG 集群 – VMware Tanzu Kubernetes Grid 集群，具有支持 GPU 的 Worker 节点，可运行参考 RAG 解决方案。

开始之前

  • 确认云管理员已为您的项目配置了 Private AI Automation Services。
  • 确认您具有请求 AI 目录项的权限。

如何访问Private AI Automation Services目录项

在 Automation Service Broker 中，打开“使用”选项卡，然后单击“目录”。可用的目录项取决于您选择的项目。如果未选择项目，则目录中将显示可供您使用的所有目录项。

请注意，此部分所述过程中显示的所有值均为用例示例。您的帐户值取决于您的环境。

如何监控专用 AI 部署

可以使用 Automation Service Broker 中的“部署”页面管理部署和关联的资源，对部署进行更改，对失败的部署进行故障排除，对资源进行更改以及销毁未使用的部署。

要管理部署，请选择使用 > 部署 > 部署。

有关详细信息，请参见如何管理我的 Automation Service Broker 部署。