作为 DevOps 工程师，您可以从自助 Automation Service Broker 目录请求 GPU 加速的 Tanzu Kubernetes Grid (TKG) 集群，其中 Worker 节点可以运行 AI/ML 工作负载。

TKG 集群包含一个 NVIDIA GPU Operator，它是 Kubernetes Operator，负责为 TKG 集群节点上的 NVIDIA GPU 硬件设置正确的 NVIDIA 驱动程序。部署的集群可用于 AI/ML 工作负载，而无需进行额外的 GPU 相关设置。

部署包含一个主管命名空间、一个具有三个 Worker 节点的 TKG 集群、TKG 集群内的多个资源以及一个用于部署 GPU Operator 应用程序的 Carvel 应用程序。

过程

  1. 在 Automation Service Broker 的目录页面上，找到 AI Kubernetes 集群卡视图，然后单击请求。
  2. 选择一个项目。
  3. 输入部署的名称和描述。
  4. 选择控制窗格节点数。
    设置 示例值
    节点计数 1
    虚拟机类 best-effort-4xlarge - 16 个 CPU 和 128 GB 内存

    选择的类将定义虚拟机中的可用资源。
  5. 选择工作节点数。
    设置 说明
    节点计数 3
    虚拟机类 best-effort-4xlarge-a100-40c - 1 个 vGPU (40 GB)、16 个 CPU 和 120 GB 内存
    时间切片副本 1

    时间切片为在工作负载之间共享的 GPU 定义一组副本。
  6. 提供 NVIDIA AI 企业 API 密钥。
  7. 单击提交。