作为 DevOps 工程师,您可以从自助 Automation Service Broker 目录请求 GPU 加速的 Tanzu Kubernetes Grid (TKG) 集群,其中 Worker 节点可以运行 AI/ML 工作负载。
TKG 集群包含一个 NVIDIA GPU Operator,它是 Kubernetes Operator,负责为 TKG 集群节点上的 NVIDIA GPU 硬件设置正确的 NVIDIA 驱动程序。部署的集群可用于 AI/ML 工作负载,而无需进行额外的 GPU 相关设置。
部署包含一个主管命名空间、一个具有三个 Worker 节点的 TKG 集群、TKG 集群内的多个资源以及一个用于部署 GPU Operator 应用程序的 Carvel 应用程序。
过程
- 在 Automation Service Broker 的目录页面上,找到 AI Kubernetes 集群卡视图,然后单击请求。
- 选择一个项目。
- 输入部署的名称和描述。
- 选择控制窗格节点数。
设置 示例值 节点计数 1 虚拟机类 best-effort-4xlarge - 16 个 CPU 和 128 GB 内存 选择的类将定义虚拟机中的可用资源。
- 选择工作节点数。
设置 说明 节点计数 3 虚拟机类 best-effort-4xlarge-a100-40c - 1 个 vGPU (40 GB)、16 个 CPU 和 120 GB 内存 时间切片副本 1 时间切片为在工作负载之间共享的 GPU 定义一组副本。
- 提供 NVIDIA AI 企业 API 密钥。
- 单击提交。