身為 DevOps 工程師，您可以從自助 Automation Service Broker 目錄請求 GPU 加速的 Tanzu Kubernetes Grid (TKG) 叢集，其中 Worker 節點可以執行 AI/ML 工作負載。

備註： 本說明文件依據 VMware Aria Automation 8.18。如需 VMware Aria Automation 8.18.1 中 VMware Private AI Foundation 功能的相關資訊，請參閱 VMware Private AI Foundation with NVIDIA 說明文件中的 〈使用 VMware Aria Automation 中的自助服務目錄項目部署 GPU 加速的 TKG 叢集〉。

TKG 叢集包含一個 NVIDIA GPU Operator，它是 Kubernetes Operator，負責為 TKG 叢集節點上的 NVIDIA GPU 硬體設定正確的 NVIDIA 驅動程式。部署的叢集可用於 AI/ML 工作負載，而無需進行額外的 GPU 相關設定。

部署中包含一個主管命名空間、一個具有三個 Worker 節點的 TKG 叢集、TKG 叢集內的多個資源以及一個用於部署 GPU Operator 應用程式的 Carvel 應用程式。

程序

  1. 在 Automation Service Broker 的目錄頁面上，找到 AI Kubernetes 叢集卡，然後按一下請求。
  2. 選取專案。
  3. 輸入部署的名稱和說明。
  4. 選取控制窗格節點的數目。
    設定 範例值
    節點計數 1
    虛擬機器類別 best-effort-4xlarge - 16 個 CPU 和 128 GB 記憶體

    選取的類別將定義虛擬機器中的可用資源。
  5. 選取工作節點的數目。
    設定 說明
    節點計數 3
    虛擬機器類別 best-effort-4xlarge-a100-40c - 1 個 vGPU (40 GB)、16 個 CPU 和 120 GB 記憶體
    時間截分複本 1

    時間截分為工作負載之間共用的 GPU 定義一組複本。
  6. 提供 NVIDIA AI 企業 API 金鑰。
  7. 按一下提交。