VMware vSphere Bitfusion 將虛擬化硬體加速器 (例如圖形處理單元 (GPU)),以提供支援人工智慧 (AI) 和機器學習 (ML) 工作負載的網路可存取的共用資源集區。
vSphere Bitfusion 採用何種架構
vSphere Bitfusion 具有用戶端-伺服器架構。此產品允許多個用戶端虛擬機器 (VM) 執行人工智慧 (AI) 和機器學習 (ML) 應用程式,以便在執行 vSphere Bitfusion 伺服器軟體的虛擬機器上共用對遠端 GPU 的存取權。可以在 vSphere Bitfusion 用戶端機器上執行應用程式,而提供加速的 GPU 則安裝在網路中的 vSphere Bitfusion 伺服器機器上。應用程式可以開啟檔案、配置記憶體和呼叫 CUDA,就像在具有本機 GPU 的機器上運作一樣。
下圖是小型 vSphere Bitfusion 叢集的範例,例如一組 vSphere Bitfusion 伺服器-用戶端機器和交換網路中的 vCenter Server。最小 vSphere Bitfusion 叢集組態包括一個用戶端、一個伺服器和一個 vCenter Server。可以建立具有多個伺服器和用戶端的大型叢集。
![包含三個伺服器和兩個用戶端的小型 vSphere Bitfusion 叢集圖。所有元件均連線到同一 vCenter Server 執行個體。](images/GUID-7D2E29ED-4E92-4A82-96ED-2F32F8FAC4FE-high.png)
vSphere Bitfusion 的運作方式
在 vSphere Bitfusion 用戶端上啟動 AI 或 ML 應用程式時,vSphere Bitfusion 會攔截應用程式的 CUDA 呼叫,並查看呼叫的資料和資料指標。vSphere Bitfusion 伺服器不需要連線至儲存應用程式資料的儲存區,只需要連線至 vSphere Bitfusion 用戶端。用戶端會向伺服器傳輸資料和其餘的 CUDA 呼叫。vSphere Bitfusion 伺服器處理呼叫並將結果傳回給用戶端。
在 vSphere Bitfusion 中啟動 AI 和 ML 應用程式時,可以共用 GPU 資源。
- 可以從 vSphere Bitfusion 伺服器動態配置和存取 GPU 資源。
應用程式可以共用未安裝在本機電腦上的 GPU 資源,您可以在合適的環境中,在已設定的 vSphere Bitfusion 用戶端 (如虛擬機器、裸機或容器) 上執行每個應用程式。應用程式會從網路上的 vSphere Bitfusion 伺服器集區中耗用 GPU 加速服務,且僅在應用程式或工作階段執行期間耗用資源。當應用程式或工作階段完成後,GPU 會返回集區。
- 您可以存取 GPU 資源的磁碟分割,以與其他應用程式並行共用。
實體 GPU 的記憶體可分為任意大小的部分。每個部分可以同時配置給不同的應用程式。vSphere Bitfusion 透過介入技術執行共用。vSphere Bitfusion 會攔截通常在 PCIe 主機匯流排上定址本機加速器的 API 呼叫,並透過網路傳送 API 呼叫和相關資料。vSphere Bitfusion 為 AI 和 ML 應用程式提供共用服務,並支援 CUDA API 將 NVIDIA GPU 設為目標。
vSphere Bitfusion 的主要元件有哪些
- 什麼是 vSphere Bitfusion 伺服器?
- vSphere Bitfusion 伺服器在使用本機安裝的 GPU 作為 VMware 應用裝置的 ESXi 主機上執行,它是預先封裝了軟體和服務的預先設定的虛擬機器 (VM)。伺服器需要存取本機 GPU,通常是透過 VMware vSphere ® DirectPath I/O™ 進行存取。
- 什麼是 vSphere Bitfusion 用戶端?
- vSphere Bitfusion 用戶端會在執行 AI 和 ML 應用程式的虛擬機器上執行。
- 什麼是 vSphere Bitfusion 外掛程式?
- vSphere Bitfusion 伺服器會向 VMware vCenter Server 登錄 vSphere Bitfusion 外掛程式。此外掛程式可監控和管理 vSphere Bitfusion 用戶端和伺服器。
- 什麼是 vSphere Bitfusion 叢集?
- vSphere Bitfusion 叢集是 vCenter Server 執行個體中所有 vSphere Bitfusion 伺服器和用戶端的集合。
- 什麼是 vSphere Bitfusion Linux 使用者群組?
-
在
vSphere Bitfusion 用戶端安裝程序中,用戶端會建立一個
vSphere Bitfusion Linux 使用者群組
bitfusion
。只有群組成員才可以使用 vSphere Bitfusion。某些組態檔設有適當的權限,而群組成員會繼承相應限制以搭配 vSphere Bitfusion 有效使用。 - 什麼是 vSphere Client?
- vSphere Client 可讓您透過網頁瀏覽器連線至 vCenter Server 執行個體,以便管理 vSphere 基礎結構。您可以透過 vSphere Client 存取 vSphere Bitfusion 外掛程式。
- 什麼是命令列介面 (CLI)?
- 您可以使用命令列介面 (CLI) 命令來管理 vSphere Bitfusion 伺服器和用戶端。
- 什麼是 vCenter Server?
- vCenter Server 是伺服器管理軟體,可提供用於控制 vSphere 環境的集中式平台。
vSphere Bitfusion 常見問題集
若要深入瞭解 vSphere Bitfusion,請參閱 Cloud Platform Tech Zone 中的常見問題集 (FAQ) 一節。