VMware vSphere Bitfusion 可虚拟化硬件加速器(例如图形处理单元 (GPU)),以提供可通过网络访问的共享资源池,从而支持人工智能 (AI) 和机器学习 (ML) 工作负载。
vSphere Bitfusion 采用何种架构
vSphere Bitfusion 采用客户端-服务器架构。该产品允许多个客户端虚拟机 (VM) 运行人工智能 (AI) 和机器学习 (ML) 应用程序,以便在运行 vSphere Bitfusion 服务器软件的虚拟机上共享对远程 GPU 的访问。您可以在 vSphere Bitfusion 客户端计算机上运行应用程序,而提供加速的 GPU 则安装在网络中的 vSphere Bitfusion 服务器计算机上。应用程序可以打开文件、分配内存并调用 CUDA,就像在具有本地 GPU 的计算机上运行一样。
下图是一个小型 vSphere Bitfusion 集群的示例,例如一组 vSphere Bitfusion 服务器-客户端计算机和交换网络中的 vCenter Server。最小 vSphere Bitfusion 集群配置为一个客户端、一个服务器和一个 vCenter Server。可以创建具有多个服务器和客户端的大型集群。
vSphere Bitfusion 工作原理
在 vSphere Bitfusion 客户端上启动 AI 或 ML 应用程序时,vSphere Bitfusion 会拦截应用程序的 CUDA 调用并查看调用的数据和数据指针。vSphere Bitfusion 服务器不需要连接到保存应用程序数据的存储,只需要连接到 vSphere Bitfusion 客户端。客户端会将数据和其余的 CUDA 调用传输至服务器。vSphere Bitfusion 服务器将处理调用,并将结果返回给客户端。
在 vSphere Bitfusion 中启动 AI 和 ML 应用程序时,可以共享 GPU 资源。
- 可以从 vSphere Bitfusion 服务器动态分配和访问 GPU 资源。
应用程序可以共享未安装在本地计算机上的 GPU 资源,您可以在合适的环境中,在已配置的 vSphere Bitfusion 客户端(如虚拟机、裸机计算机或容器)上运行每个应用程序。应用程序将消耗网络上 vSphere Bitfusion 服务器池中的 GPU 加速服务,但仅在应用程序或会话运行期间消耗资源。在应用程序或会话完成后,GPU 将返回到池。
- 可以访问 GPU 资源的分区,以与其他应用程序进行并发共享。
物理 GPU 的内存可分为任意大小的部分。每个部分可以同时分配给不同的应用程序。vSphere Bitfusion 使用介入技术执行共享。vSphere Bitfusion 会截获通常寻址本地加速器(在 PCIe 主机总线上)的 API 调用,并通过网络发送 API 调用及相关数据。vSphere Bitfusion 为 AI 和 ML 应用程序提供共享服务,并支持 CUDA API 将 NVIDIA GPU 作为目标。
vSphere Bitfusion 的主要组件有哪些
- 什么是 vSphere Bitfusion 服务器?
- vSphere Bitfusion 服务器在具有本地安装 GPU 的 ESXi 主机上作为 VMware 设备运行,即具有预打包软件和服务的预配置虚拟机 (VM)。服务器需要访问本地 GPU,通常通过 VMware vSphere ® DirectPath I/O™ 访问。
- 什么是 vSphere Bitfusion 客户端?
- vSphere Bitfusion 客户端在运行 AI 和 ML 应用程序的虚拟机上运行。
- 什么是 vSphere Bitfusion 插件?
- vSphere Bitfusion 服务器将向 VMware vCenter Server 注册 vSphere Bitfusion 插件。该插件可监控和管理 vSphere Bitfusion 客户端与服务器。
- 什么是 vSphere Bitfusion 集群?
- vSphere Bitfusion 集群是 vCenter Server 实例中所有 vSphere Bitfusion 服务器和客户端的集合。
- 什么是 vSphere Bitfusion Linux 用户组?
-
在
vSphere Bitfusion 客户端安装过程中,客户端会创建一个
vSphere Bitfusion Linux 用户组
bitfusion
。只有该组的成员才能使用 vSphere Bitfusion。某些配置文件设置有适当的权限,组成员将继承相应的限制,以高效使用 vSphere Bitfusion。 - 什么是 vSphere Client?
- 通过 vSphere Client,可以使用 Web 浏览器连接到 vCenter Server 实例,以便管理 vSphere 基础架构。您可以通过 vSphere Client 访问 vSphere Bitfusion 插件。
- 什么是命令行界面 (CLI)?
- 您可以使用命令行界面 (CLI) 命令管理 vSphere Bitfusion 服务器和客户端。
- 什么是 vCenter Server?
- vCenter Server 是服务器管理软件,提供了一个集中式平台来控制您的 vSphere 环境。
vSphere Bitfusion 常见问题解答
要了解有关 vSphere Bitfusion 的更多信息,请参见 The Cloud Platform Tech Zone 中的常见问题解答 (FAQ) 部分。