在数据中心内,使用永久内存的非易失性内存 (NVM) 存储设备变得非常普遍。要连接到本地和联网 NVM 设备,ESXi 需要使用 NVM Express (NVMe) 协议,这是一种专门为与 NVM 设备进行高性能多队列通信而设计的标准化协议。

VMware NVMe 概念

开始在 ESXi 环境中使用 NVMe 存储之前,请先了解基本 NVMe 概念。

NVM Express (NVMe)
NVMe 是一种在主机和目标存储系统之间连接和传输数据的方法。NVMe 专为使用具有非易失性内存的更快存储介质(如闪存设备)而设计。这种类型的存储可实现低延迟、低 CPU 使用率和高性能,通常可以替代 SCSI 存储。
NVMe 传输
NVMe 存储可以使用 PCIe 接口直接连接到主机,也可以通过不同的架构传输间接连接到主机。VMware NVMe over Fabrics (NVMe-oF) 在主机与共享存储阵列上的目标存储设备之间提供距离连接。
当前存在以下类型的 NVMe 传输。
NVMe 传输 ESXi 支持
NVMe over PCIe 本地存储。
NVMe over RDMA 共享 NVMe-oF 存储。采用 RoCE v2 技术。
NVMe over Fibre Channel 共享 NVMe-oF 存储。
NVMe over TCP 共享 NVMe-oF 存储。

有关每个传输的特定配置要求,请参见VMware NVMe 存储的要求

NVMe 命名空间
在 NVMe 存储阵列中,命名空间是一定数量的非易失性内存支持的一个存储卷。在 ESXi 的上下文中,命名空间类似于存储设备或 LUN。在 ESXi 主机发现 NVMe 命名空间后,将在 vSphere Client 的存储设备列表中显示表示该命名空间的闪存设备。您可以使用设备创建数据存储并存储虚拟机。
目标可以在主动/主动或非对称访问模式下向主机显示与 SCSI 中的 LUN 等效的命名空间。 ESXi 可以发现和使用以任一方式显示的命名空间。 ESXi 支持 NVMe 端到端没有任何 NVMe 到 SCSI 的模拟。
NVMe 控制器
控制器与一个或多个 NVMe 命名空间关联,并提供 ESXi 主机与存储阵列中的命名空间之间的访问路径。要访问控制器,主机可以使用两种机制,即控制器发现和控制器连接。有关信息,请参见 为 NVMe over Fabrics 添加控制器
控制器发现
通过此机制, ESXi 主机首先连接发现控制器。发现控制器将返回可用控制器列表。选择供主机访问的控制器后,您的主机将可以使用与此控制器关联的所有命名空间。
控制器连接
ESXi 主机将连接到您指定的控制器。您的主机将可以使用与此控制器关联的所有命名空间。
NVMe 子系统
通常,NVMe 子系统是一个存储阵列,其中可能包含多个 NVMe 控制器、多个命名空间、一个非易失性内存存储介质以及控制器与非易失性内存存储介质之间的一个接口。该子系统由子系统 NVMe 限定名称 (NQN) 标识。
VMware 高性能插件 (HPP)
默认情况下, ESXi 主机使用 HPP 声明 NVMe-oF 目标。为 I/O 请求选择物理路径时,HPP 将应用相应的路径选择方案 (PSS)。有关 HPP 的信息,请参见 VMware 高性能插件和路径选择方案。要更改默认路径选择机制,请参见 更改路径选择策略

基本 VMware NVMe 架构和组件

ESXi 支持本地 NVMe over PCIe 存储和共享 NVMe-oF 存储,例如 NVMe over Fibre Channel、NVMe over RDMA (RoCE v2) 和 NVMe over TCP。

VMware NVMe over PCIe
在此配置中, ESXi 主机使用 PCIe 存储适配器访问一个或多个本地 NVMe 存储设备。在主机上安装适配器后,主机发现可用 NVMe 设备,然后它们将显示在 vSphere Client 中的存储设备列表中。

此图显示 PCIe 存储适配器连接到本地 NVMe 存储设备。

VMware NVMe over Fibre Channel
该技术将 NVMe 映射到光纤通道协议,以允许在主机和目标存储设备之间传输数据和命令。此传输可以使用已升级的现有光纤通道基础架构来支持 NVMe。

要访问 NVMe over Fibre Channel 存储,请在 ESXi 主机上安装支持 NVMe 的光纤通道存储适配器。无需配置该适配器。它会自动连接到相应的 NVMe 子系统,并发现它可以访问的所有共享 NVMe 存储设备。您可以稍后重新配置适配器并断开其控制器连接,或者连接在主机引导期间不可用的其他控制器。有关详细信息,请参见为 NVMe over Fabrics 添加控制器

此图显示 NVMe over Fibre Channel 存储适配器通过光纤通道架构连接到 NVMe 存储。

NVMe over RDMA (RoCE v2)
此技术在网络上的两个系统之间使用远程直接内存访问 (RDMA) 传输。该传输使得能够在主内存中进行数据交换,从而绕过操作系统或任一系统的处理器。 ESXi 支持聚合以太网 RDMA v2 (RoCE v2) 技术,这使得可以通过以太网进行远程直接内存访问。

要访问存储,ESXi 主机使用主机上安装的 RDMA 网络适配器和软件 NVMe over RDMA 存储适配器。必须配置这两个适配器以使用它们进行存储发现。有关详细信息,请参见在 ESXi 上配置 NVMe over RDMA (RoCE v2)

此图显示软件 NVMe over RDMA 适配器通过 RDMA 架构连接到 NVMe 存储。

NVMe over TCP

此技术在两个 系统之间使用以太网连接。要访问存储,ESXi 主机使用您的主机上安装的网络适配器和软件 NVMe over TCP 存储适配器。必须配置这两个适配器以使用它们进行存储发现。有关详细信息,请参见在 ESXi 上配置 NVMe over TCP

此图显示软件 NVMe over TCP 适配器通过 TCP/IP 网络连接到 NVMe 存储。