除了传统的 iSCSI 以外,ESXi 还支持 iSCSI Extensions for RDMA (iSER) 协议。启用 iSER 协议之后,ESXi 主机上的 iSCSI 框架可以使用远程直接内存访问 (RDMA)(而不是 TCP/IP)传输。您可以在 ESXi 主机上配置 iSER。

有关 iSER 协议的详细信息,请参见在 ESXi 中使用 iSER 协议

VMware iSER 的完整设置和配置过程包括多个步骤。

步骤 描述
安装和查看支持 RDMA 的网络适配器 要使用 ESXi 配置 iSER,必须先安装支持 RDMA 的网络适配器,例如,Mellanox Technologies MT27700 Family ConnectX-4。安装此类的适配器后,vSphere Client 将显示它的两个组件:一个 RDMA 适配器和一个物理网络适配器 vmnic#
启用 VMware iSER 适配器 要想将支持 RDMA 的适配器用于 iSCSI,请使用 esxcli 启用 VMware iSER 存储组件。该组件在 vSphere Client 中显示为 VMware iSCSI over RDMA (iSER) 适配器类别下的 vmhba# 存储适配器。
修改 ESXi 主机上 iSCSI 或 iSER 适配器的常规属性 如果需要,可以更改分配给 iSER 存储适配器 vmhba# 的默认名称和别名。
在 ESXi 上为 iSCSI 或 iSER 配置端口绑定 您必须创建网络连接以绑定 iSER 存储适配器 vmhba# 和支持 RDMA 的网络适配器 vmnic#。配置这些连接的过程称为端口绑定。
注: iSER 不支持网卡绑定。配置端口绑定时,每个 vSwitch 只能使用一个 RDMA 适配器。
在 ESXi 主机上配置 iSCSI 和 iSER 的动态或静态发现 为您的 iSER 存储适配器 vmhba# 设置动态发现或静态发现。使用动态发现时,启动器每次与指定的 iSER 存储系统联系时,都会向该系统发送 SendTargets 请求。iSER 系统通过向启动器提供一个可用目标的列表来做出响应。通过静态发现,您可以手动输入目标的信息。
为 iSCSI 或 iSER 存储适配器设置 CHAP 如果环境使用质询握手身份验证协议 (Challenge Handshake Authentication Protocol, CHAP),则为 iSER 存储适配器 vmhba# 配置该协议。
设置目标的 CHAP 还可以为每个发现地址或静态目标配置不同的 CHAP 凭据。
为网络连接启用巨帧 如果环境支持巨型帧,则为 iSER 存储适配器 vmhba# 启用巨型帧。

安装和查看支持 RDMA 的网络适配器

ESXi 支持那些支持 RDMA 功能的网络适配器,例如,Mellanox Technologies MT27700 Family ConnectX-4。在主机上安装此类适配器后,vSphere Client 将显示它的两个组件:一个 RDMA 适配器和一个物理网络适配器。

您可以使用 vSphere Client 查看 RDMA 适配器及其相应的网络适配器。

过程

  1. vSphere Client 中,导航到 ESXi 主机。
  2. 网络下,单击 RDMA 适配器
    在此示例中,RDMA 适配器在列表中显示为 vmrdma0配对上行链路列会将网络组件显示为 vmnic1 物理网络适配器。

    RDMA 适配器在列表中显示为 vmrdma0。“配对上行链路”列会将网络组件显示为 vmnic1 物理网络适配器。

  3. 要验证适配器的描述,请从列表中选择 RDMA 适配器,然后单击属性选项卡。

结果

对于此类存储配置,可以将适配器的 vmnic# 网络组件用作 iSER 或 NVMe over RDMA。有关 iSER 配置步骤,请参见 使用 ESXi 配置 iSER。有关 NVMe over RDMA 的信息,请参见 在 ESXi 上配置 NVMe over RDMA (RoCE v2)

启用 VMware iSER 适配器

要想将支持 RDMA 的适配器用于 iSCSI,请使用 esxcli 启用 VMware iSER 存储组件。启用该组件后,它将在 vSphere Client 中作为 vmhba# 存储适配器显示在“VMware iSCSI over RDMA (iSER) 适配器”类别下。

前提条件

  • 确保 iSCSI 存储支持 iSER 协议。
  • ESXi 主机上安装支持 RDMA 的适配器。有关信息,请参见安装和查看支持 RDMA 的网络适配器
  • 对于支持聚合以太网 RDMA (RoCE) 且支持 RDMA 的适配器,确定适配器使用的 RoCE 版本。
  • 使用支持 RDMA 的交换机。
  • ESXi 主机上启用流量控制。要为主机启用流量控制,请使用 esxcli system module parameters 命令。有关详细信息,请参见位于 http://kb.vmware.com/kb/1013413的 VMware 知识库文章。
  • 确保配置 RDMA 交换机端口以在 iSER 启动器和目标之间创建无损连接。

过程

  1. 使用 ESXi Shell 或 vSphere CLI 启用 VMware iSER 存储适配器并设置其 RoCE 版本。
    1. 启用 iSER 存储适配器。
      esxcli rdma iser add
    2. 验证是否已添加 iSER 适配器。
      esxcli iscsi adapter list
      输出类似以下内容。
      Adapter Driver State UID Description
      ------- ------ ------- ------------- -------------------------------------
      vmhba64 iser unbound iscsi.vmhba64 VMware iSCSI over RDMA (iSER) Adapter
      
    3. 指定 iSER 用于连接到目标的 RoCE 版本。
      使用支持 RDMA 的适配器的 RoCE 版本。输入的命令类似如下:

      esxcli rdma iser params set -a vmhba64 -r 1

      命令完成后,VMkernel 日志中将显示类似于以下内容的消息。

      vmkernel.0:2020-02-18T18:26:15.949Z cpu6:2100717 opID=45abe37e)iser: iser_set_roce: Setting roce type: 1 for vmhba: vmhba64
      vmkernel.0:2020-02-18T18:26:15.949Z cpu6:2100717 opID=45abe37e)iser: iser_set_roce: Setting rdma port: 3260 for vmhba: vmhba64

      如果未指定 RoCE 版本,则主机将默认使用支持 RDMA 的适配器支持的最高 RoCE 版本。

  2. 使用 vSphere Client 显示 iSER 适配器。
    1. vSphere Client 中,导航到 ESXi 主机。
    2. 单击配置选项卡。
    3. 存储下,单击存储适配器,然后查看适配器的列表。
      如果已启用适配器,它将作为存储 vmhba# 适配器显示在“VMware iSCSI over RDMA (iSER) 适配器”类别下的列表中。

      此屏幕截图列出了 VMware iSCSI over RDMA (iSER) 适配器类别下的列表中显示的存储适配器和 vmhba64。

  3. 选择 iSER 存储 vmhba# 以查看其属性或执行以下任务。
    选项 描述
    为 iSER 存储适配器配置端口绑定 您必须创建网络连接以绑定 iSER 存储适配器 vmhba# 和支持 RDMA 的网络适配器 vmnic#。配置这些连接的过程称为端口绑定。有关端口绑定的常规信息,请参见在 ESXi 中为 iSCSI 和 iSER 设置网络。要为 iSER 配置端口绑定,请参见在 ESXi 上为 iSCSI 或 iSER 配置端口绑定
    为 iSER 存储适配器设置动态或静态发现 有关信息,请参见在 ESXi 主机上配置 iSCSI 和 iSER 的动态或静态发现
    为 iSER 存储适配器配置质询握手身份验证协议 (CHAP) 有关信息,请参见为 iSCSI 或 iSER 存储适配器设置 CHAP

下一步做什么

有关详细信息,请参见相应的 VMware 知识库文章,网址为 https://kb.vmware.com/s/article/79148