除了传统的 iSCSI 以外,ESXi 还支持 iSCSI Extensions for RDMA (iSER) 协议。启用 iSER 协议之后,ESXi 主机上的 iSCSI 框架可以使用远程直接内存访问 (RDMA)(而不是 TCP/IP)传输。您可以在 ESXi 主机上配置 iSER。
有关 iSER 协议的详细信息,请参见在 ESXi 中使用 iSER 协议。
VMware iSER 的完整设置和配置过程包括多个步骤。
步骤 | 描述 |
---|---|
安装和查看支持 RDMA 的网络适配器 | 要使用 ESXi 配置 iSER,必须先安装支持 RDMA 的网络适配器,例如,Mellanox Technologies MT27700 Family ConnectX-4。安装此类的适配器后,vSphere Client 将显示它的两个组件:一个 RDMA 适配器和一个物理网络适配器 vmnic#。 |
启用 VMware iSER 适配器 | 要想将支持 RDMA 的适配器用于 iSCSI,请使用 esxcli 启用 VMware iSER 存储组件。该组件在 vSphere Client 中显示为 VMware iSCSI over RDMA (iSER) 适配器类别下的 vmhba# 存储适配器。 |
修改 ESXi 主机上 iSCSI 或 iSER 适配器的常规属性 | 如果需要,可以更改分配给 iSER 存储适配器 vmhba# 的默认名称和别名。 |
在 ESXi 上为 iSCSI 或 iSER 配置端口绑定 | 您必须创建网络连接以绑定 iSER 存储适配器 vmhba# 和支持 RDMA 的网络适配器 vmnic#。配置这些连接的过程称为端口绑定。
注: iSER 不支持网卡绑定。配置端口绑定时,每个 vSwitch 只能使用一个 RDMA 适配器。
|
在 ESXi 主机上配置 iSCSI 和 iSER 的动态或静态发现 | 为您的 iSER 存储适配器 vmhba# 设置动态发现或静态发现。使用动态发现时,启动器每次与指定的 iSER 存储系统联系时,都会向该系统发送 SendTargets 请求。iSER 系统通过向启动器提供一个可用目标的列表来做出响应。通过静态发现,您可以手动输入目标的信息。 |
为 iSCSI 或 iSER 存储适配器设置 CHAP | 如果环境使用质询握手身份验证协议 (Challenge Handshake Authentication Protocol, CHAP),则为 iSER 存储适配器 vmhba# 配置该协议。 |
设置目标的 CHAP | 还可以为每个发现地址或静态目标配置不同的 CHAP 凭据。 |
为网络连接启用巨帧 | 如果环境支持巨型帧,则为 iSER 存储适配器 vmhba# 启用巨型帧。 |
安装和查看支持 RDMA 的网络适配器
ESXi 支持那些支持 RDMA 功能的网络适配器,例如,Mellanox Technologies MT27700 Family ConnectX-4。在主机上安装此类适配器后,vSphere Client 将显示它的两个组件:一个 RDMA 适配器和一个物理网络适配器。
您可以使用 vSphere Client 查看 RDMA 适配器及其相应的网络适配器。
过程
结果
启用 VMware iSER 适配器
要想将支持 RDMA 的适配器用于 iSCSI,请使用 esxcli 启用 VMware iSER 存储组件。启用该组件后,它将在 vSphere Client 中作为 vmhba# 存储适配器显示在“VMware iSCSI over RDMA (iSER) 适配器”类别下。
前提条件
- 确保 iSCSI 存储支持 iSER 协议。
- 在 ESXi 主机上安装支持 RDMA 的适配器。有关信息,请参见安装和查看支持 RDMA 的网络适配器。
- 对于支持聚合以太网 RDMA (RoCE) 且支持 RDMA 的适配器,确定适配器使用的 RoCE 版本。
- 使用支持 RDMA 的交换机。
- 在 ESXi 主机上启用流量控制。要为主机启用流量控制,请使用 esxcli system module parameters 命令。有关详细信息,请参见位于 http://kb.vmware.com/kb/1013413的 VMware 知识库文章。
- 确保配置 RDMA 交换机端口以在 iSER 启动器和目标之间创建无损连接。
过程
- 使用 ESXi Shell 或 vSphere CLI 启用 VMware iSER 存储适配器并设置其 RoCE 版本。
- 启用 iSER 存储适配器。
esxcli rdma iser add
- 验证是否已添加 iSER 适配器。
esxcli iscsi adapter list输出类似以下内容。
Adapter Driver State UID Description ------- ------ ------- ------------- ------------------------------------- vmhba64 iser unbound iscsi.vmhba64 VMware iSCSI over RDMA (iSER) Adapter
- 指定 iSER 用于连接到目标的 RoCE 版本。
使用支持 RDMA 的适配器的 RoCE 版本。输入的命令类似如下:
esxcli rdma iser params set -a vmhba64 -r 1
命令完成后,VMkernel 日志中将显示类似于以下内容的消息。
vmkernel.0:2020-02-18T18:26:15.949Z cpu6:2100717 opID=45abe37e)iser: iser_set_roce: Setting roce type: 1 for vmhba: vmhba64 vmkernel.0:2020-02-18T18:26:15.949Z cpu6:2100717 opID=45abe37e)iser: iser_set_roce: Setting rdma port: 3260 for vmhba: vmhba64
如果未指定 RoCE 版本,则主机将默认使用支持 RDMA 的适配器支持的最高 RoCE 版本。
- 启用 iSER 存储适配器。
- 使用 vSphere Client 显示 iSER 适配器。
- 在 vSphere Client 中,导航到 ESXi 主机。
- 单击配置选项卡。
- 在存储下,单击存储适配器,然后查看适配器的列表。
如果已启用适配器,它将作为存储 vmhba# 适配器显示在“VMware iSCSI over RDMA (iSER) 适配器”类别下的列表中。
- 选择 iSER 存储 vmhba# 以查看其属性或执行以下任务。
选项 描述 为 iSER 存储适配器配置端口绑定 您必须创建网络连接以绑定 iSER 存储适配器 vmhba# 和支持 RDMA 的网络适配器 vmnic#。配置这些连接的过程称为端口绑定。有关端口绑定的常规信息,请参见在 ESXi 中为 iSCSI 和 iSER 设置网络。要为 iSER 配置端口绑定,请参见在 ESXi 上为 iSCSI 或 iSER 配置端口绑定。 为 iSER 存储适配器设置动态或静态发现 有关信息,请参见在 ESXi 主机上配置 iSCSI 和 iSER 的动态或静态发现。 为 iSER 存储适配器配置质询握手身份验证协议 (CHAP) 有关信息,请参见为 iSCSI 或 iSER 存储适配器设置 CHAP。