除了傳統 iSCSI,ESXi 還支援 iSCSI Extensions for RDMA (iSER) 通訊協定。啟用 iSER 通訊協定後,ESXi 主機上的 iSCSI 架構可以使用遠端直接記憶體存取 (RDMA) 傳輸,而不是 TCP/IP。您可以在 ESXi 主機上設定 iSER。

如需有關 iSER 通訊協定的詳細資訊,請參閱對 ESXi 使用 iSER 通訊協定

VMware iSER 的完整設定和組態程序涉及多個步驟。

步驟 說明
安裝和檢視具備 RDMA 功能的網路介面卡 若要在 ESXi 中設定 iSER,必須先安裝具備 RDMA 功能的網路介面卡,例如 Mellanox Technologies MT27700 Family ConnectX-4。安裝此類介面卡後,vSphere Client 會顯示其兩個元件,即 RDMA 介面卡和實體網路介面卡 vmnic#
啟用 VMware iSER 介面卡 為了能夠對 iSCSI 使用具備 RDMA 功能的介面卡,請使用 esxcli 啟用 VMware iSER 儲存區元件。元件將在 vSphere Client 中的 VMware iSCSI over RDMA (iSER) 介面卡類別下方顯示為 vmhba# 儲存裝置介面卡。
修改 ESXi 主機上 iSCSI 或 iSER 介面卡的一般內容 如果需要,可以變更指派給 iSER 儲存裝置介面卡 vmhba# 的預設名稱和別名。
在 ESXi 上設定 iSCSI 或 iSER 的連接埠繫結 您必須建立網路連線,才能繫結 iSER 儲存裝置介面卡 vmhba# 和具備 RDMA 功能的網路介面卡 vmnic#。設定這些連線的程序稱為連接埠繫結。
備註: iSER 不支援 NIC 整併。設定連接埠繫結時,請為每個 vSwitch 僅使用一個 RDMA 介面卡。
在 ESXi 主機上為 iSCSI 和 iSER 設定動態探索或靜態探索 為 iSER 儲存裝置介面卡 vmhba# 設定動態探索或靜態探索。使用動態探索時,啟動器每次連絡指定的 iSER 儲存區系統時,都會向該系統傳送 SendTargets 要求。iSER 系統藉由向啟動器提供可用目標的清單來進行回應。透過靜態探索,可以手動輸入目標的資訊。
為 iSCSI 或 iSER 儲存裝置介面卡設定 CHAP 如果您的環境使用 Challenge Handshake 驗證通訊協定 (CHAP),請為 iSER 儲存裝置介面卡 vmhba# 進行設定。
設定目標的 CHAP 您也可以為每個探索位址或靜態目標設定不同的 CHAP 認證。
為網路啟用 Jumbo 框架 如果您的環境支援 Jumbo 框架,請為 iSER 儲存裝置介面卡 vmhba# 啟用這些框架。

安裝和檢視具備 RDMA 功能的網路介面卡

ESXi 支援具備 RDMA 功能的網路介面卡,例如,Mellanox Technologies MT27700 Family ConnectX-4。在主機上安裝此類介面卡後,vSphere Client 會顯示其兩個元件,即 RDMA 介面卡和實體網路介面卡。

您可以使用 vSphere Client 來檢視 RDMA 介面卡及其對應的網路介面卡。

程序

  1. vSphere Client 中,導覽至 ESXi 主機。
  2. 網路下,按一下 RDMA 介面卡
    在此範例中,RDMA 介面卡會在清單中顯示為 vmrdma0配對的上行資料行會將網路元件顯示為 vmnic1 實體網路介面卡。

    RDMA 介面卡在清單中顯示為 vmrdma0。[配對的上行] 資料行會將網路元件顯示為 vmnic1 實體網路介面卡。

  3. 若要確認介面卡的說明,請從清單選取該 RDMA 介面卡,然後按一下內容索引標籤。

結果

您可以將介面卡的 vmnic# 網路元件用於 iSER 或 NVMe over RDMA 這類儲存區組態。如需 iSER 設定步驟,請參閱 在 ESXi 中設定 iSER。如需 NVMe over RDMA 的詳細資訊,請參閱 在 ESXi 上設定 NVMe over RDMA (RoCE v2)

啟用 VMware iSER 介面卡

為了能夠對 iSCSI 使用具備 RDMA 功能的介面卡,請使用 esxcli 啟用 VMware iSER 儲存區元件。啟用元件後,它將在 vSphere Client 中的 VMware iSCSI over RDMA (iSER) 介面卡類別下方顯示為 vmhba# 儲存裝置介面卡。

必要條件

  • 確保您的 iSCSI 儲存區支援 iSER 通訊協定。
  • ESXi 主機上安裝具備 RDMA 功能的介面卡。如需相關資訊,請參閱安裝和檢視具備 RDMA 功能的網路介面卡
  • 對於具備 RDMA 功能的介面卡 (支援聚合式乙太網路上的 RDMA (RoCE)),請確定介面卡使用的 RoCE 版本。
  • 使用具備 RDMA 功能的交換器。
  • 啟用 ESXi 主機上的流量控制。若要為主機啟用流量控制,請使用 esxcli system module parameters 命令。如需詳細資料,請參閱 VMware 知識庫文章,網址為:http://kb.vmware.com/kb/1013413
  • 確保設定 RDMA 交換器連接埠,來建立 iSER 啟動器和目標之間的無失真連線。

程序

  1. 使用 ESXi Shell 或 vSphere CLI 啟用 VMware iSER 儲存裝置介面卡,並設定其 RoCE 版本。
    1. 啟用 iSER 儲存裝置介面卡。
      esxcli rdma iser add
    2. 確認已新增 iSER 介面卡。
      esxcli iscsi adapter list
      輸出類似於下列內容。
      Adapter Driver State UID Description
      ------- ------ ------- ------------- -------------------------------------
      vmhba64 iser unbound iscsi.vmhba64 VMware iSCSI over RDMA (iSER) Adapter
      
    3. 指定 iSER 用來連線至目標的 RoCE 版本。
      使用具備 RDMA 功能的介面卡的 RoCE 版本。您輸入的命令類似於下列內容:

      esxcli rdma iser params set -a vmhba64 -r 1

      命令完成後,VMkernel 記錄中會出現類似下列內容的訊息。

      vmkernel.0:2020-02-18T18:26:15.949Z cpu6:2100717 opID=45abe37e)iser: iser_set_roce: Setting roce type: 1 for vmhba: vmhba64
      vmkernel.0:2020-02-18T18:26:15.949Z cpu6:2100717 opID=45abe37e)iser: iser_set_roce: Setting rdma port: 3260 for vmhba: vmhba64

      如果您未指定 RoCE 版本,則主機會預設為具備 RDMA 功能的介面卡所支援的最高 RoCE 版本。

  2. 使用 vSphere Client 顯示 iSER 介面卡。
    1. vSphere Client 中,導覽至 ESXi 主機。
    2. 按一下設定索引標籤。
    3. 儲存區下,按一下儲存裝置介面卡,並檢閱介面卡清單。
      如果已啟用介面卡,它將在 VMware iSCSI over RDMA (iSER) 介面卡類別下方的清單中顯示為儲存區 vmhba# 介面卡。

      此螢幕擷取畫面列出了 VMware iSCSI over RDMA (iSER) 介面卡類別下的清單中顯示的儲存裝置介面卡和 vmhba64。

  3. 選取 iSER 儲存區 vmhba#,以檢閱其內容或執行下列工作。
    選項 敘述
    為 iSER 儲存裝置介面卡設定連接埠繫結 您必須建立網路連線,才能繫結 iSER 儲存裝置介面卡 vmhba# 和具備 RDMA 功能的網路介面卡 vmnic#。設定這些連線的程序稱為連接埠繫結。如需連接埠繫結的一般資訊,請參閱使用 ESXi 為 iSCSI 和 iSER 設定網路。若要為 iSER 設定連接埠繫結,請參閱在 ESXi 上設定 iSCSI 或 iSER 的連接埠繫結
    為 iSER 儲存裝置介面卡設定動態探索或靜態探索 如需相關資訊,請參閱在 ESXi 主機上為 iSCSI 和 iSER 設定動態探索或靜態探索
    為 iSER 儲存裝置介面卡設定 Challenge Handshake 驗證通訊協定 (CHAP) 如需相關資訊,請參閱為 iSCSI 或 iSER 儲存裝置介面卡設定 CHAP

下一步

如需詳細資訊,請參閱 VMware 知識庫文章,網址為: https://kb.vmware.com/s/article/79148