NVMe over RDMA 的連接埠繫結包括建立交換器,以及將實體網路介面卡和 VMkernel 介面卡連線至交換器。透過此連線,RDMA 介面卡會繫結至 VMkernel 介面卡。在組態中,您可以使用 vSphere 標準交換器或 vSphere Distributed Switch。

下圖顯示了 NVMe over RDMA 介面卡的連接埠繫結。

此圖顯示 NVMe over RDMA 介面卡的連接埠繫結。

如需有關建立交換器的詳細資訊,請參閱 vSphere 網路說明文件中的〈建立 vSphere 標準交換器〉〈建立 vSphere Distributed Switch〉

具有 NVMe over RDMA 的網路拓撲範例

在此範例中,兩個 vSphere 標準交換器和兩個上行 (具備 RDMA 功能的 NIC) 提供高可用性。它們會連線到兩個子網路中的兩個控制器配對。

透過多個 vSwitch 和多個上行 (RNIC) 實現 HA

此圖顯示提供高可用性的兩個 vSphere Standard Switch 和兩個上行。

使用 vSphere 標準交換器設定 VMkernel 繫結

可以使用 vSphere 標準交換器為 RDMA 介面卡設定 VMkernel 連接埠繫結 (每個交換器一個上行)。設定網路連線包括為每個實體網路介面卡建立虛擬 VMkernel 介面卡,您可以在每個虛擬和實體網路介面卡之間使用 1:1 對應。

程序

  1. 使用 VMkernel 介面卡和網路元件建立 vSphere 標準交換器。
    1. vSphere Client 中,選取您的主機,然後按一下網路索引標籤。
    2. 按一下動作 > 新增網路
    3. 選取 VMkernel 網路介面卡,然後按下一步
    4. 選取新增標準交換器,然後按下一步
    5. 已指派的介面卡下,按一下 +
      隨即顯示可用實體介面卡的清單。
    6. 選取所需的實體介面卡 vmnic,然後按一下確定
      備註: 確保選取與 RDMA 介面卡對應的實體網路介面卡。若要查看 RDMA 介面卡 vmrdma 與實體網路介面卡 vmnic 之間的關聯,請參閱 檢視 RDMA 網路介面卡
    7. VMkernel 連接埠設定下,輸入所需的值。
      如果對儲存區路徑使用 VLAN,請輸入 VLAN 識別碼。
    8. IP 設定清單中,輸入 VMkernel IPv4 設定。
    9. 在 [可用服務] 下,選取 NVMe over RDMA
  2. 確認是否已正確設定交換器。
    1. 設定索引標籤上,選取網路下的虛擬交換器
    2. 展開交換器並驗證其組態。

      此圖顯示實體網路介面卡和 VMkernel 介面卡已連線至 vSphere Standard Switch。透過此連線,RDMA 介面卡會繫結至 VMkernel 介面卡。

      此圖顯示 vSphere Standard Switch 的實體網路介面卡和 VMkernel 介面卡組態。

  3. 驗證針對 RDMA 介面卡的 VMkernel 繫結組態。
    1. 網路清單下,按一下 RDMA 介面卡,然後從清單中選取 RDMA 介面卡。
    2. 按一下 VMkernel 介面卡繫結索引標籤,然後驗證頁面上顯示相關聯的 VMkernel 介面卡。
      在此範例中, vmrdma0 RDMA 介面卡會與 vmnic1 網路介面卡配對,並連接至 vmk1 VMkernel 介面卡。

      此圖顯示 RDMA 介面卡的 VMkernel 繫結組態。

使用 vSphere 標準交換器和 NIC 整併設定 VMkernel 繫結

可以使用 vSphere 標準交換器和 NIC 整併組態為 RDMA 介面卡設定 VMkernel 連接埠繫結。您可以使用 NIC 整併來達成網路備援。您可以將兩個或更多網路介面卡 (NIC) 設定為整併,以獲得高可用性和負載平衡。

程序

  1. 使用 VMkernel 介面卡和網路元件以及 NIC 整併組態建立 vSphere 標準交換器。
    1. vSphere Client 中,選取您的主機,然後按一下網路索引標籤。
    2. 按一下動作 > 新增網路
    3. 選取 VMkernel 網路介面卡,然後按下一步
    4. 選取新增標準交換器,然後按下一步
    5. 已指派的介面卡下,按一下 +
      隨即顯示可用實體介面卡的清單。
    6. 選取所需的實體介面卡 vmnic,然後將其新增至作用中介面卡下。
    7. 選取其他實體介面卡 vmnic,然後將其新增至未使用的介面卡下。
    8. VMkernel 連接埠設定下,輸入所需的值。
      如果對儲存區路徑使用 VLAN,請輸入 VLAN 識別碼。
    9. IP 設定清單中,指定 VMkernel IPv4 設定。
    10. 在 [可用服務] 下,選取 NVMe over RDMA
    重複步驟 1 以設定現有的標準交換器。
  2. 設定您的交換器以進行 NIC 整併設定。
    1. 按一下設定索引標籤,然後選取網路下的虛擬交換器
    2. 選取適當的 VMkernel 介面卡。
    3. 從右鍵功能表中,按一下編輯設定
    4. 選取整併和容錯移轉
    5. 作用中介面卡下,移動所需的實體介面卡 vmnic
    6. 待命介面卡 > 容錯移轉順序下,移動其他實體介面卡。
    7. 設定適當的負載平衡和其他內容。
    8. 重複上述步驟以設定其他 VMkernel 介面卡。
  3. 重複步驟 1 和 2,新增和設定其他組合的 rnic 集。若要確認是否已設定介面卡,請按一下設定索引標籤,然後選取 VMkernel 介面卡

使用 vSphere Distributed Switch 設定 VMkernel 繫結

可以使用 vSphere Distributed Switch 為 RDMA 介面卡設定 VMkernel 連接埠繫結 (每個交換器一個上行)。設定網路連線包括為每個實體網路介面卡建立虛擬 VMkernel 介面卡,您可以在每個虛擬和實體網路介面卡之間使用 1:1 對應。

程序

  1. 使用 VMkernel 介面卡和網路元件建立 vSphere Distributed Switch。
    1. vSphere Client 中,選取資料中心,然後按一下網路索引標籤。
    2. 按一下動作,然後選取 Distributed Switch > 新增 Distributed Switch
    3. 選取交換器的名稱。
      確保資料中心的位置存在於您的主機內,然後按 下一步
    4. 選取相容的 ESXi 版本,然後按下一步
    5. 輸入所需的上行數目,然後按一下完成
  2. 將一或多台主機新增至分散式虛擬交換器。
    1. vSphere Client 中,選取資料中心,然後按一下 Distributed Switch
      隨即顯示可用 DSwitch 的清單。
    2. 在 DSwitch 上按一下滑鼠右鍵,然後從功能表中選取新增和管理主機
    3. 選取新增主機,然後按下一步
    4. 選取您的主機,然後按下一步
    5. 選取指派上行
    6. 輸入相關的上行以指派 vmnic
    7. 指派 VMkernel 介面卡,然後按下一步
    8. vSphere Client 中,選取 DSwitch,然後按一下連接埠索引標籤。
      您可以在此處檢視為交換器建立的上行。
  3. 為 NVMe over RDMA 儲存區路徑建立分散式連接埠群組。
    1. vSphere Client 中,選取所需的 DSwitch。
    2. 按一下動作,然後選取分散式連接埠群組 > 新增分散式連接埠群組
    3. 設定組態下,輸入連接埠群組的一般內容。
      如果您已設定特定的 VLAN,請將其新增到 VLAN 識別碼中。
      備註: 如果您沒有正確設定 VLAN,可能會發生網路連線問題。
  4. 設定 VMkernel 介面卡。
    1. vSphere Client 中,展開 DSwitch 清單,然後選取分散式連接埠群組。
    2. 按一下動作 > 新增 VMkernel 介面卡
    3. 選取成員主機對話方塊中,選取您的主機,然後按一下確定
    4. 設定 VMkernel 介面卡對話方塊中,確保 MTU 與交換器 MTU 相符。
    5. 可用服務下,選取 NVMe over RDMA 以進行相應標記。
    6. 按一下完成
    7. 重複步驟 b 和步驟 c 以新增多個具備 RDMA 功能的 NIC。
  5. 為分散式連接埠群組設定 NIC 整併原則。
    1. 分散式連接埠群組中,按一下動作 > 編輯設定
    2. 按一下整併和容錯移轉,然後驗證作用中上行。
    3. 針對連接埠群組將一個上行指派為作用中,將另一個上行指派為未使用
      針對已建立的每個連接埠群組重複步驟 c。

下一步

完成設定後,按一下 設定,然後驗證主機上的實體介面卡索引標籤是否列出了所選 NIC 的 DVSwitch。