在 ESXi 上設定 NVMe over RDMA (RoCE v2)

ESXi 主機上的介面卡組態程序牽涉到設定用於 RDMA 網路介面卡的 VMkernel 繫結，然後是新增軟體 NVMe over RDMA 介面卡。之後，可以新增 NVMe 控制器。

整個設定過程包括以下動作。

動作	說明
檢視 RDMA 網路介面卡	在 ESXi 主機上，安裝支援 RDMA (RoCE v2) 的網路介面卡。例如，Mellanox Technologies MT27700 Family ConnectX-4。 安裝網路介面卡後，使用 vSphere Client 檢閱 RDMA 介面卡和實體網路介面卡。
為 RDMA 介面卡設定 VMkernel 繫結	NVMe over RDMA 的連接埠繫結包括建立交換器，以及將實體網路介面卡和 VMkernel 介面卡連線至交換器。透過此連線，RDMA 介面卡會繫結至 VMkernel 介面卡。在組態中，您可以使用 vSphere 標準交換器或 vSphere Distributed Switch。
新增軟體 NVMe over RDMA 介面卡	使用 vSphere Client 啟用 NVMe over RDMA 軟體儲存裝置介面卡。
為 NVMe over Fabrics 新增控制器	使用 vSphere Client 來新增 NVMe 控制器。新增控制器後，與該控制器相關聯的 NVMe 命名空間將可供您的 ESXi 主機使用。表示 ESXi 環境中命名空間的 NVMe 儲存裝置，會顯示在儲存裝置清單上。

以下視訊將引導您完成設定 NVMe over RDMA 介面卡的步驟。

檢視 RDMA 網路介面卡

在 ESXi 主機上安裝支援 RDMA (RoCE v2) 的網路介面卡後，使用 vSphere Client 檢閱 RDMA 介面卡和實體網路介面卡。

程序

1. 在 ESXi 主機上，安裝支援 RDMA 的介面卡 (RoCE v2)，例如 Mellanox Technologies MT27700 Family ConnectX-4。
   主機會探索到該介面卡，而 vSphere Client 會顯示其兩個元件，即 RDMA 介面卡和實體網路介面卡。
2. 在 vSphere Client 中，確認您的主機可探索到 RDMA 介面卡。
   1. 導覽到主機。
   2. 按一下設定索引標籤。
   3. 在網路下，按一下 RDMA 介面卡。
      在此範例中，RDMA 介面卡會在清單中顯示為 vmrdma0。 配對的上行資料行會將網路元件顯示為 vmnic1 實體網路介面卡。

      

   4. 若要確認介面卡的說明，請從清單選取該 RDMA 介面卡，然後按一下內容索引標籤。

為 RDMA 介面卡設定 VMkernel 繫結

NVMe over RDMA 的連接埠繫結包括建立交換器，以及將實體網路介面卡和 VMkernel 介面卡連線至交換器。透過此連線，RDMA 介面卡會繫結至 VMkernel 介面卡。在組態中，您可以使用 vSphere 標準交換器或 vSphere Distributed Switch。

下圖顯示了 NVMe over RDMA 介面卡的連接埠繫結。

如需有關建立交換器的詳細資訊，請參閱 vSphere 網路說明文件中的〈建立 vSphere 標準交換器〉或〈建立 vSphere Distributed Switch〉。

具有 NVMe over RDMA 的網路拓撲範例

在此範例中，兩個 vSphere 標準交換器和兩個上行 (具備 RDMA 功能的 NIC) 提供高可用性。它們會連線到兩個子網路中的兩個控制器配對。

透過多個 vSwitch 和多個上行 (RNIC) 實現 HA

使用 vSphere 標準交換器設定 VMkernel 繫結

可以使用 vSphere 標準交換器為 RDMA 介面卡設定 VMkernel 連接埠繫結 (每個交換器一個上行)。設定網路連線包括為每個實體網路介面卡建立虛擬 VMkernel 介面卡，您可以在每個虛擬和實體網路介面卡之間使用 1:1 對應。

程序

1. 使用 VMkernel 介面卡和網路元件建立 vSphere 標準交換器。
   1. 在 vSphere Client 中，選取您的主機，然後按一下網路索引標籤。
   2. 按一下動作 > 新增網路。
   3. 選取 VMkernel 網路介面卡，然後按下一步。
   4. 選取新增標準交換器，然後按下一步。
   5. 在已指派的介面卡下，按一下 +。
      隨即顯示可用實體介面卡的清單。
   6. 選取所需的實體介面卡 vmnic，然後按一下確定。
      備註： 確保選取與 RDMA 介面卡對應的實體網路介面卡。若要查看 RDMA 介面卡 vmrdma 與實體網路介面卡 vmnic 之間的關聯，請參閱 檢視 RDMA 網路介面卡。
   7. 在 VMkernel 連接埠設定下，輸入所需的值。
      如果對儲存區路徑使用 VLAN，請輸入 VLAN 識別碼。
   8. 在 IP 設定清單中，輸入 VMkernel IPv4 設定。
   9. 在 [可用服務] 下，選取 NVMe over RDMA。
2. 確認是否已正確設定交換器。
   1. 在設定索引標籤上，選取網路下的虛擬交換器。
   2. 展開交換器並驗證其組態。

      此圖顯示實體網路介面卡和 VMkernel 介面卡已連線至 vSphere Standard Switch。透過此連線，RDMA 介面卡會繫結至 VMkernel 介面卡。

      

3. 驗證針對 RDMA 介面卡的 VMkernel 繫結組態。
   1. 在網路清單下，按一下 RDMA 介面卡，然後從清單中選取 RDMA 介面卡。
   2. 按一下 VMkernel 介面卡繫結索引標籤，然後驗證頁面上顯示相關聯的 VMkernel 介面卡。
      在此範例中， vmrdma0 RDMA 介面卡會與 vmnic1 網路介面卡配對，並連接至 vmk1 VMkernel 介面卡。

      

使用 vSphere 標準交換器和 NIC 整併設定 VMkernel 繫結

可以使用 vSphere 標準交換器和 NIC 整併組態為 RDMA 介面卡設定 VMkernel 連接埠繫結。您可以使用 NIC 整併來達成網路備援。您可以將兩個或更多網路介面卡 (NIC) 設定為整併，以獲得高可用性和負載平衡。

程序

1. 使用 VMkernel 介面卡和網路元件以及 NIC 整併組態建立 vSphere 標準交換器。
   1. 在 vSphere Client 中，選取您的主機，然後按一下網路索引標籤。
   2. 按一下動作 > 新增網路。
   3. 選取 VMkernel 網路介面卡，然後按下一步。
   4. 選取新增標準交換器，然後按下一步。
   5. 在已指派的介面卡下，按一下 +。
      隨即顯示可用實體介面卡的清單。
   6. 選取所需的實體介面卡 vmnic，然後將其新增至作用中介面卡下。
   7. 選取其他實體介面卡 vmnic，然後將其新增至未使用的介面卡下。
   8. 在 VMkernel 連接埠設定下，輸入所需的值。
      如果對儲存區路徑使用 VLAN，請輸入 VLAN 識別碼。
   9. 在 IP 設定清單中，指定 VMkernel IPv4 設定。
   10. 在 [可用服務] 下，選取 NVMe over RDMA。
   重複步驟 1 以設定現有的標準交換器。
2. 設定您的交換器以進行 NIC 整併設定。
   1. 按一下設定索引標籤，然後選取網路下的虛擬交換器。
   2. 選取適當的 VMkernel 介面卡。
   3. 從右鍵功能表中，按一下編輯設定。
   4. 選取整併和容錯移轉。
   5. 在作用中介面卡下，移動所需的實體介面卡 vmnic。
   6. 在待命介面卡 > 容錯移轉順序下，移動其他實體介面卡。
   7. 設定適當的負載平衡和其他內容。
   8. 重複上述步驟以設定其他 VMkernel 介面卡。
3. 重複步驟 1 和 2，新增和設定其他組合的 rnic 集。若要確認是否已設定介面卡，請按一下設定索引標籤，然後選取 VMkernel 介面卡。

使用 vSphere Distributed Switch 設定 VMkernel 繫結

可以使用 vSphere Distributed Switch 為 RDMA 介面卡設定 VMkernel 連接埠繫結 (每個交換器一個上行)。設定網路連線包括為每個實體網路介面卡建立虛擬 VMkernel 介面卡，您可以在每個虛擬和實體網路介面卡之間使用 1:1 對應。

程序

1. 使用 VMkernel 介面卡和網路元件建立 vSphere Distributed Switch。
   1. 在 vSphere Client 中，選取資料中心，然後按一下網路索引標籤。
   2. 按一下動作，然後選取 Distributed Switch > 新增 Distributed Switch。
   3. 選取交換器的名稱。
      確保資料中心的位置存在於您的主機內，然後按 下一步。
   4. 選取相容的 ESXi 版本，然後按下一步。
   5. 輸入所需的上行數目，然後按一下完成。
2. 將一或多台主機新增至分散式虛擬交換器。
   1. 在 vSphere Client 中，選取資料中心，然後按一下 Distributed Switch。
      隨即顯示可用 DSwitch 的清單。
   2. 在 DSwitch 上按一下滑鼠右鍵，然後從功能表中選取新增和管理主機。
   3. 選取新增主機，然後按下一步。
   4. 選取您的主機，然後按下一步。
   5. 選取指派上行。
   6. 輸入相關的上行以指派 vmnic。
   7. 指派 VMkernel 介面卡，然後按下一步。
   8. 在 vSphere Client 中，選取 DSwitch，然後按一下連接埠索引標籤。
      您可以在此處檢視為交換器建立的上行。
3. 為 NVMe over RDMA 儲存區路徑建立分散式連接埠群組。
   1. 在 vSphere Client 中，選取所需的 DSwitch。
   2. 按一下動作，然後選取分散式連接埠群組 > 新增分散式連接埠群組。
   3. 在設定組態下，輸入連接埠群組的一般內容。
      如果您已設定特定的 VLAN，請將其新增到 VLAN 識別碼中。
      備註： 如果您沒有正確設定 VLAN，可能會發生網路連線問題。
4. 設定 VMkernel 介面卡。
   1. 在 vSphere Client 中，展開 DSwitch 清單，然後選取分散式連接埠群組。
   2. 按一下動作 > 新增 VMkernel 介面卡。
   3. 在選取成員主機對話方塊中，選取您的主機，然後按一下確定。
   4. 在設定 VMkernel 介面卡對話方塊中，確保 MTU 與交換器 MTU 相符。
   5. 在可用服務下，選取 NVMe over RDMA 以進行相應標記。
   6. 按一下完成。
   7. 重複步驟 b 和步驟 c 以新增多個具備 RDMA 功能的 NIC。
5. 為分散式連接埠群組設定 NIC 整併原則。
   1. 在分散式連接埠群組中，按一下動作 > 編輯設定。
   2. 按一下整併和容錯移轉，然後驗證作用中上行。
   3. 針對連接埠群組將一個上行指派為作用中，將另一個上行指派為未使用。
      針對已建立的每個連接埠群組重複步驟 c。

下一步

完成設定後，按一下 設定，然後驗證主機上的實體介面卡索引標籤是否列出了所選 NIC 的 DVSwitch。

新增軟體 NVMe over RDMA 或 NVMe over TCP 介面卡

ESXi 支援 NVMe over RDMA 和 NVMe over TCP 軟體介面卡。可以使用 vSphere Client 新增 NVMe over RDMA 或 NVMe over TCP 軟體儲存裝置介面卡。

必要條件

• 在 ESXi 主機上，安裝支援以下儲存區類型的介面卡。
  • NVMe over RDMA 介面卡。例如，Mellanox Technologies MT27700 Family ConnectX-4。
  • NVMe over TCP 介面卡。例如，i40en。
• 為介面卡設定 VMkernel 繫結。
  • 對於 NVMe over RDMA，請參閱 為 RDMA 介面卡設定 VMkernel 繫結。
  • 對於 NVMe over TCP，請參閱 為 NVMe over TCP 介面卡設定 VMkernel 繫結。

程序

1. 在 vSphere Client 中，導覽至 ESXi 主機。
2. 按一下設定索引標籤。
3. 在儲存區下，按一下儲存區介面卡，然後按一下新增軟體介面卡圖示。
4. 根據需要選取介面卡類型。
   • NVMe over RDMA 介面卡
   • NVMe over TCP 介面卡
5. 根據步驟 4 中的選取項目，從下拉式功能表中選取相應的 RDMA 介面卡或 TCP 網路介面卡 (vmnic)。
   備註： 如果您收到錯誤訊息，導致無法建立軟體介面卡，請確定已正確設定用於介面卡的 VMkernel 繫結。如需詳細資訊，請參閱 為 RDMA 介面卡設定 VMkernel 繫結和 為 NVMe over TCP 介面卡設定 VMkernel 繫結。

結果

軟體 NVMe over RDMA 和 NVMe over TCP 介面卡將作為 vmhba 儲存裝置介面卡顯示在清單中。如果出於其他目的需要釋放基礎 RDMA 和 TCP 網路介面卡，則可以移除該介面卡。請參閱 從 ESXi 主機中移除軟體 NVMe 介面卡。

為 NVMe over Fabrics 新增控制器

使用 vSphere Client 來新增 NVMe 控制器。新增控制器後，與該控制器相關聯的 NVMe 命名空間將可供您的 ESXi 主機使用。表示 ESXi 環境中命名空間的 NVMe 儲存裝置，會顯示在儲存裝置清單上。

必要條件

• 確定 ESXi 主機具有適用於儲存區類型的適當介面卡。請參閱VMware NVMe 儲存區的需求。
• 如果使用 NVMe over RDMA (RoCE v2) 儲存區，請執行下列工作：
  • 為 RDMA 介面卡設定 VMkernel 繫結
  • 新增軟體 NVMe over RDMA 介面卡
• 如果使用 NVMe over TCP 儲存區，請執行下列工作：
  • 為 NVMe over TCP 介面卡設定 VMkernel 繫結
  • 新增軟體 NVMe over TCP 介面卡

備註： 有了 NVMe over Fibre Channel，在您安裝所需的介面卡後，它會自動連線至目前可連線的所有目標。您可以稍後重新設定介面卡，並將其控制器中斷連線，或連線在主機開機期間無法使用的其他控制器。

程序

1. 在 vSphere Client 中，導覽至 ESXi 主機。
2. 按一下設定索引標籤。
3. 在儲存區底下，按一下儲存區介面卡，然後選取要設定的介面卡 (vmhba#)。
4. 按一下控制器索引標籤，然後按一下新增控制器。
5. 在新增控制器對話方塊中，選取下列探索方法之一。

   選項	敘述
   自動	此選項表示主機可以自動探索控制器並接受與任何可用控制器的連線。 指定下列參數以探索控制器。 對於 NVMe over RDMA (RoCE v2)，則為 IP 位址和傳輸連接埠號碼。 對於 NVMe over TCP，指定 IP 位址、傳輸連接埠號碼和摘要參數。 按一下探索控制器。 從控制器清單中，選取要使用的控制器。
   手動	使用此方法，您可以手動輸入控制器詳細資料。主機會要求使用指定參數連線至特定控制器： 子系統 NQN 目標連接埠識別。 對於 NVMe over RDMA (RoCE v2)，指定 IP 位址和傳輸連接埠號碼 (選用)。 對於 NVMe over TCP，指定 IP 位址、傳輸連接埠號碼 (選用) 和摘要參數 (選用)。 對於 NVMe over Fibre Channel，指定 WorldWideNodeName 和 WorldWidePortName。 管理佇列大小。指定控制器管理佇列大小的選用參數。預設值為 16。 保持運作逾時。用於指定介面卡和控制器之間保持運作逾時 (以秒為單位) 的選用參數。預設逾時值為 60 秒。 備註： IO 佇列大小和 IO 佇列編號是可選參數，只能透過 esxcli 進行設定。

結果

控制器會顯示在控制器清單上。您的主機現在可以探索與該控制器相關聯的 NVMe 命名空間。表示 ESXi 環境中命名空間的 NVMe 儲存裝置，會顯示在 vSphere Client 的儲存裝置清單上。