ESXi 主機上的介面卡組態程序牽涉到設定用於 TCP 網路介面卡的 VMkernel 繫結,然後是為 NVMe over TCP 新增軟體介面卡。之後,可以新增 NVMe 控制器。

整個設定過程包括以下動作。
動作 說明
在 ESXi 主機上,安裝支援 NVMe over TCP 技術的介面卡 例如,i40en。
為 NVMe over TCP 介面卡設定 VMkernel 繫結 NVMe over TCP 的 VMkernel 繫結包括建立虛擬交換器,以及將實體網路介面卡和 VMkernel 介面卡連線至虛擬交換器。透過此連線,TCP 介面卡會繫結至 VMkernel 介面卡。在組態中,您可以使用 vSphere 標準交換器或 vSphere Distributed Switch。
新增軟體 NVMe over TCP 介面卡 使用 vSphere Client 啟用 NVMe over TCP 軟體儲存裝置介面卡。
為 NVMe over Fabrics 新增控制器 使用 vSphere Client 來新增 NVMe 控制器。新增控制器後,與該控制器相關聯的 NVMe 命名空間將可供您的 ESXi 主機使用。表示 ESXi 環境中命名空間的 NVMe 儲存裝置,會顯示在儲存裝置清單上。

為 NVMe over TCP 介面卡設定 VMkernel 繫結

NVMe over TCP 的連接埠繫結包括建立虛擬交換器,以及將實體網路介面卡和 VMkernel 介面卡連線至虛擬交換器。透過此連線,TCP 介面卡會繫結至 VMkernel 介面卡。在組態中,您可以使用 vSphere 標準交換器或 vSphere Distributed Switch。

下圖顯示了 NVMe over TCP 介面卡的連接埠繫結。

此圖顯示 NVMe over TCP 介面卡的連接埠繫結。

如需有關建立交換器的詳細資訊,請參閱 vSphere 網路說明文件中的〈建立 vSphere 標準交換器〉〈建立 vSphere Distributed Switch〉

具有 NVMe over TCP 的網路拓撲範例

在此範例中,主機上的兩個 vSphere Standard Switch 和兩個網路介面卡 (vmnic) 提供高可用性。它們連線到兩個外部交換器。

NVMe over TCP 介面卡的網路拓撲組態。

使用 vSphere 標準交換器為 TCP 介面卡設定 VMkernel 繫結

可以使用 vSphere 標準交換器為 TCP 介面卡設定 VMkernel 繫結 (每個交換器一個上行)。設定網路連線包括為每個實體網路介面卡建立虛擬 VMkernel 介面卡,您可以在每個虛擬和實體網路介面卡之間使用 1:1 對應。

程序

  1. 使用 VMkernel 介面卡和網路元件建立 vSphere 標準交換器。
    1. vSphere Client 中,選取您的主機,然後按一下網路索引標籤。
    2. 按一下動作 > 新增網路
    3. 選取 VMkernel 網路介面卡,然後按下一步
    4. 選取新增標準交換器,然後按下一步
    5. 已指派的介面卡下,按一下 +
      隨即顯示可用實體介面卡的清單。
    6. 選取所需的實體介面卡 vmnic,然後按一下確定
      備註: 確保選取與 TCP/IP 介面卡對應的實體網路介面卡。
    7. VMkernel 連接埠設定下,輸入所需的值。
      如果對儲存區路徑使用 VLAN,請輸入 VLAN 識別碼。
    8. IP 設定清單中,輸入 VMkernel IPv4 設定。
    9. 可用服務下,選取 NVMe over TCP 以進行相應標記。
  2. 確認是否已正確設定交換器。
    1. 設定索引標籤上,選取網路下的虛擬交換器
    2. 展開交換器並驗證其組態。

      此圖顯示實體網路介面卡和 VMkernel 介面卡已連線至 vSphere Standard Switch。透過此連線,TCP 介面卡會繫結至 VMkernel 介面卡。

      此圖顯示連線實體網路介面卡和 VMkernel 介面卡的 vSphere Standard Switch。

  3. 為 vSphere Standard Switch 設定 NIC 整併原則。
    備註: NVMe over TCP 介面卡不支援容錯移轉和負載平衡等 NIC 整併功能。相反,它依賴儲存區多重路徑來實現這些功能。但是,如果必須為服務於 NVMe over TCP 介面卡的上行上的其他網路工作負載設定 NIC 整併,請執行以下步驟。
    1. 按一下設定索引標籤,然後選取網路下的虛擬交換器
    2. 選取適當的 VMkernel 介面卡。
    3. 從右鍵功能表中,按一下編輯設定
    4. 選取整併和容錯移轉
    5. 作用中介面卡下,移動所需的實體介面卡 vmnic
    6. 待命介面卡 > 容錯移轉順序下,移動其他實體介面卡。
    7. 設定適當的負載平衡和其他內容。
    8. 重複上述步驟以設定其他 VMkernel 介面卡。
    若要驗證是否已設定介面卡,請按一下 設定索引標籤,然後選取 VMkernel 介面卡

使用 vSphere Distributed Switch 為 TCP 介面卡設定 VMkernel 繫結

可以使用 vSphere Distributed Switch 為 TCP 介面卡設定 VMkernel 連接埠繫結 (每個交換器一個上行)。設定網路連線包括為每個實體網路介面卡建立虛擬 VMkernel 介面卡,您可以在每個虛擬和實體網路介面卡之間使用 1:1 對應。

程序

  1. 使用 VMkernel 介面卡和網路元件建立 vSphere Distributed Switch。
    1. vSphere Client 中,選取資料中心,然後按一下網路索引標籤。
    2. 按一下動作,然後選取 Distributed Switch > 新增 Distributed Switch
    3. 選取交換器的名稱。
      確保資料中心的位置存在於您的主機內,然後按 下一步
    4. 選取相容的 ESXi 版本,然後按下一步
    5. 輸入所需的上行數目,然後按一下完成
  2. 將一或多台主機新增至分散式虛擬交換器。
    1. vSphere Client 中,選取資料中心,然後按一下 Distributed Switch
      隨即顯示可用 DSwitch 的清單。
    2. 在 DSwitch 上按一下滑鼠右鍵,然後從功能表中選取新增和管理主機
    3. 選取新增主機,然後按下一步
    4. 選取您的主機,然後按下一步
    5. 選取指派上行
    6. 輸入相關的上行以指派 vmnic
    7. 指派 VMkernel 介面卡,然後按下一步
    8. vSphere Client 中,選取 DSwitch,然後按一下連接埠索引標籤。
      您可以在此處檢視為交換器建立的上行。
  3. 為 NVMe over TCP 儲存區路徑建立分散式連接埠群組。
    1. vSphere Client 中,選取所需的 DSwitch。
    2. 按一下動作,然後選取分散式連接埠群組 > 新增分散式連接埠群組
    3. 設定組態下,輸入連接埠群組的一般內容。
      如果您已設定特定的 VLAN,請將其新增到 VLAN 識別碼中。
      備註: 如果您沒有正確設定 VLAN,可能會發生網路連線問題。
  4. 設定 VMkernel 介面卡。
    1. vSphere Client 中,展開 DSwitch 清單,然後選取分散式連接埠群組。
    2. 按一下動作 > 新增 VMkernel 介面卡
    3. 選取成員主機對話方塊中,選取您的主機,然後按一下確定
    4. 設定 VMkernel 介面卡對話方塊中,確保 MTU 與交換器 MTU 相符。
    5. 按一下完成
    6. 重複步驟 b 和步驟 c 以新增多個具備 TCP 功能的 NIC。
  5. 為分散式連接埠群組設定 NIC 整併原則。
    備註: NVMe over TCP 介面卡不支援容錯移轉和負載平衡等 NIC 整併功能。相反,它依賴儲存區多重路徑來實現這些功能。但是,如果必須為服務於 NVMe over TCP 介面卡的上行上的其他網路工作負載設定 NIC 整併,請執行以下步驟。
    1. 分散式連接埠群組中,按一下動作 > 編輯設定
    2. 按一下整併和容錯移轉,然後驗證作用中上行。
    3. 針對連接埠群組將一個上行指派為作用中,將另一個上行指派為未使用
      針對已建立的每個連接埠群組重複步驟 c。

下一步

完成設定後,按一下 設定,然後驗證主機上的實體介面卡索引標籤是否列出了所選 NIC 的 DVSwitch。

新增軟體 NVMe over RDMA 或 NVMe over TCP 介面卡

ESXi 支援 NVMe over RDMA 和 NVMe over TCP 軟體介面卡。可以使用 vSphere Client 新增 NVMe over RDMA 或 NVMe over TCP 軟體儲存裝置介面卡。

必要條件

程序

  1. vSphere Client 中,導覽至 ESXi 主機。
  2. 按一下設定索引標籤。
  3. 儲存區下,按一下儲存區介面卡,然後按一下新增軟體介面卡圖示。
  4. 根據需要選取介面卡類型。
    • NVMe over RDMA 介面卡
    • NVMe over TCP 介面卡
  5. 根據步驟 4 中的選取項目,從下拉式功能表中選取相應的 RDMA 介面卡或 TCP 網路介面卡 (vmnic)。
    備註: 如果您收到錯誤訊息,導致無法建立軟體介面卡,請確定已正確設定用於介面卡的 VMkernel 繫結。如需詳細資訊,請參閱 為 RDMA 介面卡設定 VMkernel 繫結為 NVMe over TCP 介面卡設定 VMkernel 繫結

結果

軟體 NVMe over RDMA 和 NVMe over TCP 介面卡將作為 vmhba 儲存裝置介面卡顯示在清單中。如果出於其他目的需要釋放基礎 RDMA 和 TCP 網路介面卡,則可以移除該介面卡。請參閱 從 ESXi 主機中移除軟體 NVMe 介面卡

為 NVMe over Fabrics 新增控制器

使用 vSphere Client 來新增 NVMe 控制器。新增控制器後,與該控制器相關聯的 NVMe 命名空間將可供您的 ESXi 主機使用。表示 ESXi 環境中命名空間的 NVMe 儲存裝置,會顯示在儲存裝置清單上。

必要條件

備註: 有了 NVMe over Fibre Channel,在您安裝所需的介面卡後,它會自動連線至目前可連線的所有目標。您可以稍後重新設定介面卡,並將其控制器中斷連線,或連線在主機開機期間無法使用的其他控制器。

程序

  1. vSphere Client 中,導覽至 ESXi 主機。
  2. 按一下設定索引標籤。
  3. 儲存區底下,按一下儲存區介面卡,然後選取要設定的介面卡 (vmhba#)。
  4. 按一下控制器索引標籤,然後按一下新增控制器
  5. 新增控制器對話方塊中,選取下列探索方法之一。
    選項 敘述
    自動 此選項表示主機可以自動探索控制器並接受與任何可用控制器的連線。
    1. 指定下列參數以探索控制器。
      • 對於 NVMe over RDMA (RoCE v2),則為 IP 位址和傳輸連接埠號碼。
      • 對於 NVMe over TCP,指定 IP 位址、傳輸連接埠號碼和摘要參數。
    2. 按一下探索控制器
    3. 從控制器清單中,選取要使用的控制器。
    手動 使用此方法,您可以手動輸入控制器詳細資料。主機會要求使用指定參數連線至特定控制器:
    • 子系統 NQN
    • 目標連接埠識別。
      • 對於 NVMe over RDMA (RoCE v2),指定 IP 位址和傳輸連接埠號碼 (選用)。
      • 對於 NVMe over TCP,指定 IP 位址、傳輸連接埠號碼 (選用) 和摘要參數 (選用)。
      • 對於 NVMe over Fibre Channel,指定 WorldWideNodeName 和 WorldWidePortName。
    • 管理佇列大小。指定控制器管理佇列大小的選用參數。預設值為 16。
    • 保持運作逾時。用於指定介面卡和控制器之間保持運作逾時 (以秒為單位) 的選用參數。預設逾時值為 60 秒。
    備註: IO 佇列大小和 IO 佇列編號是可選參數,只能透過 esxcli 進行設定。

結果

控制器會顯示在控制器清單上。您的主機現在可以探索與該控制器相關聯的 NVMe 命名空間。表示 ESXi 環境中命名空間的 NVMe 儲存裝置,會顯示在 vSphere Client 的儲存裝置清單上。