vSphere Bitfusion 伺服器和用戶端設定為使用 PVRDMA 傳輸資料流量後,vSphere Bitfusion 用戶端上網路介面卡的 RDMA 連接埠可能會顯示 PORT_DOWN 狀態。您可以透過安裝 RDMA 核心模組來解決此問題。

問題

  • 無法成功測試 vSphere Bitfusion 伺服器與用戶端之間的 PVRDMA 連線。
  • 執行 ibv_devinfo 命令時,vSphere Bitfusion 用戶端的 RDMA 連接埠未正常運作。

原因

為作業系統安裝 RDMA 套件後,套件可能不會安裝必要的核心模組。

解決方案

  1. 載入 mlx4_ibib_umadrdma_cmrdma_ucmvmw_pvrdma 核心模組。
    此解決方案適用於 CentOS、Red Hat Linux 和 Ubuntu。
    1. 載入以下核心模組。
      sudo /sbin/modprobe mlx4_ib
      sudo /sbin/modprobe ib_umad
      sudo /sbin/modprobe rdma_cm
      sudo /sbin/modprobe rdma_ucm
    2. 重新載入 vmw_pvrdma 核心模組。
      必須先載入其他核心模組,然後再載入 vmw_pvrdma 核心模組。
      備註: 在 Ubuntu 中,每次將 vSphere Bitfusion 用戶端虛擬機器開機後,都必須執行此步驟。
      sudo /sbin/modprobe -r vmw_pvrdma
      sudo /sbin/modprobe vmw_pvrdma
  2. 如果使用的是 Ubuntu,請執行 sudo update-initramfs -k all -u 命令。
  3. (選擇性) 若要驗證網路介面的 RDMA 連接埠是否正常運作,請執行 ibv_devinfo 命令。