將 vSphere Bitfusion 伺服器和用戶端設定為使用 PVRDMA 傳輸資料流量後,vSphere Bitfusion 用戶端上網路介面卡的 RDMA 連接埠可能會顯示 PORT_DOWN
狀態。您可以透過安裝 RDMA 核心模組來解決此問題。
問題
- 無法成功測試 vSphere Bitfusion 伺服器與用戶端之間的 PVRDMA 連線。
- 執行 ibv_devinfo 命令時,vSphere Bitfusion 用戶端的 RDMA 連接埠未正常運作。
原因
為作業系統安裝 RDMA 套件後,套件可能不會安裝必要的核心模組。
解決方案
- 載入
mlx4_ib
、ib_umad
、rdma_cm
、rdma_ucm
和 vmw_pvrdma 核心模組。
此解決方案適用於 CentOS、Red Hat Linux 和 Ubuntu。
- 載入以下核心模組。
sudo /sbin/modprobe mlx4_ib
sudo /sbin/modprobe ib_umad
sudo /sbin/modprobe rdma_cm
sudo /sbin/modprobe rdma_ucm
- 重新載入 vmw_pvrdma 核心模組。
必須先載入其他核心模組,然後再載入
vmw_pvrdma 核心模組。
備註: 在 Ubuntu 中,每次將
vSphere Bitfusion 用戶端虛擬機器開機後,都必須執行此步驟。
sudo /sbin/modprobe -r vmw_pvrdma
sudo /sbin/modprobe vmw_pvrdma
- 如果使用的是 Ubuntu,請執行 sudo update-initramfs -k all -u 命令。
- (選擇性) 若要驗證網路介面的 RDMA 連接埠是否正常運作,請執行 ibv_devinfo 命令。