ESXi에서 NVMe over RDMA가 효율적으로 작동하려면 무손실 이더넷 네트워크가 필요합니다.
무손실 네트워크를 설정하려면 사용 가능한 QoS 설정 중 하나를 선택하면 됩니다.
글로벌 일시 중지 흐름 제어 사용
이 네트워크 구성에서는 네트워크 스위치 포트에서 글로벌 일시 중지 흐름 제어가 사용되도록 설정되어 있는지 확인합니다. 또한 호스트의 RDMA 지원 NIC가 올바른 흐름 제어에 자동 협상되는지 확인합니다.
흐름 제어를 확인하려면 다음 명령을 실행합니다.
#esxcli network nic get -n vmnicX Pause RX: true Pause TX: true
위 명령 옵션이 true로 설정되지 않은 경우, 다음 명령을 실행합니다.
#esxcli network nic pauseParams set -r true -t true -n vmnicX
우선 순위 흐름 제어 사용
RoCE 트래픽이 무손실이 되려면, 물리적 스위치 및 호스트에서 PFC 우선 순위 값을 3으로 구성해야 합니다. PFC는
ESXi 호스트에서 다음 두 가지 방법으로 구성할 수 있습니다.
- 자동 구성입니다. ESXi 7.0부터는 RNIC 드라이버가 DCB 및 DCBx를 지원하는 경우 호스트 RNIC에서 DCB PFC 구성을 자동으로 적용할 수 있습니다.
다음 명령을 실행하여 현재 DCB 설정을 확인할 수 있습니다.
#esxcli network nic dcb status get -n vmnicX
- 수동 구성입니다. 경우에 따라 RNIC 드라이버는 드라이버 관련 매개 변수를 사용하여 DCB PFC를 수동으로 구성하는 방법을 제공합니다. 이 방법을 사용하려면 벤더 관련 드라이버 설명서를 참조하십시오. 예를 들어 Mellanox ConnectX-4/5 드라이버에서는 다음 명령을 실행하여 PFC 우선 순위 값을 3으로 설정하고 호스트를 재부팅할 수 있습니다.
#esxcli system module parameters set -m nmlx5_core -p "pfctx=0x08 pfcrx=0x08"
DSCP 기반 PFC 사용
DSCP 기반 PFC는 무손실 네트워크를 구성하는 또 다른 방법입니다. 물리적 스위치 및 호스트에서 DSCP 값을 26으로 설정해야 합니다. 이 옵션을 사용하려면 벤더 관련 드라이버 설명서를 참조하십시오. 예를 들어 Mellanox ConnectX-4/5 드라이버에서는 다음 명령을 실행하여 DSCP 태그 값을 26으로 설정할 수 있습니다.
- PFC 및 DSCP 신뢰 모드 사용
#esxcli system module parameters set -m nmlx5_core -p "pfctx=0x08 pfcrx=0x08 trust_state=2"
- DSCP 값을 26으로 설정
#esxcli system module parameters set -m nmlx5_rdma -p "dscp_force=26"
- 매개 변수를 확인하여 설정이 올바른지 그리고 설정이 완료되었는지 확인합니다.
esxcli system module parameters list -m nmlx5_core | grep 'trust_state\|pfcrx\|pfctx'
- 호스트를 재부팅합니다.
