可以使用 PXE 服务器在裸机服务器上自动安装 NSX Edge,或者使用 ISO 文件将 NSX Edge 安装在裸机服务器上。

裸机 NSX Edge 节点是运行特殊版本的 NSX Edge 软件的专用物理服务器。裸机 NSX Edge 节点需要一个支持数据平面开发工具包 (DPDK) 的网卡。VMware 将维护与各种供应商网卡的兼容性列表。请参见裸机服务器系统要求

裸机 Edge 安装

图中所示的 NSX Edge 节点具有单个 N-VDS 交换机,该交换机配备有两个数据路径接口和两个专用网卡,以实现管理平面的高可用性。

裸机 NSX Edge 节点可以配置 2 个以上数据路径接口,具体取决于服务器上可用的网卡数量。裸机 NSX Edge 节点使用 pNIC 作为上行链路来直接连接到机架交换机的顶部。要为裸机 Edge 管理实现高可用性,请将服务器上的两个 pNIC 配置为活动/备用 Linux 绑定。

Edge 上的 CPU 将被指定为用于提供路由和有状态服务的数据路径 (DP) CPU 或用于提供负载均衡和 VPN 服务的服务 CPU。

在安装裸机 Edge 节点时,将为管理保留一个专用接口。此配置称为带外管理。如果需要冗余,可以使用两个网卡以提供管理平面高可用性。裸机 Edge 还支持带内管理,如图所示,在带内管理配置中,管理流量可以利用某个用于覆盖网络或外部(南北向)流量的接口。

对于裸机 Edge 节点,多 NUMA 节点服务器的第一个节点中的所有内核都将分配给 NSX 数据路径。如果裸机只有一个 NUMA 节点,则会将 50% 的内核分配给 NSX 数据路径。

裸机 NSX Edge节点最多支持两个 NUMA 节点。

重要说明: VMware 不支持裸机 NSX Edge 上的子 NUMA 集群(一项服务器硬件功能),因为这可能会导致堆内存不足。

子 NUMA 集群功能将堆内存的插槽从两个 NUMA 域更改为四个 NUMA 域。此更改会限制分配给每个套接字的堆内存大小,并导致数据路径所需的套接字 0 堆内存不足。您必须在 BIOS 中禁用子 NUMA 功能。对 BIOS 所做的任何更改都需要重新引导。

要检查是否启用子 NUMA 功能,请以 root 用户身份登录到裸机 NSX Edge,然后运行 lscpu。输出也会捕获到支持包中。如果有两个以上的 NUMA 节点,这意味着子 NUMA 功能处于启用状态,必须通过 BIOS 禁用该功能。

注:
  1. 在裸机 NSX Edge 节点上配置 LACP LAG 绑定时,数据路径内核(备用网卡)应属于同一个 NUMA 节点,以便在两个设备上实现负载均衡。如果构成绑定的设备跨越多个 NUMA 节点,则绑定将仅使用作为本地 NUMA 节点 (0) 的网络设备 CPU 来传输数据包。因此,并非所有设备都不用于均衡从绑定设备发出的流量。

    在这种情况下,故障切换仍可正常工作,因为故障切换不包括负载均衡。如果连接到本地 NUMA 节点的以太网设备关闭,则绑定将流量发送到另一个设备,即使它不在 NUMA 本地。负载均衡优化不会影响故障切换功能。

    运行 get dataplane 命令来查看与每个数据路径接口相关联的 NUMA 节点。要将与数据路径关联的网卡移至单个 NUMA 节点,需要通过 BIOS 对服务器进行物理重新配置。

前提条件

  • 通过编辑 BIOS 设置禁用子 NUMA 集群。NSX 不支持子 NUMA 集群。有关更多详细信息,请参见知识库文章:https://kb.vmware.com/s/article/91790
  • NSX v3.1.3 开始,在裸机 NSX Edge 节点上,无需禁用超线程功能。超线程功能会自动禁用。