可以使用 PXE 服务器在裸机服务器上自动安装 NSX Edge,或者使用 ISO 文件将 NSX Edge 安装在裸机服务器上。

裸机 NSX Edge 节点是运行特殊版本的 NSX Edge 软件的专用物理服务器。裸机 NSX Edge 节点需要一个支持数据平面开发工具包 (DPDK) 的网卡。VMware 将维护与各种供应商网卡的兼容性列表。请参见裸机服务器系统要求

裸机 Edge 服务器

图中所示的 NSX Edge 裸机具有单个 N-VDS 以及两个数据路径接口和两个专用网卡,以实现管理平面高可用性。

图中所示的 NSX Edge 节点具有一个 NVDS,每个节点具有两个数据路径接口。裸机 NSX Edge 节点可以配置 2 个以上数据路径接口,具体取决于服务器上可用的网卡数量。裸机 NSX Edge 节点使用 pNIC 作为上行链路来直接连接到机架交换机的顶部。要为裸机 Edge 管理实现高可用性,请将服务器上的两个 pNIC 配置为活动/备用 Linux 绑定。

Edge 上的 CPU 将分配为用于提供路由和有状态服务的数据路径 (DP) CPU 或用于提供负载均衡和 VPN 服务的服务 CPU。

对于裸机 Edge 节点,多 NUMA 节点服务器的第一个节点中的所有内核都将分配给 NSX-T Data Center 数据路径。如果裸机只有一个 NUMA 节点,则会将 50% 的内核分配给 NSX-T Data Center 数据路径。

重要说明: VMware 不支持裸机 NSX Edge 上的子 NUMA 集群(一项服务器硬件功能),因为这可能会导致堆内存不足。

裸机 NSX Edge节点最多支持两个 NUMA 节点。子 NUMA 集群功能将堆内存的插槽从两个 NUMA 域更改为四个 NUMA 域。此更改会限制分配给每个套接字的堆内存大小,并导致数据路径所需的堆内存不足。您必须在 BIOS 中禁用子 NUMA 功能。对 BIOS 所做的任何更改都需要重新引导。

要检查是否启用子 NUMA 功能,请以 root 用户身份登录到裸机 NSX Edge,然后运行 lscpu。输出将捕获到支持包中。如果每个堆具有两个以上的插槽,则意味着已启用子 NUMA 功能,并且必须禁用该功能。

注:
  1. 在裸机 NSX Edge 节点上配置 LACP LAG 绑定时,数据路径内核(备用网卡)应属于同一个 NUMA 节点,以便在两个设备上实现负载均衡。如果构成绑定的设备跨越多个 NUMA 节点,则绑定将仅使用作为本地 NUMA 节点 (0) 的网络设备 CPU 来传输数据包。因此,并非所有设备都不用于均衡从绑定设备发出的流量。

    在这种情况下,故障切换仍然适用:如果连接到本地 NUMA 节点的设备已关闭,则绑定会将流量发送到另一台设备,即使它不在 NUMA 本地也是如此。

    运行 get datapath 命令来查看与每个数据路径接口相关联的 NUMA 节点。要将与数据路径关联的网卡移至单个 NUMA 节点,需要通过 BIOS 对服务器进行物理重新配置。

在安装裸机 Edge 节点时,将为管理保留一个专用接口。此配置称为带外管理。如果需要冗余,可以使用两个网卡以提供管理平面高可用性。裸机 Edge 还支持带内管理,如图所示,在带内管理配置中,管理流量可以利用某个用于覆盖网络或外部(南北向)流量的接口。

前提条件

  • 通过编辑 BIOS 设置禁用子 NUMA 集群。NSX-T Data Center 不支持子 NUMA 集群。有关更多详细信息,请参见知识库文章:https://kb.vmware.com/s/article/91790