VMware Tanzu Kubernetes Grid v2.4 发行说明
除非另有说明，否则本发行说明适用于 Tanzu Kubernetes Grid （TKG） 的所有 v2.4.x 修补程序版本。
TKG v2.4 作为可下载的 Tanzu CLI 软件包分发，用于部署版本化 TKG 独立管理集群。TKG v2.4 支持使用可在多个基础架构（包括 vSphere、AWS 和 Azure）上运行的独立管理集群创建和管理基于类的工作负载集群。
vSphere 8 中的 Tanzu Kubernetes Grid v2.4 和 vSphere with Tanzu 主管
重要vSphere 8.0.1c 和更高版本中的 vSphere with Tanzu 主管运行 TKG v2.2。早期版本的 vSphere 8 运行 TKG v2.0，该版本并非独立于主管发布。从 TKG 2.1 开始，可以使用运行 TKG 2.x 的独立管理集群。由于主管中嵌入的 TKG 版本较低，因此，使用独立 TKG 2.4 管理集群时可用的某些功能，在使用 vSphere with Tanzu 主管创建工作集群时不可用。更高的 TKG 版本将嵌入到未来 vSphere 更新版本的主管中。因此，给定时间最新 vSphere with Tanzu 版本中嵌入的 TKG 版本可能不如最新的独立 TKG 版本新。但是，完全支持与所有 TKG v2.x 版本兼容的 Tanzu CLI 版本与 vSphere 8 中的主管一起使用。例如，Tanzu CLI v1.0.x 完全向后兼容主管提供的 TKG 2.2 插件。
新增功能
Tanzu Kubernetes Grid v2.4.x 包含以下新增功能。
Tanzu Kubernetes Grid v2.4.0
Tanzu Kubernetes Grid 2.4.0 版的新增功能：
- 支持 Kubernetes v1.27.5、v1.26.8 和 v1.25.13。请参见下面的 Tanzu Kubernetes Grid v2.4 中支持的 Kubernetes 版本。
- 组件版本更新，如下面的 Tanzu Kubernetes Grid v2.4 的产品快照和组件版本中所述。
- 软件包文档和 Tanzu Standard 软件包存储库发行说明已移至单独的出版物。请参见下面的 Tanzu Kubernetes Grid v2.4 中的行为和文档变更。
支持的 Kubernetes、TKG 和软件包版本
从 TKG v2.2 开始，VMware的支持策略针对旧修补程序版本的 TKG 和 Tanzu Kubernetes 版本 （TKrs） 发生了更改，这些版本打包了 TKG 的 Kubernetes 版本。TKG v2.1 和较旧次要 TKG 版本的支持策略无变化。
前两节总结了在适用于每个 TKG 和 TKr 的支持策略下，对所有当前支持的 TKG 和 TKr 版本的支持。
以下第三部分列出了 Tanzu Standard 存储库中受 Kubernetes v1.27、v1.26 和 v1.25 TKrs 支持的软件包版本。
支持的 Kubernetes 版本
Tanzu Kubernetes Grid 的每个版本都增加了对其管理集群的 Kubernetes 版本以及其他 Kubernetes 版本的支持，这些版本以 Tanzu Kubernetes 版本 (TKr) 分发，除非注明为已知问题。
次要版本：VMware在发布时支持 TKG v2.4 和 Kubernetes v1.27、v1.26 和 v1.25，并且只要 TKG v2.4 也受支持。一旦 TKG v2.4 到达终止一般支持里程碑，VMware 将不再对 TKG 支持 Kubernetes v1.26 和 v1.25。
修补程序版本：在 VMware 为次要版本发布新的 TKr 修补程序版本后，针对较旧修补程序版本的支持会保留两个月。这为客户提供了 2 个月的时间升级到新的 TKr 修补程序版本。从 TKG v2.2 开始，VMware 不支持先前次要版本的 Kubernetes 中的所有 TKr 修补程序版本。
Tanzu Kubernetes Grid 修补程序版本支持和支持的 TKr 修补程序版本如下所列。
| Tanzu Kubernetes Grid 版本 | 管理集群 Kubernetes 版本 | 提供的 Kubernetes (TKr) 版本 |
|---|---|---|
| 2.4.0 | 1.27.5 | 1.27.5、1.26.8、1.25.13 |
| 2.3.0 | 1.26.5 | 1.26.5、1.25.10、1.24.14 |
| 2.2.0 | 1.25.7 | 1.25.7、1.24.11、1.23.17 |
| 2.1.1 | 1.24.10 | 1.24.10、1.23.16、1.22.17 |
| 2.1.0 | 1.24.9 | 1.24.9、1.23.15、1.22.17 |
支持的 Tanzu Kubernetes Grid 版本
VMware 支持如下所示的 TKG 版本：
次要版本：VMware 支持遵循 N-2 生命周期策略的 TKG，该策略适用于最新和之前的两个次要 TKG 版本。随着 TKG v2.4.0 的发布，自 v2.1 版本起经过一年的时间后，不再支持 TKG v2.1。有关详细信息，请参见 VMware 产品生命周期矩阵。
修补程序版本：VMware 不支持以前的所有 TKG 修补程序版本。VMware 发布 TKG 的新修补程序版本后，它将对较旧修补程序版本的支持保留两个月。这为客户提供了 2 个月的时间升级到新的 TKG 修补程序版本。
- 例如，对 TKG v2.4.0 的支持将在 TKG v2.4.1 正式发布两个月后终止。
支持的软件包版本
适用于 TKG v2.4 的 Tanzu Standard 存储库中的软件包版本通过 TKrs 与 Kubernetes 次要版本 v1.27、v1.26 和 v1.25 兼容，并在 Tanzu Standard 存储库发行说明中列出。
Tanzu Kubernetes Grid v2.4 的产品快照
Tanzu Kubernetes Grid v2.4 支持以下基础架构平台和操作系统 (OS)，以及集群创建和管理、网络连接、存储、身份验证、备份和迁移以及可观测性组件。
有关 TKG v2.4.0 中包含的组件版本的完整列表，请参见组件版本。
有关与 TKG v2.4.0 兼容的其他软件包版本，请参见 Tanzu Standard 存储库发行说明。
| vSphere | AWS | Azure | |
| 基础架构平台 |
|
本机 AWS | 本机 Azure |
| Tanzu CLI | Tanzu CLI Core v1.0.x** | ||
| TKG API 和软件包基础架构 | Tanzu Framework v0.31.0 | ||
| 集群创建和管理 | 核心集群 API （v1.4.5）、集群 API 提供程序vSphere （v1.7.1） | 核心集群 API （v1.4.5）、集群 API 提供程序 AWS （v2.1.3） | 核心集群 API （v1.4.5）、集群 API 提供程序 Azure （v1.9.2） |
| 使用 TKG 分发的 Kubernetes 节点操作系统 | Photon OS 3、Ubuntu 20.04 | Amazon Linux 2、Ubuntu 20.04 | Ubuntu 18.04、Ubuntu 20.04 |
| 构建您自己的映像 | Photon OS 3、Red Hat Enterprise Linux 7*** 和 8、Ubuntu 18.04、Ubuntu 20.04、Windows 2019 | Amazon Linux 2、Ubuntu 18.04、Ubuntu 20.04 | Ubuntu 18.04、Ubuntu 20.04 |
| 容器运行时 | Containerd (v1.6.18) | ||
| 容器网络连接 | Antrea （v1.11.2）、Calico （v3.26.1）、Multus CNI （v4.0.1、v3.8.0） | ||
| 容器注册表 | Harbor (v2.8.4) | ||
| 输入 | NSX Advanced Load Balancer Essentials 和 Avi 控制器 **** （v21.1.5-v21.1.6， v22.1.3-v22.1.4）、NSX v4.1.0 （vSphere 8.0.u1）、v3.2.2 （vSphere 7）、Contour （v1.25.2、v1.24.5） | Contour（v1.25.2、v1.24.5） | Contour（v1.25.2、v1.24.5） |
| 存储 | vSphere Container Storage Interface (v3.0.2*****) 和 vSphere Cloud Native Storage | Amazon EBS CSI 驱动程序 (v1.18.0) 和树内云提供程序 | Azure 磁盘 CSI 驱动程序 （v1.28.1）、Azure 文件 CSI 驱动程序 （v1.28.0） 以及树内云提供程序 |
| 身份验证 | 通过 Pinniped 的 OIDC 和 LDAP （v0.24.0） | ||
| 可观察性 | Fluent Bit （v2.1.2， v1.9.5）、 Prometheus （v2.43.0， v2.37.0）******、 Grafana （v9.5.1） | ||
| 服务发现 | 外部 DNS （v0.13.4、v0.12.2） | ||
| 备份和迁移 | Velero (v1.11.1) | ||
* 有关与此版本兼容的 VMware Cloud on AWS SDDC 版本的列表，请参见 VMware 产品互操作性矩阵。
** 有关与此版本兼容的 Tanzu CLI 版本的完整列表，请参见 产品互操作性矩阵。
*** Tanzu Kubernetes Grid v1.6 是支持构建 Red Hat Enterprise Linux 7 映像的最新版本。
****在 vSphere 8 上，要将 NSX Advanced Load Balancer 与 TKG 独立管理集群及其工作负载集群结合使用，您需要 NSX ALB v22.1.2 或更高版本以及 TKG v2.1.1 或更高版本。
***** vsphere_csi_driver 版本。有关此版本中包含的 vSphere Container Storage Interface 组件的完整列表，请参见组件版本。
****** 如果将集群升级到 Kubernetes v1.25，则必须至少将 Prometheus 升级到版本 2.37.0+vmware.3-tkg.1。Prometheus 软件包的早期版本（例如版本 2.37.0+vmware.1-tkg.1）与 Kubernetes 1.25 不兼容。
有关 Tanzu Kubernetes Grid v2.4 随附的 Kubernetes 版本的完整列表，请参见上述支持的 Kubernetes 版本。
组件版本
TKG v2.4.x 版本包括以下软件组件版本：
注意以前的 TKG 版本包括现在通过 Tanzu Standard 存储库分发的组件。有关这些组件的列表，请参见下面的 Tanzu Standard 存储库发行说明。
| 组件 | TKG v2.4 |
|---|---|
| aad-pod-identity | v1.8.15+vmware.2 |
| addons-manager | v2.2+vmware.1 |
| ako-operator | v1.10.0_vmware.2* |
| antrea | v1.11.2_vmware.1-advanced* |
| antrea-internetworking | v1.11.1* |
| aws-cloud-controller-manager | v1.27.1+vmware.1* |
| aws-ebs-csi-driver | v1.18.0+vmware.3* |
| azuredisk-csi-driver | v1.28.1+vmware.2* |
| azurefile-csi-driver | v1.28.0+vmware.2* |
| calico_all | v3.26.1+vmware.1* |
| capabilities-package | v0.31.0-capabilities* |
| carvel-secretgen-controller | v0.14.2+vmware.2 |
| cloud-provider-azure | v1.1.26+vmware.1、 v1.23.23+vmware.1、 v1.24.10+vmware.1 |
| cloud_provider_vsphere | v1.27.0+vmware.1* |
| cluster-api-provider-azure | v1.9.2+vmware.1 |
| cluster_api | v1.4.5+vmware.1* |
| cluster_api_aws | v2.1.3+vmware.0 |
| cluster_api_vsphere | v1.7.1+vmware.0* |
| cni_plugins | v1.2.0+vmware.7* |
| containerd | v1.6.18+vmware.1 |
| coredns | v1.10.1_vmware.7* |
| crash-diagnostics | v0.3.7+vmware.7 |
| cri_tools | v1.26.0+vmware.7* |
| csi_attacher | v4.3.0+vmware.2*、 v4.2.0+vmware.3* |
| csi_livenessprobe | v2.10.0+vmware.2*、 v2.9.0+vmware.3* |
| csi_node_driver_registrar | v2.8.0+vmware.2*、 v2.7.0+vmware.3* |
| csi_provisioner | v3.5.0+vmware.2*、 v3.4.1+vmware.3*、 v3.4.0+vmware.3* |
| etcd | v3.5.7_vmware.6* |
| external-snapshotter | v6.2.2+vmware.2*、 v6.2.1+vmware.3* |
| guest-cluster-auth-service | v1.3.0_tkg.2 |
| image-builder | v0.1.14+vmware.1 |
| image-builder-resource-bundle | v1.27.5+vmware.1-tkg.1* |
| imgpkg | v0.36.0+vmware.2 |
| jetstack_cert-manager | v1.12.2+vmware.1* |
| k14s_kapp | v0.55.0+vmware.2 |
| k14s_ytt | v0.45.0+vmware.2 |
| kapp-controller | v0.45.2+vmware.1 |
| kbld | v0.37.0+vmware.2 |
| kube-vip | v0.5.12+vmware.1 |
| kube-vip-cloud-provider | v0.0.5+vmware.1、 v0.0.4+vmware.4 |
| kubernetes | v1.27.5+vmware.1*、 v1.26.8+vmware.1*、 v1.25.13+vmware.1* |
| kubernetes-csi_external-resizer | v1.8.0+vmware.2*、 v1.7.0+vmware.3* |
| kubernetes-sigs_kind | v1.27.5+vmware.1-tkg.1_v0.17.0* |
| kubernetes_autoscaler | v1.27.5+vmware.1* |
| load-balancer-and-ingress-service (AKO) | 1.10.2+vmware.1-tkg.1 |
| metrics-server | v0.6.2+vmware.1 |
| pinniped | v0.24.0+vmware.1-tkg.1 |
| pinniped-post-deploy | v0.24.0+vmware.1 |
| sonobuoy | v0.56.16+vmware.2 |
| tanzu-framework | v0.31.0* |
| tanzu-framework-addons | v0.31.0* |
| tanzu-framework-management-packages | v0.31.0* |
| tkg-bom | v2.4.0* |
| tkg-core-packages | v1.27.5+vmware.1-tkg.1* |
| tkg-standard-packages | v2023.9.19* |
| tkg-storageclass-package | v0.31.0* |
| tkg_telemetry | v2.3.0+vmware.3* |
| velero | v1.11.1+vmware.1* |
| velero-mgmt-cluster-plugin | v0.2.1+vmware.1* |
| velero-plugin-for-aws | v1.7.1+vmware.1* |
| velero-plugin-for-csi | v0.5.1+vmware.1* |
| velero-plugin-for-microsoft-azure | v1.7.1+vmware.1* |
| velero-plugin-for-vsphere | v1.5.1+vmware.1 |
| vendir | v0.33.1+vmware.2 |
| vsphere_csi_driver | v3.0.2+vmware.2* |
* 表示自上一版本以来的新组件或版本更新。TKG v2.3.0 之前为 v2.4.0，而 v2.2.0 之前为 v2.3.0。
有关 TKG v2.4 随附的软件组件版本的列表，请使用 imgpkg 提取存储库包，然后列出其内容。例如，要列出 TKG v2.4.0 Tanzu Standard 存储库附带的组件版本，请运行以下命令：
imgpkg pull -b projects.registry.vmware.com/tkg/packages/standard/repo:v2023.9.19 -o standard-2023.9.19
支持的升級路徑
在 TKG 升级途径中，v2.4 紧跟 v2.3.0。
只能从 v2.3.x 升级到 Tanzu Kubernetes Grid v2.4.x。如果要从低于 v2.3.x 的版本升级到 Tanzu Kubernetes Grid v2.4.x，必须先升级到 v2.3.x。
在工作负载集群上升级 Kubernetes 版本时，无法跳过次要版本。例如，无法将 Tanzu Kubernetes 集群直接从 v1.25.x 升级到 v1.27.x。必须先将 v1.25.x 集群升级到 v1.26.x，然后再将集群升级到 v1.27.x。
发布日期
Tanzu Kubernetes Grid v2.4 的发布日期为：
- v2.4.0：2023 年 9 月 28 日
Tanzu Kubernetes Grid v2.4 中的行为和文档更改
与以前最新版 v2.3.0 相比，Tanzu Kubernetes Grid v2.4 中引入了以下文档变更。
- Tanzu 软件包的文档和 Tanzu 标准软件包存储库的发行说明已移至一个单独的出版物，其中介绍了使用主管和独立管理集群部署的 TKG。
- 请参见新出版物《VMware Tanzu 软件包文档》。
- 从 TKG v2.3 开始，Tanzu Standard 软件包存储库已与 TKG 分开发布，如 TKG v2.3 发行说明中所述。
未来行为更改和弃用通知
本节预先通知了将在未来版本（TKG v2.4 x 版本之后的版本）中生效的行为更改和功能弃用。
弃用 AWS 和 Azure 上的 TKG 管理和工作负载集群
重要Tanzu Kubernetes Grid v2.4（包括修补程序版本）是支持在 AWS 和 Azure 上创建独立 TKG 管理集群和 TKG 工作负载集群的上一个次要版本。Tanzu Kubernetes Grid v2.5 版本中将移除在 AWS 和 Azure 上创建独立 TKG 管理集群和 TKG 工作负载集群的功能。
从现在开始，VMware 建议您使用 Tanzu Mission Control 创建本机 AWS EKS 和 Azure AKS 集群，而不是在 AWS 和 Azure 上创建新的独立 TKG 管理集群或新的 TKG 工作负载集群。有关如何使用 Tanzu Mission Control 创建本机 AWS EKS 和 Azure AKS 集群的信息，请参见《Tanzu Mission Control》文档中的管理 AWS EKS 集群的生命周期和管理 Azure AKS 集群的生命周期。
尽管重新注释是使用 Tanzu Mission Control 创建本机 AWS EKS 和 Azure AKS 集群，但 TKG v2.4.x 及以下版本仍然完全支持在 AWS 和 Azure 上创建和使用独立 TKG 管理集群和 TKG 工作负载集群。
有关 VMware 为何在 AWS 和 Azure 上弃用 TKG 集群的信息，请参见 VMware Tanzu 博客上的 VMware Tanzu 顺应多云行业发展趋势。
用户文档
部署和管理 TKG 2.4 独立管理集群中包含与“将 TKG 与 vSphere with Tanzu 主管配合使用”无关的独立管理集群的特定主题。
有关详细信息，请参见“VMware Tanzu Kubernetes Grid 文档 (VMware Tanzu Kubernetes Grid Documentation)”页面上的找到适用于您的部署的正确 TKG 文档。
已解决的问题
v2.4.0 中已解决的问题
较低的 Tanzu Kubernetes Grid 版本中记录为已知问题的以下问题已在 Tanzu Kubernetes Grid v2.4 中得到解决。
已知问题
以下是 Tanzu Kubernetes Grid v2.4.x 中的已知问题。v2.4.0 中存在的任何已知问题如果在后续的 v2.4.x 修补程序版本中已解决，都会列在修复这些问题的修补程序版本的已解决问题下。
您可以在管理集群问题故障排除和工作负载集群问题故障排除或VMware 知识库文章中找到常见问题的其他解决方案。
集群操作
-
无法基于具有 Antrea CNI 的非当前 TKr 版本创建新的工作负载集群
您无法创建使用 Antrea CNI 并运行以前版本的 TKG 附带的 Kubernetes 版本（如 Kubernetes v1.23.10）的新工作负载集群，这是 TKG v1.6.1 中的默认 Kubernetes 版本，如 Tanzu Kubernetes Grid v2.4 中支持的 Kubernetes 版本中所列。
解决办法：创建运行 Kubernetes 1.27.x、1.26.x 或 1.25.x 的工作负载集群。Kubernetes 项目建议在当前任何次要版本的最新修补程序版本上运行组件。
网络
注意对于 v4.0+，VMware NSX-T Data Center 被重命名为“VMware NSX”。
-
管理集群不支持 NSX ALB
NodePortLocalIngress 模式在 TKG v2.3 中，无法将 NSX Advanced Load Balancer (ALB) 作为服务类型以输入模式
NodePortLocal运行，以获取管理集群的流量。此问题不会影响对
NodePortLocal输入工作负载集群的支持，如 NodePortLocal 模式下的 L7 输入中所述。解决办法：在将
AVI_INGRESS_SERVICE_TYPE设置为NodePort或ClusterIP的情况下配置管理集群。默认值为NodePort。
存储
-
无法启用工作负载集群以在多个数据存储之间分配存储，如部署使用数据存储集群的集群中所述。如果将数据存储集群中的多个数据存储标记为工作负载集群存储策略的基础，则工作负载集群仅使用其中一个数据存储。
解决办法：无
Tanzu CLI
-
management-cluster命令组列出了tanzu management-cluster osimage。此功能目前正在开发中，并保留以供将来使用。解决办法：请勿使用
tanzu management-cluster osimage。
vSphere
-
在等待集群控制平面变为可用时，将管理集群部署到 vSphere 7 失败
如果在将管理集群部署到 vSphere 7 时指定虚拟机网络，部署将失败并显示以下错误：
unable to set up management cluster: unable to wait for cluster control plane available: control plane is not available yet。解决办法：网络“虚拟机网络”具有
VsVip和ServiceEngine的多个已配置子网静态 IP。在虚拟机网络上将exclude_discovered_subnets设置为 True ，以忽略发现的子网并允许将虚拟服务放置在服务引擎上。 -
如果删除包含虚拟机的可用区，则后续无法删除这些虚拟机。
解决办法：从可用区中移除所有虚拟机，然后再将其删除。
-
在 vSphere 上创建工作负载集群时，创建失败并显示以下错误：
vSphere config validation failed: failed to get VC client: failed to create vc client: Post "https://address/sdk": EOF ". VCenter vpxd.log report error: Out of HTTP sessions: Limited to 2000发生这种情况的原因是 vCenter Server 会话耗尽。
解决办法：请参阅 VMware 知识库文章 50114010。
-
使用
small节点创建的节点池可能会停滞在Provisioning状态。使用配置为
small的节点SIZE创建的节点池可能会停滞在Provisioning状态，并且永远不会进入Running状态。解决办法：为节点池配置至少
medium大小的节点。
Image-Builder
-
运行 Kubernetes Image Builder 以创建自定义 Linux 自定义计算机映像时，
goss测试python-netifaces、python-requestsebtables失败。命令输出会报告故障。可以忽略这些错误；它们不会阻止映像构建成功。
Tanzu Standard Repository v2023.9.19
在 TKG v2.4 中，Tanzu Standard 软件包存储库与 TKG 分开进行版本控制和分发，其版本控制基于日期戳。对于 TKG v2.4，最新的兼容 Tanzu Standard 存储库版本为 v2023.9.19，两者均在同一日期发布。
未来的 Tanzu Standard 存储库版本可能会比 TKG 版本发布得更频繁，但所有修补程序版本都将保留 TKG 次要版本与 Tanzu Standard 之间的现有兼容性。
有关详细信息，请参见Tanzu Standard v2023.9.19 发行说明。
