備份和還原 vSphere 上的管理叢集和工作負載叢集基礎結構 (技術預覽)

本主題說明如何在 vSphere 上透過以下方法，備份和還原具有獨立管理叢集的 Tanzu Kubernetes Grid (TKG) 的叢集基礎結構：

• 使用 Velero 來備份和還原獨立管理叢集上的工作負載叢集物件，以及
• 從其組態檔重建獨立管理叢集

附註

• VMware 不支援使用 Velero 來備份 TKG 獨立管理叢集。
• 如果在部署獨立管理叢集後重新設定該叢集，如同此處所述，重建該叢集不見得能全數復原其所有資源。

對於具有獨立管理叢集的 Tanzu Kubernetes Grid (TKG) 工作負載叢集，若要備份及還原其中所託管的工作負載和動態儲存磁碟區，請參閱備份和還原叢集工作負載。

若要備份和還原 vSphere with Tanzu 叢集 (包括主管叢集及其建立的工作負載叢集)，請參閱 VMware vSphere 8.0 說明文件中的備份和還原 vSphere with Tanzu。

注意

• 此功能處於不受支援的技術預覽狀態；請參閱 TKG 功能狀態。

設定 Velero

您可以使用 Velero (一種開放原始碼社群標準工具)，來備份和還原 TKG 獨立管理叢集基礎結構和工作負載。

Velero 支援各種儲存區提供者以儲存其備份。Velero 還支援：

• 為備份和還原設定預掛接和後掛接，以在備份和還原事件之前或之後執行自訂程序。
• 排除不適合備份/還原的各種工作負載或叢集狀態層面。

Tanzu Kubernetes Grid 訂閱包括對 VMware 測試的、相容的 Velero 發行版的支援，可從 Tanzu Kubernetes Grid 下載頁面取得。

若要備份和還原 TKG 叢集，您需要：

• 在本機工作站上執行的 Velero CLI v1.11.1；請參閱安裝 Velero CLI。
• 具有備份儲存位置的儲存區提供者；請參閱設定儲存區提供者。
• 在您正在備份的叢集上執行的 Velero 伺服器：
  • 工作負載叢集上的 Velero 會備份其工作負載和動態儲存區，如以下所述。
  • 獨立管理叢集上的 Velero 會備份工作負載叢集物件，如備份和還原管理叢集和工作負載叢集的基礎結構中所述。

完成上述必備條件後，還可以使用 Velero 在叢集之間遷移工作負載。有關說明，請參見 Velero 文件中的叢集遷移和資源篩選。

安裝 Velero CLI

如果已使用舊版 TKG 安裝 Velero CLI，則必須將 Velero 升級至 v1.11.1。如需更多資訊，請參閱下面的升級 Velero。

若要安裝 Velero CLI v1.11.1，請執行下列操作：

1. 移至 Tanzu Kubernetes Grid 下載頁面，然後使用您的 VMware Customer Connect 認證登入。
2. 在產品下載 (Product Downloads) 下，按一下移至下載 (Go to Downloads)。
3. 捲動到 Velero 項目，然後下載適用於您的工作站作業系統的 Velero CLI .gz 檔案。其檔案名稱以 velero-linux-、velero-mac- 或 velero-windows64- 開頭。

4. 使用 gunzip 命令或您選擇的解壓縮工具解壓縮二進位檔：

   gzip -d <RELEASE-TARBALL-NAME>.gz
   

5. 將適用於您的平台的 CLI 二進位檔重新命名為 velero，確保它是可執行的，然後將其新增至 PATH。

   macOS 和 Linux

   1. 將二進位檔移入 /usr/local/bin 資料夾並將其重新命名為 velero。
   2. 將檔案指定為可執行檔：

   chmod +x /usr/local/bin/velero
   

   Windows

   1. 建立新的 Program Files\velero 資料夾並將二進位檔案複製到其中。
   2. 將二進位檔案重新命名為 velero.exe。
   3. 在 velero 資料夾上按一下滑鼠右鍵，選取內容 (Properties) > 安全性 (Security)，並確定您的使用者帳戶具有完全控制 (Full Control) 權限。
   4. 使用 Windows Search 搜尋 env。
   5. 選取編輯系統環境變數 (Edit the system environment variables)，然後按一下環境變數 (Environment Variables) 按鈕。
   6. 在系統變數 (System variables) 下選取 Path 資料列，然後按一下編輯 (Edit)。
   7. 按一下新增 (New) 以新增資料列，然後輸入 velero 二進位檔的路徑。

升級 Velero

如果您已將 TKG 從 v2.3 升級至 v2.4，則必須將 Velero 升級至 v1.11.1。

重要

Velero v1.10.x 使用不同的 CRD、不同的元件命名，並且功能與 v1.9.x 不同。如果您仍將 Velero v1.9.x 與 TKG 2.3 搭配使用，並且已升級至 TKG 2.4，則必須先將 Velero 從 v1.9.x 升級至 v1.10.x，然後才能升級至 v1.11.1。有關如何將 Velero 從 v1.9.x 升級到 v1.10.x 的說明，請按照 TKG 2.3 說明文件中升級 Velero 的程序進行操作，然後再將 Velero 升級到 v1.11.1。

若要將 Velero 從 v1.10.x 升級到 v1.11.1，請執行下列步驟。

1. 按照安裝 Velero CLI 中的程序安裝 Velero v1.11.1。

2. 使用 Velero v1.11.1 二進位檔更新 CRD 定義。

   velero install --crds-only --dry-run -o yaml | kubectl apply -f -
   

3. 更新 Velero 部署組態，以針對您的基礎結構使用新版本的 Velero 和 Velero 外掛程式版本。

   vSphere

   kubectl set image deployment/velero \
       velero=velero/velero:v1.11.1 \
       velero-plugin-for-vsphere=velero/velero-plugin-for-vsphere:v1.5.1 \
       --namespace velero
   

   AWS

   kubectl set image deployment/velero \
       velero=velero/velero:v1.11.1 \
       velero-plugin-for-aws=velero/velero-plugin-for-aws:v1.7.1 \
       --namespace velero
   

   Azure

   kubectl set image deployment/velero \
       velero=velero/velero:v1.11.1 \
       velero-plugin-for-microsoft-azure=velero/velero-plugin-for-microsoft-azure:v1.7.1 \
       --namespace velero
   

4. (可選) 如果使用的是 node 精靈集，請更新節點代理程式的版本。

   kubectl set image daemonset/node-agent \
      node-agent=velero/velero:v1.11.1 \
      --namespace velero 
   

有關詳細資訊，請參閱 Velero 說明文件中的升級至 Velero 1.11。

設定儲存區提供者

若要備份 Tanzu Kubernetes Grid 工作負載叢集內容，您需要以下儲存區位置：

• 叢集中 Kubernetes 中繼資料的叢集物件儲存區備份
• 叢集使用的資料的磁碟區快照

請參閱 Velero 說明文件中的備份儲存區位置和磁碟區快照位置。Velero 支援各種儲存區提供者，這些提供者可以是：

• 線上雲端儲存區提供者。
• 用於 Proxy 或氣隙環境的內部部署物件儲存區服務，例如 MinIO。

VMware 建議將唯一的儲存區值區專用於每個叢集。

若要設定 MinIO，請執行以下動作：

1. 執行設有 MinIO 認證和儲存位置的 minio 容器映像，例如：

   $ docker run -d --name minio --rm -p 9000:9000 -e "MINIO_ACCESS_KEY=minio" -e "MINIO_SECRET_KEY=minio123" -e "MINIO_DEFAULT_BUCKETS=mgmt" gcr.io/velero-gcp/bitnami/minio:2021.6.17-debian-10-r7
   

2. 將認證儲存到本機檔案，以傳遞給 velero install 的 --secret-file 選項，例如：

   [default]
   aws_access_key_id=minio
   aws_secret_access_key=minio123
   

vSphere 的儲存區

在 vSphere 上，叢集物件儲存區備份和磁碟區快照將儲存到同一儲存區位置。此位置必須是 Amazon Web Services (AWS) 或 S3 提供者 (如 MinIO) 上與 S3 相容的外部儲存區。

若要為 vSphere 上的 Velero 設定儲存區，請參閱適用於 v1.5.1 外掛程式的 Vanilla Kubernetes 叢集中的 Velero Plugin for vSphere。

用於 AWS 的儲存區和 AWS 上的儲存區

若要為 AWS 上的 Velero 設定儲存區，請依照適用於 AWS 存放庫的 Velero 外掛程式中的程序操作：

1. 建立 S3 值區。

2. 設定 Velero 的權限。

視需要為每個外掛程式設定 S3 儲存區。物件儲存外掛程式會儲存和擷取叢集物件備份，而磁碟區快照程式則會儲存和擷取資料磁碟區。

用於 Azure 的儲存區和 Azure 上的儲存區

若要為 Azure 上的 Velero 設定儲存區，請依照適用於 Azure 存放庫的 Velero 外掛程式中的程序操作：

1. 建立 Azure 儲存區帳戶和 Blob 容器

2. 取得包含虛擬機器和磁碟的資源群組

3. 設定 Velero 的權限

視需要為每個外掛程式設定 S3 儲存區。物件儲存外掛程式會儲存和擷取叢集物件備份，而磁碟區快照程式則會儲存和擷取資料磁碟區。

將 Velero 伺服器部署到管理叢集

若要備份工作負載叢集物件，請將 Velero v1.11.1 伺服器安裝到獨立管理叢集並確認安裝。

Velero 安裝選項

若要安裝 Velero，請執行具有下列選項的 velero install：

• --provider $PROVIDER：例如，aws
• --plugins projects.registry.vmware.com/tkg/velero/velero-plugin-for-aws:v1.7.1_vmware.1
• --bucket $BUCKET：S3 值區的名稱
• --backup-location-config region=$REGION：值區所在的 AWS 區域
• --snapshot-location-config region=$REGION：值區所在的 AWS 區域
• (選用) --kubeconfig 將 Velero 伺服器安裝到目前預設叢集以外的叢集。

• (選用) --secret-file ./VELERO-CREDS 授與 Velero 存取 S3 值區的一種方法是，將類似如下的本機 VELERO-CREDS 檔案傳遞給這個選項：

  [default]
  aws_access_key_id=<AWS_ACCESS_KEY_ID>
  aws_secret_access_key=<AWS_SECRET_ACCESS_KEY>
  

• 如需其他選項，請參閱安裝並啟動 Velero。

執行 velero install 命令時，會在叢集上建立一個稱為 velero 的命名空間，並在其中放置一個名為 velero 的部署。

需要下列設定：

• 管理叢集外掛程式：需要下列外掛程式。此選項會暫停叢集並收集與正在備份的叢集相關的資源。

  --plugins projects.registry.vmware.com/tkg/velero/velero-mgmt-cluster-plugin:v0.2.1_vmware.1
  

  附註

  您可以新增以逗號分隔的多個選項。例如：

  --plugins projects.registry.vmware.com/tkg/velero/velero-plugin-for-aws:v1.7.1_vmware.1,projects.registry.vmware.com/tkg/velero/velero-mgmt-cluster-plugin:v0.2.1_vmware.1
  

• 無快照位置：若要備份叢集基礎結構，請勿設定 --snapshot-location-config

驗證 Velero 安裝

velero install 命令完成後，請確認 Velero 已安裝成功：

1. 確認 Velero 網繭的狀態為 Running：

   kubectl -n velero get pod
   NAME                      READY   STATUS    RESTARTS   AGE
   velero-78fdbcd446-v5cqr   1/1     Running   0          3h41m
   

2. 確認備份位置處於 Available 階段：

   velero backup-location get
   NAME      PROVIDER   BUCKET/PREFIX   PHASE       LAST VALIDATED                  ACCESS MODE   DEFAULT
   default   aws        mgmt            Available   2022-11-11 05:55:55 +0000 UTC   ReadWrite     true
   

備份工作負載叢集物件

若要備份由獨立管理叢集所管理的所有工作負載叢集物件，請執行：

velero backup create my-backup --exclude-namespaces tkg-system --include-resources cluster.cluster.x-k8s.io --wait

附註

• --exclude-namespaces tkg-system 會排除管理叢集本身。

• --include-resources cluster.cluster.x-k8s.io 會包含工作負載叢集物件

• VMware 建議您在進行任何結構變更 (例如垂直擴充或縮減) 後，就立即備份工作負載叢集。這可避免備份物件和實體基礎結構之間出現不相符情況，從而避免還原程序失敗。

排程備份

如果在最近一次備份後變更了叢集物件，則還原後的系統狀態會與其想要的最新狀態不相符。此問題稱為「偏差」。如需如何從某些常見類型的偏差偵測和復原的相關資訊，請參閱以下的處理偏差小節。

為了將偏差減至最低，VMware 建議使用 Velero 來排程定期備份。例如，若要每天備份所有的工作負載叢集，且每個備份保留 14 天，請執行：

velero create schedule daily-bak --schedule="@every 24h"  --exclude-namespaces tkg-system --include-resources cluster.cluster.x-k8s.io --ttl 336h0m0s

如需更多 Velero 排程選項，請參閱 Velero 說明文件中的排程備份。

復原後重新產生 kubeconfig 檔案

使用 Velero 復原工作負載叢集後，需要將其新的 kubeconfig 檔案散發給使用該叢集的任何人員：

1. 重新產生 kubeconfig：

   tanzu cluster kubeconfig get CLUSTER-NAME --namespace NAMESPACE
   

2. 將上述命令的輸出散發給使用叢集的任何人員，以取代其舊的 kubeconfig 檔案。

   • kubeconfig 檔案不包含身分或認證，可以按照 Pinniped 說明文件中的瞭解使用 Pinniped 對 Kubernetes 叢集進行同盟驗證中所述安全地散發。

完成還原

如要還原獨立管理叢集及其管理的工作負載叢集物件，請從其組態檔重新建立管理叢集，使用 Velero 還原其工作負載叢集，並將新的 kubeconfig 檔案分發給使用這些檔案的人員：

1. 如果懷疑工作負載叢集物件的最新備份與其目前執行狀態之間存在偏差，請使用偏差偵測器工具產生修復報告，如使用偏差偵測器中所述。

2. 確保最初部署管理叢集後對管理叢集所做的任何組態更改都反映在其組態檔或環境變數中。否則，它不會還原到其最新狀態。

3. 從組態檔 mgmt-cluster-config.yaml 重建管理叢集，如從組態檔來部署管理叢集中所述。

   • 如果已將管理叢集或其工作負載叢集部署到 vSphere 上的多個可用區，如跨多個可用區執行叢集中所述，還包含具有 VSphereFailureDomain 和 VSphereDeploymentZone 物件定義的檔案，例如，藉由在 tanzu mc create 命令中包含 --az-file vsphere-zones.yaml。

4. 一建立管理叢集後，就只應有一個 TKR：

   tanzu kubernetes-release get
   NAME                       VERSION                  COMPATIBLE  ACTIVE  UPDATES AVAILABLE
   v1.27.5---vmware.2-tkg.1  v1.27.5+vmware.1-tkg.1  True        True
   

5. 請等待幾分鐘，直到所備份的工作負載叢集使用的所有 TKR 都變成可用：

   tanzu kubernetes-release get
   NAME                       VERSION                  COMPATIBLE  ACTIVE  UPDATES AVAILABLE
   v1.25.13---vmware.2-tkg.2  v1.25.13+vmware.2-tkg.2  True        True
   v1.26.8---vmware.1-tkg.1  v1.26.8+vmware.1-tkg.1  True        True
   v1.27.5---vmware.2-tkg.1   v1.27.5+vmware.1-tkg.1   True        True
   

6. 遵循上述將 Velero 伺服器部署到叢集指示，在管理叢集上安裝 Velero。請確定認證和備份位置組態設定的值與執行備份時的值相同。

7. Velero 安裝後，請執行 velero backup get，直到備份同步，且命令列出了您想使用的備份：

   velero backup get
   NAME                 STATUS      ERRORS   WARNINGS   CREATED                         EXPIRES   STORAGE LOCATION   SELECTOR
   my-backup            Completed   0        0          2022-12-07 17:10:42 +0000 UTC   24d       default            <none>
   

8. 執行 velero restore create，還原工作負載叢集資源。VMware 建議使用最新的備份：

   velero restore create my-restore --from-backup my-backup --wait
   

   還原完成後，叢集將處於 createdStalled 狀態：

   tanzu cluster list
   NAME                NAMESPACE  STATUS          CONTROLPLANE  WORKERS  KUBERNETES         ROLES   PLAN  TKR
   tkg-vc-antrea       default    createdStalled  0/3           0/3      v1.27.5+vmware.1   <none>  prod  v1.27.5---vmware.2-tkg.1
   

9. 修補叢集物件，以將其 paused 內容設定為 false。這是必要的，因為會以 paused 狀態將叢集物件重建在新的管理叢集上，以防止其控制器嘗試協調：

   • 若要在還原叢集後取消暫停它，請執行：

     kubectl -n my-namespace patch cluster CLUSTER-NAME --type merge -p '{"spec":{"paused":false}}'
     

   • 若要取消暫停多個命名空間中的所有叢集，請執行以下指令碼：

     #!/bin/bash
     
     for ns in $(kubectl get ns -o custom-columns=":metadata.name" | grep -v "tkg-system");
     do
           clusters=$(kubectl -n $ns get cluster -o name)
           if [[ -n $clusters ]];then
                   kubectl -n $ns patch $clusters --type merge -p '{"spec":{"paused":false}}'
           fi
     done
     

10. 確認所有工作負載叢集都處於 running 狀態，例如：

    tanzu cluster list
    NAME                NAMESPACE  STATUS   CONTROLPLANE  WORKERS  KUBERNETES         ROLES   PLAN  TKR
    tkg-vc-antrea       default    running  3/3           3/3      v1.27.5+vmware.1   <none>  prod  v1.27.5---vmware.2-tkg.1
    

11. 針對每個工作負載叢集，執行 tanzu cluster get CLUSTER-NAME，以檢查所有元件是否都處於 running 狀態，例如：

    tanzu cluster get tkg-vc-antrea
      NAME           NAMESPACE  STATUS   CONTROLPLANE  WORKERS  KUBERNETES        ROLES   TKR
      tkg-vc-antrea  default    running  3/3           3/3      v1.27.5+vmware.1 <none>  v1.27.5---vmware.2-tkg.1
    
    Details:
    
    NAME                                                          READY  SEVERITY  REASON  SINCE  MESSAGE
    /tkg-vc-antrea                                                True                     4h14m
    ├─ClusterInfrastructure - VSphereCluster/tkg-vc-antrea-s6kl5  True                     4h36m
    ├─ControlPlane - KubeadmControlPlane/tkg-vc-antrea-ch5hn      True                     4h14m
    │ ├─Machine/tkg-vc-antrea-ch5hn-8gfvt                         True                     4h14m
    │ ├─Machine/tkg-vc-antrea-ch5hn-vdcrp                         True                     4h23m
    │ └─Machine/tkg-vc-antrea-ch5hn-x7nmm                         True                     4h32m
    └─Workers
      ├─MachineDeployment/tkg-vc-antrea-md-0-8b8zn                True                     4h23m
      │ └─Machine/tkg-vc-antrea-md-0-8b8zn-798d5b8897-bnxn9       True                     4h24m
      ├─MachineDeployment/tkg-vc-antrea-md-1-m6dvh                True                     4h24m
      │ └─Machine/tkg-vc-antrea-md-1-m6dvh-79fb858b96-p9667       True                     4h28m
      └─MachineDeployment/tkg-vc-antrea-md-2-brm2m                True                     4h21m
        └─Machine/tkg-vc-antrea-md-2-brm2m-6478cffc5f-tq5cn       True                     4h23m
    

    當所有工作負載叢集都正在執行後，就可以使用 Tanzu CLI 來管理工作負載叢集。

12. 如果在重新建立管理叢集之前執行偏差偵測器，請手動修復或調查偏差偵測器報告中標記的任何物件，如修復偏差中所述。

13. 為管理叢集及其工作負載叢集重新產生並散發新的 kubeconfig 檔案：

    1. 重新產生管理叢集 kubeconfig：

       tanzu management-cluster kubeconfig get
       

    2. 對於每個工作負載叢集，重新產生其 kubeconfig：

       tanzu cluster kubeconfig get CLUSTER-NAME --namespace NAMESPACE
       

    3. 將上述命令的輸出散發給使用叢集的任何人員，以取代其舊的 kubeconfig 檔案。

       • kubeconfig 檔案不包含身分或認證，可以按照 Pinniped 說明文件中的瞭解使用 Pinniped 對 Kubernetes 叢集進行同盟驗證中所述安全地散發。

處理偏差

若在最近一次備份後變更叢集物件發生偏差，則還原後的系統狀態會與其想要的最新狀態不相符。

為了將偏差減至最低，VMware 建議使用排程定期備份。

為了幫助偵測和修復偏差，可以使用以下各節中所述的偏差偵測器工具。

使用偏差偵測器

偏差偵測器是一個命令行工具，該工具可以：

• 將 TKG 備份的內容與 TKG 叢集物件基礎架構的目前狀態進行比較，
• 產生報告，其中列出潛在問題和修復偏差的步驟

重要

偏差偵測器處於不受支援的實驗狀態。偏差很複雜，偏移偵測器可能無法偵測所有偏差執行個體。它僅應當作參考，不能取代定期備份。

有關如何安裝和使用偏差偵測器，請參閱 VMware 知識庫網站上的適用於 Tanzu Kubernetes Grid 管理叢集的偏差偵測器。整個程序如下：

1. 從備份還原 TKG 之前，執行 drift-detector 命令以產生報告。

2. 從最近的備份下載和還原 TKG。

3. 請參閱偏差偵測器報告，按照 修復偏差中的指示對 TKG 的已還原狀態執行修復操作。

修復偏差

偏差情況可能很複雜，但如果您具有偏差偵測器報告或以其他方式偵測到上次備份後叢集物件狀態中的某些偏差，則可以按以下方式修復一些常見模式：

• 失效的工作節點：

  • 有額外未用的節點
  • 在備份後，如果工作節點計數有所縮減，就可能發生此情況
  • 通常不需要緩解措施。還原之後，「機器健全狀況檢查」會刪除失效的機器物件，並建立一個新節點，以符合想要的機器計數。

• Ghost 工作節點基礎結構：

  • 有多餘且未受管理的節點基礎結構
  • 在備份後，如果工作節點計數有所垂直擴充，就可能發生此情況

  • 緩解措施：

    1. 取得工作負載叢集 kubeconfig，並將其設定為 kubectl 內容。

    2. 比較下列 kubectl 和 tanzu 命令的輸出：

       # Get the actual worker nodes of the workload cluster
       $ kubectl --context tkg-vc-antrea-admin@tkg-vc-antrea get node
       NAME                                        STATUS   ROLES           AGE    VERSION
       tkg-vc-antrea-md-0-p9vn5-645498f59f-42qh9   Ready    <none>          44m    v1.27.5+vmware.1
       tkg-vc-antrea-md-0-p9vn5-645498f59f-shrpt   Ready    <none>          114m   v1.27.5+vmware.1
       tkg-vc-antrea-wdsfx-2hkxp                   Ready    control-plane   116m   v1.27.5+vmware.1
       
       # Get the worker nodes managed by the TKG
       $ tanzu cluster get tkg-vc-antrea
         NAME           NAMESPACE  STATUS   CONTROLPLANE  WORKERS  KUBERNETES        ROLES   TKR
         tkg-vc-antrea  default    running  1/1           1/1      v1.27.5+vmware.1  <none>  v1.27.5---vmware.2-tkg.1-zshippable
       
         Details:
       
         NAME                                                          READY  SEVERITY  REASON  SINCE  MESSAGE
         /tkg-vc-antrea                                                True                     13m
         ├─ClusterInfrastructure - VSphereCluster/tkg-vc-antrea-b7fr9  True                     13m
         ├─ControlPlane - KubeadmControlPlane/tkg-vc-antrea-wdsfx      True                     13m
         │ └─Machine/tkg-vc-antrea-wdsfx-2hkxp                         True                     13m
         └─Workers
           └─MachineDeployment/tkg-vc-antrea-md-0-p9vn5                True                     13m
             └─Machine/tkg-vc-antrea-md-0-p9vn5-645498f59f-shrpt       True                     13m
       

    3. 對於 kubectl 所列出的工作節點，只要該工作節點並無 tanzu cluster get 中的 Workers > Machine 清單，請執行下列動作：

       1. 將工作節點數量垂直擴充為預期值，例如：

          tanzu cluster scale ${cluster_name} --worker-machine-count 2
          

       2. 使用叢集 kubeconfig 來清空 Ghost 節點，這會將其工作負載移至 TKG 所管理的節點：

          kubectl drain ${node_name} --delete-emptydir-data --ignore-daemonsets
          

       3. 從叢集中移除 Ghost 節點：

          kubectl delete node ${node_name}
          

       4. 登入 vSphere 或其他基礎結構，然後手動移除虛擬機器。

• 控制平面上的失效節點和 Ghost 基礎結構

  • 控制平面的未用節點和多餘的節點基礎結構
  • 在備份後，如果替換了控制平面節點，就可能發生此情況

  • 緩解措施：

    1. 取得工作負載叢集 kubeconfig，並將其設定為 kubectl 內容。

    2. 比較下列 kubectl 和 tanzu 命令的輸出：

       # Get the actual control plane nodes of the workload cluster
       $ kubectl --context wc-admin@wc get node
       NAME                             STATUS   ROLES           AGE    VERSION
       wc-2cjn4-4xbf8                   Ready    control-plane   107s   v1.27.5+vmware.1
       wc-2cjn4-4zljs                   Ready    control-plane   26h    v1.27.5+vmware.1
       wc-2cjn4-59v95                   Ready    control-plane   26h    v1.27.5+vmware.1
       wc-2cjn4-ncgxb                   Ready    control-plane   25h    v1.27.5+vmware.1
       wc-md-0-nl928-5df8b9bfbd-nww2w   Ready    <none>          26h    v1.27.5+vmware.1
       wc-md-1-j4m55-589cfcd9d6-jxmvc   Ready    <none>          26h    v1.27.5+vmware.1
       wc-md-2-sd4ww-7b7db5dcbb-crwdv   Ready    <none>          26h    v1.27.5+vmware.1
       
       # Get the control plane nodes managed by the TKG
       $ tanzu cluster get wc
       NAME  NAMESPACE  STATUS   CONTROLPLANE  WORKERS  KUBERNETES        ROLES   TKR
       wc    default    updating 4/3           3/3      v1.27.5+vmware.1 <none>  v1.27.5---vmware.2-tkg.1-zshippable
       
       Details:
       
       NAME                                               READY  SEVERITY  REASON  SINCE  MESSAGE
       /wc                                                True                     24m
       ├─ClusterInfrastructure - VSphereCluster/wc-9nq7v  True                     26m
       ├─ControlPlane - KubeadmControlPlane/wc-2cjn4      True                     24m
       │ ├─Machine/wc-2cjn4-4xbf8                         True                     24m
       │ ├─Machine/wc-2cjn4-4zljs                         True                     26m
       │ └─Machine/wc-2cjn4-59v95                         True                     26m
       └─Workers
         ├─MachineDeployment/wc-md-0-nl928                True                     26m
         │ └─Machine/wc-md-0-nl928-5df8b9bfbd-nww2w       True                     26m
         ├─MachineDeployment/wc-md-1-j4m55                True                     26m
         │ └─Machine/wc-md-1-j4m55-589cfcd9d6-jxmvc       True                     26m
         └─MachineDeployment/wc-md-2-sd4ww                True                     26m
           └─Machine/wc-md-2-sd4ww-7b7db5dcbb-crwdv       True                     26m
       

    3. 對於 kubectl 所列出的 control-plane 節點，只要該控制平面並無 tanzu cluster get 中的 ControlPlane > Machine 清單，請執行下列動作：

       1. 刪除節點：

          kubectl delete node ${node_name}
          

       2. 登入 vSphere 或其他基礎結構，然後手動移除虛擬機器。