延伸叢集可將 vSAN 叢集從單一資料站台延伸至兩個站台,從而獲取更好的可用性以及站台間的負載平衡。延伸叢集通常部署於資料中心之間的距離具有一定限制的環境中,例如大都市或大學校園環境。

您可以使用延伸叢集管理計劃的維護並避免出現嚴重損壞情況,因為一個站台進行維護或遺失不會影響叢集的整體運作。在延伸叢集組態中,兩個資料站台均是作用中站台。如果其中一個發生故障,vSAN 便會使用另一個站台上的儲存區。vSphere HA 會重新啟動必須在仍處於作用中的站台上重新啟動的任何虛擬機器。

您必須將一個站台指定為慣用站台。其他站台會成為次要站台或非慣用站台。如果兩個使用中站台之間的網路連線遺失,則 vSAN 會使用慣用站台繼續執行作業。指定為慣用站台的站台通常是仍在運作的站台,除非其正在重新同步或存在其他問題的情況。提供最大資料可用性的站台是仍在運作的站台。

vSAN 延伸叢集一次可容許一個連結失敗,而不會出現資料不可用情況。連結失敗是指兩個站台間或一個站台與見證主機間的網路連線遺失。在站台故障或網路連線遺失期間,vSAN 會自動切換到完全運作的站台。

vSAN 7.0 Update 3 及更新版本延伸叢集可在一個站台無法使用時容許見證主機故障。將儲存區原則站台災難容錯規則設定為站台鏡像 - 延伸叢集。如果一個站台由於維護或故障而關閉,且見證主機故障,則物件將變得不合規,但仍可供存取。

如需有關使用延伸叢集的詳細資訊,請參閱vSAN 延伸叢集指南》

見證主機

每個延伸叢集由兩個資料站台與一個見證主機組成。見證主機位於第三站台上,包含虛擬機器物件的見證元件。見證主機不會儲存客戶資料,僅會儲存中繼資料,例如 vSAN 物件和元件的大小和 UUID。

如果兩個站台間的網路連線遺失,必須根據資料存放區元件的可用性做出決定時,見證主機用作一個連接斷路器。在此案例中,見證主機通常使用慣用站台構建一個 vSAN 叢集。但是,如果慣用站台已與次要站台及見證主機相隔離,則見證主機會使用次要站台構建叢集。當慣用主機重新處於線上時,系統會重新同步資料,以確保兩個站台均具有所有資料的最新複本。

如果見證主機出現故障,則所有對應物件均會不符合標準,但是可進行完全存取。

見證主機具有下列特性:

  • 見證主機可以使用低頻寬/高延遲連結。
  • 見證主機無法執行虛擬機器。
  • 一台見證主機僅能支援一個 vSAN 延伸叢集。雙節點 vSAN 叢集可共用單一見證主機。
  • 見證主機必須有一個已啟用 vSAN 流量且已連線至叢集中所有主機的 VMkernel 介面卡。見證主機使用一個 VMkernel 介面卡來進行管理,以及一個 VMkernel 介面卡用於 vSAN 資料流量。見證主機只能有一個專用於 vSAN 的 VMkernel 介面卡。
  • 見證主機必須是一台專用於延伸叢集的獨立主機。不得透過 vCenter Server 將見證主機新增至任何其他叢集,或者在詳細目錄中進行移動。

見證主機可以是實體主機,也可以是於虛擬機器內部執行的 ESXi 主機。虛擬機器見證主機不提供其他類型功能,如儲存或執行虛擬機器。多台見證主機可以作為虛擬機器在一台實體伺服器上執行。對於修補、基本網路功能與監控組態,虛擬機器見證主機的運作方式與一般 ESXi 主機相同。您可以使用 vCenter Server 進行管理,使用 esxcli 或 vSphere Lifecycle Manager 進行修補及更新,以及使用與 ESXi 主機進行互動的標準工具進行監控。

您可以將見證虛擬應用裝置用作延伸叢集中的見證主機。見證虛擬應用裝置是虛擬機器中的 ESXi 主機,封裝為 OVF 或 OVA。基於部署的大小,應用裝置可位於不同的選項中。您可以將見證虛擬應用裝置用作延伸叢集中的見證主機。見證虛擬應用裝置是虛擬機器中的 ESXi 主機,封裝為 OVF 或 OVA。根據 vSAN 架構和部署大小,可以使用不同的應用裝置和不同的選項。

延伸叢集與容錯網域

延伸叢集使用容錯網域,以在站台間提供冗餘和故障保護。延伸叢集中的每個站台均位於單獨的容錯網域中。

延伸叢集需要三個容錯網域:慣用站台、次要站台以及見證主機。每個容錯網域代表不同的站台。如果見證主機出現故障或進入維護模式,vSAN 會將其視為站台故障。

vSAN 6.6 及更新版本中,您可以為延伸叢集中的虛擬機器物件提供額外層級的本機容錯保護。設定延伸叢集時,以下原則規則可用於叢集中的物件:
  • 站台災難容錯。對於延伸叢集,此規則可定義容錯方法。選取站台鏡像 - 延伸叢集
  • 容許的故障次數 (FTT)。對於延伸叢集,FTT 會定義虛擬機器物件可容許的主機額外故障次數。
  • 。您可以將資料位置規則設定為 [無]、[慣用] 或 [次要]。此規則可讓您將虛擬機器物件限制在延伸叢集中的所選站台。

在具有本機容錯保護的延伸叢集中,即使一個站台不可用,叢集仍可在可用站台中的遺失或損毀元件上執行修復。

如果某個站台上的任何磁碟達到 96% 使用量或 5 GB 的可用容量 (以較少者為準),而其他站台上的磁碟仍有可用空間,則 vSAN 7.0 及更新版本會繼續提供 I/O。受影響站台上的元件會標記為不存在,且 vSAN 會繼續對其他站台上狀況良好的物件複本執行 I/O。當受影響站台磁碟上的磁碟達到 94% 的容量或 10 GB (以較少者為準) 時,則不存在的元件會變為可用狀態。vSAN 會重新同步可用的元件,因此所有物件會變為符合原則。

延伸叢集設計考量事項

使用 vSAN 延伸叢集時,請考量下列準則。

  • 為延伸叢集設定 DRS 設定。
    • DRS 必須在叢集中啟用。如果您將 DRS 置於半自動模式下,則可控制要移轉至每個站台的虛擬機器。vSAN 7.0 Update 2 可讓您在自動模式下操作 DRS,並從網路磁碟分割正常復原。
    • 建立兩個主機群組,一個用於慣用站台,另一個則用於次要站台。
    • 建立兩個虛擬機器群組,其中一個用於容納慣用站台上的虛擬機器,另一個則用於容納次要站台上的虛擬機器。
    • 建立兩個虛擬機器-主機相似性規則,用於將虛擬機器群組對應至主機群組,並指定哪些虛擬機器和主機存放在慣用站台中,哪些存放在次要站台中。
    • 設定虛擬機器-主機相似性規則,以對叢集中的虛擬機器執行初始放置。
  • 為延伸叢集設定 HA 設定。
    • HA 規則設定在容錯移轉期間應採用虛擬機器-主機相似性規則。
    • 停用 HA 資料存放區活動訊號。
    • 將 HA 與主機故障監控和許可控制搭配使用,並將 FTT 設定成每個站台中的主機數。
  • 延伸叢集需要磁碟上格式 2.0 或更新版本。如有必要,請在設定延伸叢集前升級磁碟上格式。請參閱 《管理 VMware vSAN》中的「升級 vSAN 磁碟格式」。
  • 針對延伸叢集,將 FTT 設為 1。
  • FTT 設為並設定了 [慣用] 或 [次要] 時,vSAN 延伸叢集支援啟用 Symmetric Multiprocessing Fault Tolerance (SMP-FT) 虛擬機器。在將 FTT 設為 1 或以上的延伸叢集上,vSAN 不支援 SMP-FT 虛擬機器。
  • 當主機中斷連線或沒有回應時,您無法新增或移除見證主機。此限制可確保 vSAN 從所有主機收集足夠的資訊後再起始重新設定作業。
  • 延伸叢集不支援使用 esxcli 來新增或移除主機。
  • 請勿建立見證主機的快照或備份見證主機。如果見證主機發生故障,請變更見證主機

使用延伸叢集的最佳做法

使用 vSAN 延伸叢集時,請遵循下列建議事項,以正常發揮效能。

  • 如果延伸叢集中的其中一個站台 (容錯網域) 無法存取,新的虛擬機器仍可佈建於包含其他兩個站台的子叢集中。直到磁碟分割站台重新加入叢集前,這些新的虛擬機器會隱式強制佈建並變得不符合標準。僅當三個站台中的其中兩個無法使用時,才會執行此隱式強制佈建。這裡的站台是指資料站台或見證主機。
  • 如果整個站台因為斷電或中斷網路連線而離線,請立即重新啟動站台,不要延遲太久。請勿逐一重新啟動 vSAN 主機,而是使所有主機在約略的同時間上線,最好在 10 分鐘內全部上線。遵循此程序可避免在站台之間重新同步大量資料。
  • 如果主機永久無法使用,請先從叢集移除主機,再執行任何重新設定工作。
  • 如果您想要複製虛擬機器見證主機以支援多個延伸叢集,請勿在複製前將虛擬機器設定為見證主機。首先請從 OVF 部署虛擬機器,然後複製虛擬機器,接著再將每個複製設定為不同叢集的見證主機。或者,您可以從 OVF 部署所需數目的虛擬機器,然後將每個虛擬機器設定為不同叢集的見證主機。

延伸叢集網路設計

延伸叢集中的全部三個站台都是透過管理網路和 vSAN 網路進行通訊。資料站台中的虛擬機器則是透過通用虛擬機器網路進行通訊。

vSAN 延伸叢集必須滿足特定的基本網路需求。
  • 管理網路需要能跨越全部三個站台的連線 (使用層級 2 延伸網路或層級 3 網路)。
  • vSAN 網路需要能跨越全部三個站台的連線。它必須擁有獨立的路由和資料站台與見證主機之間的連線。vSAN 在兩個資料站台之間同時支援使用第 2 層與第 3 層,以及在資料站台和見證主機之間支援使用第 3 層。
  • 虛擬機器網路需要資料站台之間的連線,但不需要連線至見證主機。在資料站台之間使用第 2 層延伸網路或第 3 層網路。如果發生故障,虛擬機器不需要新 IP 位址即可在遠端站台上運作。
  • vMotion 網路需要資料站台之間的連線,但不需要連線至見證主機。在資料站台之間使用第 2 層延伸網路或第 3 層網路。
備註: vSAN 延伸叢集或雙節點叢集不支援「透過 RDMA 的 vSAN」。

ESXi 主機上使用靜態路由

如果您在 ESXi 主機上使用單一預設閘道,則每台 ESXi 主機均包含具有單一預設閘道的預設 TCP/IP 堆疊。預設路由通常關聯至管理網路 TCP/IP 堆疊。

管理網路和 vSAN 網路可能會彼此隔離。例如,管理網路可能使用實體 NIC 0 上的 vmk0,而 vSAN 網路使用實體 NIC 1 上的 vmk2 (兩個不同 TCP/IP 堆疊的單獨網路介面卡)。此組態表示 vSAN 網路沒有預設閘道。

在 vSAN 7.0 及更新版本中,您可以覆寫每個主機上 vSAN VMkernel 介面卡的預設閘道,並設定 vSAN 網路的閘道位址。

您還可以使用靜態路由在網路之間進行通訊。假設 vSAN 網路延伸至層級 2 廣播網域 (例如 172.10.0.0) 上的兩個資料站台,而見證主機位於另一個廣播網域 (例如 172.30.0.0)。如果資料站台上的 VMkernel 介面卡嘗試連線至見證主機上的 vSAN 網路,連線將失敗,因為 ESXi 主機上的預設閘道與管理網路相關聯。沒有從管理網路到 vSAN 網路的路由。

定義新的路由項目,指示要沿著哪個路徑到達特定網路。對於延伸叢集上的 vSAN 網路,您可以新增靜態路由,以確保所有主機間能進行正確通訊。

例如,您可新增靜態路由至每個資料站台上的主機,將請求連線 172.30.0.0 見證網路的要求透過 172.10.0.0 介面路由傳送。同時新增靜態路由至見證主機,將請求連線資料站台之 172.10.0.0 網路的要求透過 172.30.0.0 介面路由傳送。

備註: 如果使用靜態路由,您必須先為新增至任何站台的新 ESXi 主機手動新增靜態路由,這些主機才能在叢集之間通訊。如果更換見證主機,必須更新靜態路由組態。

使用 esxcli network ip route 命令新增靜態路由。