vSAN-Design für VMware Cloud Foundation

VMware Cloud Foundation verwendet VMware vSAN als Prinzipalspeichertyp für die Verwaltungsdomäne und wird für die Verwendung als Prinzipalspeicher in VI-Arbeitslastdomänen empfohlen. Sie müssen die Größe der Computing- und Speicherressourcen für den vSAN-Speicher sowie die Konfiguration des vSAN-Datenverkehrs festlegen. Für mehrere Verfügbarkeitszonen erweitern Sie die Ressourcengröße und legen die Konfiguration des vSAN-Zeugenhosts fest.

Logisches Design für vSAN für VMware Cloud Foundation

vSAN ist eine kosteneffiziente Speichertechnologie, die eine einfache Benutzeroberfläche für die Speicherverwaltung bietet und eine vollständig automatisierte Erstbereitstellung von VMware Cloud Foundation ermöglicht. Sie bietet außerdem Unterstützung für zukünftige Speichererweiterungen und die Implementierung von vSAN Stretched Clustern in einer Arbeitslastdomäne.

Abbildung 1. Logisches vSAN-Design für VMware Cloud Foundation

Tabelle 1. Logisches vSAN-Design

Typ der Arbeitslastdomäne	VMware Cloud Foundation-Instanzen mit einer einzelnen Verfügbarkeitszone	VMware Cloud FoundationInstanzen mit mehreren Verfügbarkeitszonen
Verwaltungsdomäne (Standardcluster)	Mindestens vier Knoten	Muss zuerst ausgeweitet werden Mindestens 8 Knoten, gleichmäßig über Verfügbarkeitszonen verteilt vSAN-Zeugen-Appliance in einer dritten Fehlerdomäne
Verwaltungsdomäne (zusätzliche Cluster)	Mindestens drei Knoten Für eine höhere Verfügbarkeit werden mindestens vier Knoten empfohlen	Mindestens sechs Knoten, gleichmäßig über Verfügbarkeitszonen verteilt Für eine höhere Verfügbarkeit werden mindestens acht Knoten empfohlen vSAN-Zeugen-Appliance in einer dritten Fehlerdomäne
VI-Arbeitslastdomäne (alle Cluster)	Mindestens drei Knoten Für eine höhere Verfügbarkeit werden mindestens vier Knoten empfohlen	Mindestens sechs Knoten, gleichmäßig über Verfügbarkeitszonen verteilt Für eine höhere Verfügbarkeit werden mindestens acht Knoten empfohlen vSAN-Zeugen-Appliance in einer dritten Fehlerdomäne

Hardwarekonfiguration für vSAN für VMware Cloud Foundation

Bestimmen Sie den Typ der Kapazitäts- und Zwischenspeichergeräte sowie die Speicher-Controller, um Leistung und Stabilität entsprechend den Anforderungen der Verwaltungskomponenten von VMware Cloud Foundation zu erzielen.

Physische Anforderungen und Abhängigkeiten bei vSAN

Für vSAN gelten die folgenden Anforderungen und Optionen:

• vSAN Original Storage Architecture (OSA) als Hybrid Storage oder All-Flash-Speicher.

  • Für eine vSAN Hybrid Storage-Konfiguration sind sowohl Magnetgeräte als auch Flash-Zwischenspeichergeräte erforderlich. Die Cache-Schicht muss mindestens 10 % der Größe der Kapazitätsschicht ausmachen.

  • Bei einer All-Flash-vSAN-Konfiguration sind Flash-Geräte sowohl für die Caching- als auch für die Kapazitätsschicht erforderlich.

  • VMware vSAN ReadyNodes oder Hardware aus dem VMware-Kompatibilitätshandbuch, um Ihr eigenes zu erstellen.

• vSAN Express Storage Architecture (ESA)

  • Alle von vSAN beanspruchten Speichergeräte tragen zur Kapazität und Leistung bei. Die von vSAN beanspruchten Speichergeräte jedes Hosts bilden einen Speicherpool. Der Speicherpool stellt die Menge an Caching und Kapazität dar, die der Host dem vSAN-Datenspeicher zur Verfügung stellt.

  • ESXi-Hosts müssen sich in der vSAN ESA Ready Node HCL befinden und mindestens 512 GB RAM pro Host haben.

  Hinweis: vSAN Express Storage Architecture wird bei Verwendung von VMware Cloud Foundation nicht unterstützt.

Informationen zu Best Practices, Überlegungen zur Kapazität und allgemeine Empfehlungen in Bezug auf das Entwerfen und Dimensionieren eines vSAN-Clusters finden Sie im Handbuch für VMware Virtual SAN Design und Sizing.

Netzwerkdesign für vSAN für VMware Cloud Foundation

Im Netzwerkdesign für vSAN in VMware Cloud Foundation legen Sie die Netzwerkkonfiguration für vSAN-Datenverkehr fest.

Berücksichtigen Sie die Gesamtbandbreite des Datenverkehrs und legen Sie fest, wie der Speicherdatenverkehr isoliert werden soll.

• Überprüfen Sie, ob viel vSAN-Datenverkehr zwischen ESXi-Hosts ausgeführt wird.

• Die Menge des Speicherdatenverkehrs hängt von der Anzahl der im Cluster ausgeführten VMs ab und davon, wie schreibintensiv der E/A-Prozess für die in den VMs ausgeführten Anwendungen ist.

Informationen zur Einrichtung des physischen Netzwerks für vSAN-Datenverkehr und weiterem Systemdatenverkehr finden Sie unter Design der physischen Netzwerkinfrastruktur für VMware Cloud Foundation.

Informationen zur Einrichtung des virtuellen Netzwerks für vSAN-Datenverkehr und sonstigem Systemdatenverkehr finden Sie unter Logisches vSphere-Netzwerkdesign für VMware Cloud Foundation.

Das vSAN-Netzwerkdesign enthält die folgenden Komponenten.

Tabelle 2. Komponenten des vSAN-Netzwerkdesigns

Designkomponente	Beschreibung
Geschwindigkeit der physischen Netzwerkkarte	Für eine optimale und vorhersehbare Leistung (IOPS) für die Umgebung wird bei diesem Design mindestens eine 10-GbE-Verbindung (empfohlen werden 25-GbE) für die Verwendung mit vSAN-All-Flash-Konfigurationen genutzt.
VMkernel-Netzwerkadapter für vSAN	Der vSAN-VMkernel-Netzwerkadapter auf jedem ESXi-Host wird erstellt, wenn Sie vSAN im Cluster aktivieren. Verbinden Sie die vSAN VMkernel-Netzwerkadapter auf allen ESXi-Hosts in einem Cluster mit einer dedizierten verteilten Portgruppe, einschließlich ESXi-Hosts, die keine Speicherressourcen zum Cluster beitragen.
VLAN	Der gesamte Speicherdatenverkehr sollte in einem eigenen VLAN isoliert werden. Wenn ein Design mehrere vSAN-Cluster verwendet, sollte jeder Cluster ein dediziertes VLAN oder Segment für seinen Datenverkehr verwenden. Dieser Ansatz erhöht die Sicherheit, verhindert Störungen zwischen Clustern und hilft bei der Fehlerbehebung bei der Clusterkonfiguration.
Jumbo-Frames	vSAN-Datenverkehr kann mithilfe von Jumbo-Frames verarbeitet werden. Verwenden Sie Jumbo-Frames nur dann für vSAN-Datenverkehr, wenn die physische Umgebung bereits für deren Unterstützung konfiguriert ist, wenn sie Teil des bestehenden Designs sind oder wenn die zugrunde liegende Konfiguration das Design nicht erheblich komplexer macht.

vSAN-Zeugendesign für VMware Cloud Foundation

Die vSAN-Zeugen-Appliance ist eine spezielle ESXi-Installation, die Quorum- und Tiebreaker-Dienste für Stretched Cluster in VMware Cloud Foundation bereitstellt.

Spezifikation der vSAN-Zeugenbereitstellung

Wenn vSAN in einer Stretched Cluster-Konfiguration verwendet wird, müssen Sie einen ESXi-Zeugenhost bereitstellen. Diese Appliance muss an einem dritten Speicherort bereitgestellt werden, der für die ESXi-Hosts auf beiden Seiten des Stretched Clusters nicht lokal ist.

Tabelle 3. Überlegungen zur Dimensionierung der vSAN-Zeugen-Appliance

Appliance-Größe	Maximale Anzahl unterstützter virtueller Maschinen	Maximale Anzahl unterstützter Zeugenkomponenten
Sehr klein	10	750
Mittel	500	21.000
Groß	500	64.000

Design des vSAN-Zeugennetzwerks

Wenn Sie zwei Verfügbarkeitszonen verwenden, verbinden Sie die vSAN-Zeugen-Appliance mit dem Arbeitslastdomänen-vCenter Server, damit Sie die Ersteinrichtung des Stretched Clusters durchführen und ein Failover der Arbeitslastdomänen zwischen den Zonen ermöglichen können.

VMware Cloud Foundation nutzt eine Trennung des vSAN-Zeugendatenverkehrs, wobei Sie einen VMkernel-Adapter für vSAN-Zeugendatenverkehr verwenden können, der sich von dem Adapter für vSAN-Datenverkehr unterscheidet. In diesem Design konfigurieren Sie vSAN-Zeugendatenverkehr folgendermaßen:

• Platzieren Sie auf jedem ESXi-Host in beiden Verfügbarkeitszonen den vSAN-Zeugenverkehr auf dem Verwaltungs-VMkernel-Adapter.

• Verwenden Sie auf der vSAN Zeugen-Appliance denselben VMkernel-Adapter sowohl für den Verwaltungs- als auch für den Zeugendatenverkehr.

Informationen zur Trennung des vSAN-Zeugendatenverkehrs finden Sie im Handbuch zu vSAN Stretched Clustern in der VMware Cloud Platform Tech Zone.

Verwaltungsnetzwerk

Weitergeleitet zu den Verwaltungsnetzwerken in beiden Verfügbarkeitszonen. Verbinden Sie den ersten VMkernel-Adapter der vSAN Zeugen-Appliance mit diesem Netzwerk. Der zweite VMkernel-Adapter auf der vSAN Zeugen-Appliance wird nicht verwendet.

Platzieren Sie den folgenden Datenverkehr in diesem Netzwerk:

• Verwaltungsdatenverkehr

• vSAN-Zeugendatenverkehr

Abbildung 2. Design des vSAN-Zeugennetzwerks

Anforderungen und Empfehlungen für das vSAN-Design für VMware Cloud Foundation

Berücksichtigen Sie die Anforderungen für die Verwendung des vSAN-Speichers für Standard- und Stretched Cluster in VMware Cloud Foundation, wie z. B. erforderliche Kapazität, Anzahl der Hosts, Anzahl der Festplattengruppen, Speicherrichtlinie und ähnliche Best Practices, damit vSAN optimal arbeitet.

Informationen zu den Anforderungen und Empfehlungen für vSphere-Cluster finden Sie unter Anforderungen und Empfehlungen für das vSphere-Cluster-Design für VMware Cloud Foundation.

Anforderungen an das vSAN-Design

Sie müssen die folgenden Designanforderungen für Standard- und Stretched Cluster in Ihrem vSAN-Design für VMware Cloud Foundation erfüllen.

Tabelle 4. Anforderungen an das vSAN-Design für VMware Cloud Foundation

Anforderungs-ID	Designanforderung	Begründung	Auswirkung
VCF-VSAN-REQD-CFG-001	Stellen Sie ausreichend Rohkapazität bereit, um die anfänglichen Anforderungen des Arbeitslastdomänen-Clusters zu erfüllen.	Stellen Sie sicher, dass genügend Ressourcen zum Erstellen des Arbeitslastdomänen-Clusters vorhanden sind.	Keine.
VCF-VSAN-REQD-CFG-002	Geben Sie wenigstens die erforderliche Mindestanzahl an Hosts gemäß dem Clustertyp an.	Erfüllt die Anforderungen an die Speicherverfügbarkeit.	Keine.

Tabelle 5. Anforderungen an das vSAN-Design für Stretched Cluster mit VMware Cloud Foundation

Anforderungs-ID	Designanforderung	Begründung	Auswirkung
VCF-VSAN-REQD-CFG-003	Fügen Sie der vSAN-Speicherrichtlinie die folgende Einstellung hinzu: Site-Ausfalltoleranz = Site-Spiegelung – Stretched Cluster	Bietet den erforderlichen Schutz für virtuelle Maschinen in jeder Verfügbarkeitszone mit der Möglichkeit, eine Wiederherstellung nach einem Ausfall der Verfügbarkeitszone durchzuführen.	Möglicherweise benötigen Sie zusätzliche Richtlinien, wenn virtuelle Maschinen von Drittanbietern in diesen Clustern gehostet werden sollen, da deren Leistungs- oder Verfügbarkeitsanforderungen möglicherweise von denjenigen abweichen, die von der VMware vSAN-Standardrichtlinie unterstützt werden.
VCF-VSAN-REQD-CFG-004	Konfigurieren Sie zwei Fehlerdomänen, eine für jede Verfügbarkeitszone. Weisen Sie jeden Host seiner jeweiligen Verfügbarkeitszonen-Fehlerdomäne zu.	Fehlerdomänen werden Verfügbarkeitszonen zugeordnet, um eine logische Trennung der Hosts zu ermöglichen und sicherzustellen, dass immer eine Kopie der vSAN-Daten verfügbar ist, selbst wenn eine Verfügbarkeitszone offline geschaltet wird.	Sie müssen zusätzlichen Rohspeicher bereitstellen, wenn die Option „Site-Spiegelung – Stretched Cluster“ ausgewählt ist und Fehlerdomänen aktiviert sind.
VCF-VSAN-WTN-REQD-CFG-001	Stellen Sie eine vSAN-Zeugen-Appliance an einem Standort bereit, der für die ESXi-Hosts in keiner der Verfügbarkeitszonen lokal ist.	Stellt die Verfügbarkeit von vSAN-Zeugenkomponenten bei einem Ausfall einer der Verfügbarkeitszonen sicher.	Sie müssen einen dritten physisch getrennten Standort angeben, an dem eine vSphere-Umgebung ausgeführt wird. Sie können eine VMware Cloud Foundation-Instanz an einem separaten physischen Standort verwenden.
VCF-VSAN-WTN-REQD-CFG-002	Stellen Sie eine Zeugen-Appliance bereit, deren Größe der erforderlichen Kapazität des Clusters entspricht.	Stellen Sie sicher, dass die Größe der Zeugen-Appliance der prognostizierten Arbeitslast-Speichernutzung entspricht.	Die vSphere-Umgebung am Zeugenspeicherort muss die Ressourcenanforderungen der Zeugen-Appliance erfüllen.
VCF-VSAN-WTN-REQD-CFG-003	Verbinden Sie den ersten VMkernel-Adapter der vSAN Zeugen-Appliance mit dem Verwaltungsnetzwerk auf der Zeugen-Site.	Aktiviert die Verbindung der Zeugen-Appliance mit dem Arbeitslastdomänen-vCenter Server.	Die Verwaltungsnetzwerke in beiden Verfügbarkeitsbereichen müssen zum Verwaltungsnetzwerk auf der Zeugen-Site weitergeleitet werden.
VCF-VSAN-WTN-REQD-CFG-004	Teilen Sie dem Verwaltungsadapter der vSAN-Zeugen-Appliance eine statisch zugewiesene IP-Adresse und einen Hostnamen zu.	Vereinfacht Wartung und Nachverfolgung und implementiert eine DNS-Konfiguration.	Erfordert eine präzise IP-Adressverwaltung.
VCF-VSAN-WTN-REQD-CFG-005	Konfigurieren Sie Forward- und Reverse-DNS-Einträge für die vSAN-Zeugen-Appliance für die VMware Cloud Foundation-Instanz.	Ermöglicht die Verbindung der vSAN-Zeugen-Appliance mit dem Arbeitslastdomäne-vCenter Server nach FQDN anstelle der IP-Adresse.	Sie müssen DNS-Datensätze für die vSAN Zeugen-Appliance bereitstellen.
VCF-VSAN-WTN-REQD-CFG-006	Konfigurieren Sie die Uhrzeitsynchronisierung mithilfe einer internen NTP-Zeit für die vSAN Zeugen-Appliance.	Verhindert Fehler in der Stretched Cluster-Konfiguration, die durch Zeitabweichungen zwischen der vSAN-Zeugen-Appliance und den ESXi-Hosts in beiden Verfügbarkeitszonen und der Arbeitslastdomänen-vCenter Server verursacht werden.	In der Umgebung muss ein funktionsfähiger NTP-Dienst verfügbar sein. Alle Firewalls zwischen der vSAN Zeugen-Appliance und den NTP-Servern müssen NTP-Datenverkehr auf den erforderlichen Netzwerkports zulassen.
VCF-VSAN-WTN-REQD-CFG-007	Konfigurieren Sie eine einzelne vSAN-Speicherrichtlinie für jeden Stretched Cluster.	Die vSAN-Speicherrichtlinie eines Stretched Clusters kann nicht mit anderen Clustern gemeinsam genutzt werden.	Sie müssen zusätzliche vSAN-Speicherrichtlinien konfigurieren.

Empfehlungen für das vSAN-Design

In Ihrem vSAN-Design für VMware Cloud Foundation können Sie bestimmte Best Practices für Standard- und Stretched Cluster anwenden.

Tabelle 6. Empfehlungen für das vSAN-Design für VMware Cloud Foundation

Empfehlungs-ID	Designempfehlung	Begründung	Auswirkung
VCF-VSAN-RCMD-CFG-001	Stellen Sie sicher, dass der Speicher-E/A-Controller, auf dem die vSAN-Festplattengruppen ausgeführt werden, geeignet ist und eine minimale Warteschlangentiefe von 256 festgelegt ist.	Speicher-Controller mit geringerer Warteschlangentiefe können bei der Ausführung von vSAN Leistungs- und Stabilitätsprobleme verursachen. vSAN ReadyNode-Server sind mit der richtigen Warteschlangentiefe für vSAN konfiguriert.	Schränkt die Anzahl kompatibler E/A-Controller, die für den Speicher verwendet werden können.
VCF-VSAN-RCMD-CFG-002	Verwenden Sie die Speicher-E/A-Controller, auf denen vSAN-Festplattengruppen ausgeführt werden, nicht für einen anderen Zweck.	Die Ausführung von Nicht-vSAN-Festplatten, z. B. VMFS, auf einem Speicher-E/A-Controller, auf dem eine vSAN-Festplattengruppe ausgeführt wird, kann die vSAN-Leistung beeinträchtigen.	Wenn auf ESXi-Hosts Nicht-vSAN-Festplatten erforderlich sind, muss auf dem Host ein weiterer Speicher-E/A-Controller vorhanden sein.
VCF-VSAN-RCMD-CFG-003	Konfigurieren Sie vSAN in einer All-Flash-Konfiguration im Standard-Arbeitslastdomänen-Cluster.	Erfüllt die Leistungsanforderungen des Standard-Arbeitslastdomänen-Clusters.	Alle vSAN-Festplatten müssen Flash-Festplatten sein, die möglicherweise teurer sind als Magnetfestplatten.
VCF-VSAN-RCMD-CFG-004	Stellen Sie ausreichend Rohkapazität bereit, um die geplanten Anforderungen des Arbeitslastdomänen-Clusters zu erfüllen.	Stellen Sie sicher, dass genügend Ressourcen im Arbeitslastdomänen-Cluster vorhanden sind, sodass der vSAN-Datenspeicher in Zukunft nicht mehr erweitert werden muss.	Keine.
VCF-VSAN-RCMD-CFG-005	Stellen Sie für den vSAN-Datenspeicher sicher, dass mindestens 30 Prozent des freien Speicherplatzes immer verfügbar sind.	Dieser als Schlupfspeicher bezeichnete freie Speicherplatz wird für die Evakuierung von Daten im Hostwartungsmodus, die Wiederherstellung von Komponenten, die Neuverteilung von Vorgängen und für VM-Snapshots reserviert.	Erhöht die Menge des benötigten verfügbaren Speichers.
VCF-VSAN-RCMD-CFG-006	Konfigurieren Sie vSAN mit mindestens zwei Festplattengruppen pro ESXi-Host.	Verkleinert die Fehlerdomäne und verteilt die E/A-Last auf mehr Festplatten, um eine bessere Leistung zu erzielen.	Wenn mehr Festplattengruppen verwendet werden, müssen auch mehr Festplatten in jedem ESXi-Host vorhanden sein.
VCF-VSAN-RCMD-CFG-007	Verwenden Sie für die Cache-Schicht in jeder Festplattengruppe ein Flash-basiertes Laufwerk mit mindestens 600 GB.	Bietet ausreichend Cache für Hybrid- oder All-Flash-vSAN-Konfigurationen, um E/A zu puffern und die Leistung von Festplattengruppen zu gewährleisten. Zusätzlicher Speicherplatz in der Cache-Schicht erhöht die Leistung nicht.	Werden größere Flash-Festplatten verwendet, kann dies die anfänglichen Hostkosten erhöhen.
VCF-VSAN-RCMD-CFG-008	Verwenden Sie die standardmäßige VMware vSAN-Speicherrichtlinie.	Stellt den Grad der Redundanz zur Verfügung, der im Arbeitslastdomänen-Cluster benötigt wird. Stellt das Leistungsniveau zur Verfügung, das für die einzelnen Arbeitslasten ausreichend ist.	Möglicherweise benötigen Sie zusätzliche Richtlinien für in diesen Clustern gehostete virtuelle Maschinen von Drittanbietern, da deren Leistungs- oder Verfügbarkeitsanforderungen möglicherweise von denjenigen abweichen, die von der VMware vSAN-Standardrichtlinie unterstützt werden.
VCF-VSAN-RCMD-CFG-009	Legen Sie die standardmäßige Auslagerungsdatei der virtuellen Maschine als Objekt mit geringer Datendichte in vSAN fest.	Virtuelle Auslagerungsdateien mit geringer Datendichte verbrauchen nur dann Kapazität in vSAN, wenn darauf zugegriffen wird. Folglich können Sie den Verbrauch im vSAN-Datenspeicher reduzieren, wenn bei virtuellen Maschinen keine Überbelegung des Arbeitsspeichers auftritt. Dies würde es erforderlich machen, die virtuelle Auslagerungsdatei zu verwenden.	Keine.
VCF-VSAN-RCMD-CFG-010	Verwenden Sie die vorhandene vSphere Distributed Switch-Instanz im Arbeitslastdomänen-Cluster.	Bietet garantierte Leistung für vSAN-Datenverkehr in einem Netzwerk ohne Verbindung durch die Verwendung vorhandener Netzwerkkomponenten.	Alle Datenverkehrspfade werden über gemeinsame Uplinks gemeinsam genutzt.
VCF-VSAN-RCMD-CFG-011	Konfigurieren Sie Jumbo-Frames im VLAN für vSAN-Datenverkehr.	Vereinfacht die Konfiguration, da Jumbo-Frames auch verwendet werden, um die Leistung des vSphere vMotion- und NFS-Speicherdatenverkehrs zu verbessern. Reduziert den CPU-Overhead, was zu einer hohen Netzwerknutzung führt.	Jedes Gerät im Netzwerk muss Jumbo-Frames unterstützen.

Tabelle 7. Empfehlungen für das vSAN-Design für Stretched Cluster mit VMware Cloud Foundation

Empfehlungs-ID	Designempfehlung	Begründung	Auswirkung
VCF-VSAN-WTN-RCMD-CFG-001	Konfigurieren Sie die vSAN-Zeugen-Appliance so, dass der erste VMkernel-Adapter, also die Verwaltungsschnittstelle, für vSAN-Zeugendatenverkehr verwendet wird.	Auf der Zeugen-Appliance sind keine statischen Routen mehr erforderlich, da der Zeugendatenverkehr über das Verwaltungsnetzwerk geleitet wird.	Die Verwaltungsnetzwerke in beiden Verfügbarkeitsbereichen müssen zum Verwaltungsnetzwerk auf der Zeugen-Site weitergeleitet werden.
VCF-VSAN-WTN-RCMD-CFG-002	Platzieren Sie den Zeugendatenverkehr auf dem Management-VMkernel-Adapter aller ESXi-Hosts in der Arbeitslastdomäne.	Trennt den Zeugendatenverkehr vom vSAN-Datenverkehr. Die Trennung des Zeugendatenverkehrs bietet die folgenden Vorteile: Es müssen keine statischen Routen mehr von den vSAN-Netzwerken in beiden Verfügbarkeitszonen zur Zeugen-Site vorhanden sein. Jumbo-Frames müssen nicht mehr im Pfad zwischen der Verfügbarkeitszone und der Zeugen-Site aktiviert sein, da der Zeugendatenverkehr eine normale MTU-Größe von 1500 Byte nutzen kann.	Die Verwaltungsnetzwerke in beiden Verfügbarkeitsbereichen müssen zum Verwaltungsnetzwerk auf der Zeugen-Site weitergeleitet werden.