Η Πύλη SD-WAN εκτελείται σε έναν τυπικό υπερεπόπτη (KVM ή VMware ESXi).
Ελάχιστες απαιτήσεις διακομιστή
Για εκτέλεση του υπερεπόπτη:
- CPU: Απαιτείται Intel XEON (τουλάχιστον 10 πυρήνες για την εκτέλεση μίας μόνο VM πύλης 8 πυρήνων) με ελάχιστη ταχύτητα ρολογιού 2,0 Ghz για την επίτευξη μέγιστης απόδοσης.
- Οι λειτουργίες χρονοπρογραμματισμού δικτύου ESXi vmxnet3 πρέπει να έχουν 2 πυρήνες δεσμευμένους ανά εικονική μηχανή πύλης (VM), ανεξάρτητα από τον αριθμό των πυρήνων που έχουν εκχωρηθεί στην πύλη.
- Παράδειγμα: Ας υποθέσουμε ότι υπάρχει ένας διακομιστής 24 πυρήνων που εκτελεί το ESXi+vmxnet3. Μπορείτε να αναπτύξετε 2 πύλες (8 πυρήνων). Δηλαδή, 2 πύλες επί 8 πυρήνες απαιτούν 16 πυρήνες που προορίζονται για εφαρμογή πύλης και μένουν 8 μη δεσμευμένοι πυρήνες. Χρησιμοποιώντας τον παραπάνω τύπο, προκειμένου να υποστηριχθούν αυτές οι δύο πύλες που εκτελούνται σε μέγιστη κλίμακα απόδοσης, το σύστημα ESXi/vmxnet3 απαιτεί 4 επιπλέον πυρήνες (δύο πυρήνες για καθεμία από τις δύο πύλες που αναπτύσσονται). Ως εκ τούτου, απαιτούνται συνολικά 20 πυρήνες για την εκτέλεση 2 πυλών σε ένα σύστημα 24 πυρήνων.
Σημείωση: Κατά τη χρήση του SR-IOV, η λειτουργία χρονοπρογραμματισμού δικτύου εκφορτώνεται στο pNIC για να επιτευχθεί υψηλότερη απόδοση. Ωστόσο, ο υπερεπόπτης πρέπει να εξακολουθεί να εκτελεί άλλες λειτουργίες χρονοπρογραμματισμού όπως CPU, μνήμη, διαχείριση εκχώρησης NUMA. Απαιτείται να διατηρείτε πάντα δύο ελεύθερους πυρήνες για χρήση υπερεπόπτη.
- Παράδειγμα: Ας υποθέσουμε ότι υπάρχει ένας διακομιστής 24 πυρήνων που εκτελεί το ESXi+vmxnet3. Μπορείτε να αναπτύξετε 2 πύλες (8 πυρήνων). Δηλαδή, 2 πύλες επί 8 πυρήνες απαιτούν 16 πυρήνες που προορίζονται για εφαρμογή πύλης και μένουν 8 μη δεσμευμένοι πυρήνες. Χρησιμοποιώντας τον παραπάνω τύπο, προκειμένου να υποστηριχθούν αυτές οι δύο πύλες που εκτελούνται σε μέγιστη κλίμακα απόδοσης, το σύστημα ESXi/vmxnet3 απαιτεί 4 επιπλέον πυρήνες (δύο πυρήνες για καθεμία από τις δύο πύλες που αναπτύσσονται). Ως εκ τούτου, απαιτούνται συνολικά 20 πυρήνες για την εκτέλεση 2 πυλών σε ένα σύστημα 24 πυρήνων.
- Οι λειτουργίες χρονοπρογραμματισμού δικτύου ESXi vmxnet3 πρέπει να έχουν 2 πυρήνες δεσμευμένους ανά εικονική μηχανή πύλης (VM), ανεξάρτητα από τον αριθμό των πυρήνων που έχουν εκχωρηθεί στην πύλη.
- Η CPU πρέπει να υποστηρίζει και να ενεργοποιεί τα ακόλουθα σύνολα οδηγιών: AES-NI, SSSE3, SSE4, RDTSC, RDSEED, RDRAND, AVX/AVX2/AVX512.
- Τουλάχιστον 4 GB RAM πρέπει να είναι διαθέσιμα στο σύστημα διακομιστή εκτός από τη μνήμη που έχει εκχωρηθεί στις εικονικές μηχανές PGW (VM). Μία εικονική μηχανή πύλης απαιτεί μνήμη RAM 16 GB ή μνήμη RAM 32 GB εάν είναι ενεργοποιημένος ο έλεγχος ταυτότητας βάσει πιστοποιητικών.
- Τουλάχιστον 150 GB μαγνητικός ή SSD, μόνιμος τόμος δίσκου (Μία εικονική μηχανή πύλης απαιτεί τόμο δίσκου 64 GB ή 96 GB, εάν είναι ενεργοποιημένος ο έλεγχος ταυτότητας βάσει πιστοποιητικών).
- Ελάχιστη απαιτούμενη απόδοση IOPS: 200 IOPS.
- Προτιμάται να υπάρχουν τουλάχιστον 1x10Ge θύρες διασύνδεσης δικτύου και 2 θύρες κατά την ενεργοποίηση της διασύνδεσης παράδοσης πύλης συνεργάτη (υποστηρίζονται 1Ge NIC, αλλά θα υπάρξει συμφόρηση της απόδοσης). Οι φυσικές κάρτες NIC που υποστηρίζουν SR-IOV είναι τα chipset Intel 82599/82599ES και Intel X710/XL710. (Ανατρέξτε στον οδηγό «Ενεργοποίηση SR-IOV»).
Σημείωση: Το SR-IOV δεν υποστηρίζει σύνδεση NIC. Για πλεονάζουσες ζεύξεις uplink, χρησιμοποιήστε ESXi vSwitch.
- Η πύλη VMware SD-WAN αποτελεί φόρτο εργασίας εντατικής λειτουργίας επιπέδου δεδομένων που απαιτεί ειδικούς κύκλους CPU για τη διασφάλιση της βέλτιστης απόδοσης και αξιοπιστίας. Η εκπλήρωση αυτών των καθορισμένων ρυθμίσεων απαιτείται για να διασφαλιστεί ότι η εικονική μηχανή πύλης δεν προκαλεί υπερ-εγγραφή του υποκείμενου υλικού και δεν προκαλεί ενέργειες που μπορούν να αποσταθεροποιήσουν την υπηρεσία πύλης (π.χ. διέλευση ορίου NUMA, μνήμη ή/και υπερ-συνδρομή vCPU).
- Βεβαιωθείτε ότι η εικονική μηχανή πύλης συνεργατών SD-WAN και οι πόροι που χρησιμοποιούνται για την υποστήριξή της χωρούν σε έναν κόμβο NUMA.
- Όταν είναι δυνατόν, προσπαθήστε για επίτευξη πλήρους κάθετης εναρμόνισης μεταξύ των διασυνδέσεων δικτύου, της μνήμης, των φυσικών CPU και των εικονικών μηχανών σε έναν μόνο κόμβο NUMA.
-
Σημείωση: Διαμορφώστε τις ρυθμίσεις BIOS κεντρικού υπολογιστή ως εξής:
- Υπερνηματική - Απενεργοποιημένη
- Εξοικονόμηση ενέργειας - Απενεργοποίηση
- CPU Turbo - Ενεργοποιημένο
- AES-NI - Ενεργοποιημένο
- Παρεμβολή κόμβου NUMA - Απενεργοποιημένη
Παράδειγμα προδιαγραφών διακομιστή
NIC Chipset | Υλικό | Προδιαγραφή |
---|---|---|
Intel 82599/82599ES | HP DL380G9 | http://www.hp.com/hpinfo/newsroom/press_kits/2014/ComputeEra/HP_ProLiantDL380_DataSheet.pdf |
Intel X710/XL710 | Dell PowerEdge R640 | https://www.dell.com/en-us/work/shop/povw/poweredge-r640
|
Intel X710/XL710 | Supermicro SYS-6018U-TRTP+ | https://www.supermicro.com/en/products/system/1U/6018/SYS-6018U-TRTP_.cfm
|
Απαιτούμενες προδιαγραφές NIC για υποστήριξη SR-IOV
Κατασκευαστής υλικού | Έκδοση υλικολογισμικού | Πρόγραμμα οδήγησης κεντρικού υπολογιστή για Ubuntu 18.04 | Πρόγραμμα οδήγησης κεντρικού υπολογιστή για ESXi 6.7 |
---|---|---|---|
Ελεγκτής XL710 Ethernet της Intel Corporation διπλής θύρας για QSFP+ 40GbE | 7.0 | 2.10.19.30 | 1.8.6 και 1.10.9.0 |
Ελεγκτής X710 Ethernet της Intel Corporation διπλής θύρας για 10GbE SFP+ | 7.0 | 2.10.19.30 | 1.8.6 και 1.10.9.0 |
Ελεγκτής X710 Ethernet της Intel Corporation τετραπλής θύρας για 10GbE SFP+ | 7.0 | 2.10.19.30 | 1.8.6 και 1.10.9.0 |
Κάρτα Dell rNDC X710/350 | nvm 7.10 και FW 19.0.12 | 2.10.19.30 | 1.8.6 και 1.10.9.0 |
Υποστηριζόμενες εκδόσεις υπερεπόπτη
Υπερεπόπτης | Υποστηριζόμενες εκδόσεις |
---|---|
VMware |
|
KVM |
|
Πύλη SD-WAN Προδιαγραφές εικονικής μηχανής (VM)
- Εάν χρησιμοποιείται VMware ESXi:
- Η ευαισθησία καθυστέρησης πρέπει να οριστεί σε «Υψηλή» (High).
- Διαδικασία (Προσαρμογή ευαισθησίας καθυστέρησης)
- Περιηγηθείτε στην εικονική μηχανή του vSphere Client.
- Για να βρείτε μια εικονική μηχανή, επιλέξτε κέντρο δεδομένων, φάκελο, σύμπλεγμα, ομάδα πόρων ή κεντρικό υπολογιστή.
- Κάντε κλικ στην καρτέλα Εικονικές μηχανές (VMs).
- Κάντε δεξί κλικ στην εικονική μηχανή και κάντε κλικ στην επιλογή Επεξεργασία ρυθμίσεων (Edit Settings).
- Κάντε κλικ στην επιλογή Επιλογές εικονικής μηχανής (VM Options) και, στη συνέχεια, κάντε κλικ στην επιλογή Για προχωρημένους (Advanced).
- Επιλέξτε μια ρύθμιση από το αναπτυσσόμενο μενού Ευαισθησία καθυστέρησης (Latency Sensitivity).
- Κάντε κλικ στο OK.
- Περιηγηθείτε στην εικονική μηχανή του vSphere Client.
- Η δέσμευση CPU έχει οριστεί στο 100%.
- Τα μερίδια της CPU έχουν οριστεί σε Υψηλά (High).
- Το όριο CPU πρέπει να οριστεί σε Απεριόριστο (Unlimited).
- 8 vCPU (υποστηρίζονται 4vCPU, αλλά να αναμένετε χαμηλότερη απόδοση).
Σημαντικό: Όλοι οι πυρήνες vCPU θα πρέπει να αντιστοιχιστούν στην ίδια υποδοχή με την παράμετρο πυρήνων ανά υποδοχή ρυθμισμένη είτε σε 8 με 8 vCPU είτε σε 4 αν χρησιμοποιούνται 4 vCPU.Σημείωση: Η υπερνηματική πρέπει να απενεργοποιηθεί για να επιτευχθεί η μέγιστη απόδοση.
- Διαδικασία για την εκχώρηση πόρων CPU:
- Κάντε κλικ στην επιλογή Εικονικές μηχανές (Virtual Machines) στο απόθεμα VMware Host Client.
- Κάντε δεξί κλικ σε μια εικονική μηχανή από τη λίστα και επιλέξτε Επεξεργασία ρυθμίσεων (Edit settings) από το αναδυόμενο μενού.
- Στην καρτέλα Εικονικό υλικό (Virtual Hardware), επεκτείνετε τη CPU και εκχωρήστε τη χωρητικότητα CPU για την εικονική μηχανή.
Επιλογή Περιγραφή Δέσμευση (Reservation) Εγγυημένη εκχώρηση CPU για αυτή την εικονική μηχανή. Όριο (Limit) Το ανώτατο όριο για την εκχώρηση CPU αυτής της εικονικής μηχανής. Επιλέξτε Απεριόριστο για να καθορίσετε ότι δεν θα υπάρχει ανώτερο όριο. Μερίδια (Shares) Τα μερίδια CPU για αυτήν την εικονική μηχανή σε σχέση με το σύνολο της γονικής συσκευής. Οι αδελφές εικονικές μηχανές μοιράζονται πόρους σύμφωνα με τις σχετικές τιμές των μεριδίων τους, με βάση τη δέσμευση και το όριο. Ορίστε τις επιλογές Χαμηλά, Κανονικά ή Υψηλά, οι οποίες καθορίζουν τις τιμές μεριδίων αντίστοιχα σε αναλογία 1:2:4. Ορίστε την επιλογή Προσαρμοσμένα για να δώσετε σε κάθε εικονική μηχανή έναν συγκεκριμένο αριθμό μεριδίων, που εκφράζουν μια αναλογική βαρύτητα.
- Διαδικασία (Προσαρμογή ευαισθησίας καθυστέρησης)
- Η συνάφεια CPU πρέπει να είναι ενεργοποιημένη. Ακολουθήστε τα παρακάτω βήματα.
- Στο vSphere Web Client μεταβείτε στην καρτέλα ρυθμίσεις Ρυθμίσεις εικονικής μηχανής (VM Settings).
- Επιλέξτε την καρτέλα Επιλογές (Options) και κάντε κλικ στην επιλογή Γενικές για προχωρημένους (Advanced General ) >Παράμετροι διαμόρφωσης (Configuration Parameters).
- Προσθέστε καταχωρήσεις για numa.nodeAffinity=0, 1, ..., όπου 0 και 1 είναι οι αριθμοί υποδοχών επεξεργαστή.
- Το vNIC πρέπει να είναι τύπου «vmxnet3» (ή SR-IOV, ανατρέξτε στην ενότητα SR-IIOV για λεπτομέρειες υποστήριξης).
- Τουλάχιστον οποιαδήποτε από τις ακόλουθες vNIC:
- Η πρώτη vNIC είναι η δημόσια (εξωτερική) διασύνδεση, η οποία πρέπει να είναι μια μη επισημασμένη διασύνδεση.
- Η δεύτερη vNIC είναι προαιρετική και λειτουργεί ως η ιδιωτική (εσωτερική) διασύνδεση που μπορεί να υποστηρίξει την προσθήκη ετικετών VLAN dot1q και Q-in-Q. Αυτή η διασύνδεση βρίσκεται συνήθως στην πλευρά του δρομολογητή PE ή του μεταγωγέα L3.
- Προαιρετική vNIC (εάν απαιτείται ξεχωριστή διασύνδεση διαχείρισης/OAM).
- Η δέσμευση μνήμης ορίζεται στην επιλογή «μέγιστο».
- Μνήμη 16 GB (απαιτείται μνήμη RAM 32 GB κατά την ενεργοποίηση του ελέγχου ταυτότητας που βασίζεται σε πιστοποιητικά).
- 64 GB εικονικού δίσκου (απαιτείται δίσκος 96 GB κατά την ενεργοποίηση ελέγχου ταυτότητας που βασίζεται σε πιστοποιητικά).
Σημείωση: Το VMware χρησιμοποιεί τις παραπάνω καθορισμένες ρυθμίσεις για να αποκτήσει αριθμούς κλίμακας και απόδοσης. Οι ρυθμίσεις που δεν αντιστοιχούν στις παραπάνω απαιτήσεις δεν ελέγχονται από το VMware και μπορούν να αποφέρουν απρόβλεπτα αποτελέσματα απόδοσης και κλίμακας
- Η ευαισθησία καθυστέρησης πρέπει να οριστεί σε «Υψηλή» (High).
- Εάν χρησιμοποιείται KVM:
- Ο τύπος της vNIC πρέπει να είναι «Γέφυρα Linux» (Linux Bridge). (Απαιτείται SR-IOV για υψηλή απόδοση, ανατρέξτε στην ενότητα SR-IOV για λεπτομέρειες υποστήριξης).
- 8 vCPU (υποστηρίζονται 4vCPU, αλλά να αναμένετε χαμηλότερη απόδοση).
Σημαντικό: Όλοι οι πυρήνες vCPU θα πρέπει να αντιστοιχιστούν στην ίδια υποδοχή με την παράμετρο πυρήνων ανά υποδοχή ρυθμισμένη είτε σε 8 με 8 vCPU είτε σε 4 αν χρησιμοποιούνται 4 vCPU.Σημείωση: Η υπερνηματική πρέπει να απενεργοποιηθεί για να επιτευχθεί η μέγιστη απόδοση.
- Μνήμη 16 GB (απαιτείται μνήμη RAM 32 GB κατά την ενεργοποίηση ελέγχου ταυτότητας βάσει πιστοποιητικών)
- Τουλάχιστον οποιαδήποτε από τις ακόλουθες vNIC:
- Η πρώτη vNIC είναι η δημόσια (εξωτερική) διασύνδεση, η οποία πρέπει να είναι μια μη επισημασμένη διασύνδεση.
- Η δεύτερη vNIC είναι προαιρετική και λειτουργεί ως η ιδιωτική (εσωτερική) διασύνδεση που μπορεί να υποστηρίξει την προσθήκη ετικετών VLAN dot1q και Q-in-Q. Αυτή η διασύνδεση βρίσκεται συνήθως στην πλευρά του δρομολογητή PE ή του μεταγωγέα L3.
- Προαιρετική vNIC (εάν απαιτείται ξεχωριστή διασύνδεση διαχείρισης/OAM).
- 64 GB εικονικού δίσκου (απαιτείται δίσκος 96 GB κατά την ενεργοποίηση ελέγχου ταυτότητας που βασίζεται σε πιστοποιητικά).
Απαιτήσεις τείχους προστασίας/NAT
- Το τείχος προστασίας πρέπει να επιτρέπει την εξερχόμενη κυκλοφορία από την Πύλη SD-WAN σε TCP/443 (για επικοινωνία με το SASE Orchestrator).
- Το τείχος προστασίας πρέπει να επιτρέπει την εισερχόμενη κυκλοφορία από το Internet σε UDP/2426 (VCMP), UDP/4500 και UDP/500. Εάν δεν χρησιμοποιείται NAT, τότε το τείχος προστασίας πρέπει επίσης να επιτρέπει IP/50 (ESP).
- Εάν χρησιμοποιείται NAT, οι παραπάνω θύρες πρέπει να μεταφραστούν σε μια διεύθυνση IP με εξωτερική πρόσβαση. Υποστηρίζονται τόσο οι μεταφράσεις NAT 1:1 όσο και οι μεταφράσεις θύρας.
Αποθετήριο Git με πρότυπα και δείγματα
Το ακόλουθο αποθετήριο Git περιέχει πρότυπα και δείγματα.
git clone https://gitlab.eng.vmware.com/velocloud/velocloud.src.git
Χρήση DPDK σε Πύλες SD-WAN
Για να βελτιώσουν την απόδοση της ταχύτητας μετάδοσης των πακέτων, οι Πύλες SD-WAN επωφελούνται από την τεχνολογία Data Plane Development Kit (DPDK). Το DPDK είναι ένα σύνολο βιβλιοθηκών και προγραμμάτων οδήγησης επιπέδου δεδομένων που παρέχεται από την Intel για την αποφόρτιση της επεξεργασίας πακέτων TCP από τον πυρήνα του λειτουργικού συστήματος σε διεργασίες που εκτελούνται σε χώρο χρήστη με αποτέλεσμα την υψηλότερη ταχύτητα μετάδοσης πακέτων. Για περισσότερες λεπτομέρειες, ανατρέξτε στη διεύθυνση https://www.dpdk.org/.
Σε πύλες που φιλοξενούνται στο VMware και σε πύλες συνεργατών, το DPDK χρησιμοποιείται σε διασυνδέσεις που διαχειρίζονται την κυκλοφορία επιπέδου δεδομένων και δεν χρησιμοποιείται σε διασυνδέσεις που προορίζονται για κυκλοφορία επιπέδου διαχείρισης. Για παράδειγμα, σε μια τυπική πύλη που φιλοξενείται στο VMware, το eth0 χρησιμοποιείται για την κυκλοφορία του επιπέδου διαχείρισης και δεν θα χρησιμοποιεί DPDK. Αντίθετα, τα eth1, eth2 και eth3 χρησιμοποιούνται για την κυκλοφορία του επιπέδου δεδομένων και χρησιμοποιούν DPDK.