150 lines
6.6 KiB
ReStructuredText
150 lines
6.6 KiB
ReStructuredText
Architecture du cluster
|
|
=======================
|
|
|
|
Vue d'ensemble
|
|
--------------
|
|
|
|
.. figure:: /schemas/architecture-ensemble.svg
|
|
:alt: Vue d'ensemble : Internet, bordures, deux clusters, route reflectors, services partagés et hyperviseurs
|
|
:align: center
|
|
:width: 100%
|
|
:class: only-light
|
|
|
|
Architecture cible. Trait bleu : plan de données (VXLAN). Tirets violets : plan de contrôle
|
|
(BGP). Tirets verts : orchestration. Trait orange : trafic Internet. Cadre en pointillés :
|
|
élément à venir, avec son ticket.
|
|
|
|
.. figure:: /schemas/architecture-ensemble-dark.svg
|
|
:alt: Vue d'ensemble : Internet, bordures, deux clusters, route reflectors, services partagés et hyperviseurs
|
|
:align: center
|
|
:width: 100%
|
|
:class: only-dark
|
|
|
|
Architecture cible. Trait bleu : plan de données (VXLAN). Tirets violets : plan de contrôle
|
|
(BGP). Tirets verts : orchestration. Trait orange : trafic Internet. Cadre en pointillés :
|
|
élément à venir, avec son ticket.
|
|
|
|
Plusieurs clusters, chacun avec son underlay, ses deux routeurs et un route reflector, sont reliés
|
|
en eBGP entre eux et aux **routeurs de bordure**. Ce qui n'existe pas encore est décrit sur son
|
|
ticket :
|
|
|
|
* **Internet** (`#31 <https://git.g3e.fr/syonad/two/issues/31>`_,
|
|
`#42 <https://git.g3e.fr/syonad/two/issues/42>`_). Les bordures partagent avec les hyperviseurs
|
|
un VXLAN public (VNI 66001) et portent toutes la même IP et la même MAC de gateway. Elles restent
|
|
sans état : tout NAT vit sur un hyperviseur. Trois façons de sortir :
|
|
|
|
* une VM qui porte une IP publique a une NIC sur un subnet public de son VPC, relié au subnet
|
|
public de l'hôte ;
|
|
* une **IP flottante** est traduite 1:1, sans état, par l'hyperviseur de la VM ;
|
|
* les autres VM sortent par la **passerelle NAT de leur VPC**, que la VRF atteint par une route
|
|
par défaut de type 5, si le VPC autorise Internet.
|
|
|
|
* **Orchestration** (`#72 <https://git.g3e.fr/syonad/two/issues/72>`_). Le broker et
|
|
l'orchestrateur sont des VM du VNI 66000, partagé entre clusters. Les agents s'y connectent
|
|
**en sortie**, par leur passerelle ; les routeurs de chaque cluster les NAT vers le VNI 66000.
|
|
L'orchestrateur a aussi une patte dans le VNI 66001 : son API est joignable depuis Internet.
|
|
|
|
* **Route reflectors.** Un par cluster, pour qu'un incident sur un cluster ne coupe pas les deux
|
|
sessions EVPN. Chaque lien entre routeurs et route reflector est en ``169.254.0.0/28``, propre
|
|
à son cluster.
|
|
|
|
Le lab (:doc:`/developpement/lab`) simplifie : un seul cluster, qui porte les deux route
|
|
reflectors.
|
|
|
|
Topologie
|
|
---------
|
|
|
|
.. figure:: /schemas/architecture-cluster.svg
|
|
:alt: Détail d'un cluster : routeurs, route reflectors, hyperviseurs, netns et VRF des VPC, plans de données et de contrôle
|
|
:align: center
|
|
:width: 100%
|
|
:class: only-light
|
|
|
|
Détail d'un cluster et de deux hyperviseurs. Trait bleu : plan de données (VXLAN). Tirets
|
|
violets : plan de contrôle (sessions BGP). Pointillé gris : créé par l'agent.
|
|
|
|
.. figure:: /schemas/architecture-cluster-dark.svg
|
|
:alt: Détail d'un cluster : routeurs, route reflectors, hyperviseurs, netns et VRF des VPC, plans de données et de contrôle
|
|
:align: center
|
|
:width: 100%
|
|
:class: only-dark
|
|
|
|
Détail d'un cluster et de deux hyperviseurs. Trait bleu : plan de données (VXLAN). Tirets
|
|
violets : plan de contrôle (sessions BGP). Pointillé gris : créé par l'agent.
|
|
|
|
Deux plans distincts, à ne pas confondre au moment du diagnostic :
|
|
|
|
Plan de données
|
|
les tunnels VXLAN entre hyperviseurs, encapsulés sur le réseau qui les relie.
|
|
|
|
Plan de contrôle
|
|
ce qui dit à chaque hyperviseur où se trouvent les adresses MAC des autres. C'est le rôle de
|
|
FRR et du route reflector.
|
|
|
|
Ce que l'agent suppose déjà en place
|
|
------------------------------------
|
|
|
|
L'agent ne configure **que** son propre hyperviseur, et seulement à partir du bridge d'uplink.
|
|
Tout ce qui est en amont — adressage des hyperviseurs, routage entre eux, plan de contrôle — lui
|
|
préexiste et n'est jamais créé ni vérifié par lui.
|
|
|
|
Concrètement, il attend :
|
|
|
|
* le bridge d'uplink de la configuration (``br-000000`` par défaut), avec l'interface physique
|
|
esclave et l'adresse de l'hyperviseur portée par le bridge — c'est ce que fait
|
|
``deploy.sh --bootstrap``, voir :doc:`/demarrage/installation` ;
|
|
* une connectivité IP entre hyperviseurs sur cette adresse, port UDP **4789** ouvert dans les
|
|
deux sens ;
|
|
* un plan de contrôle qui peuple la table de transfert VXLAN — voir ci-dessous.
|
|
|
|
Pourquoi un plan de contrôle est nécessaire
|
|
-------------------------------------------
|
|
|
|
L'agent crée les interfaces VXLAN sur le port 4789 **sans groupe multicast et avec
|
|
l'apprentissage désactivé** (``Learning: false``). Il n'y a donc ni inondation multicast, ni
|
|
apprentissage des adresses MAC depuis le trafic, ni voisin statique configuré.
|
|
|
|
.. important::
|
|
|
|
Conséquence directe : sur un même VNI, **rien ne traverse d'un hyperviseur à l'autre** tant
|
|
qu'un composant externe n'a pas peuplé la table de transfert (FDB) du VXLAN. Sur un nœud
|
|
isolé le trafic reste sur le bridge local et cette absence ne se voit pas ; elle apparaît dès
|
|
le deuxième nœud.
|
|
|
|
C'est exactement le rôle que remplissent FRR sur chaque hyperviseur et le route reflector qui
|
|
les fait converger.
|
|
|
|
MTU
|
|
---
|
|
|
|
.. warning::
|
|
|
|
L'agent crée bridges, veth et interfaces VXLAN avec un **MTU figé à 1500**. VXLAN ajoute 50
|
|
octets d'encapsulation : le réseau qui relie les hyperviseurs doit donc accepter au moins
|
|
**1550 octets** de MTU, sinon les paquets pleine taille des VM sont perdus.
|
|
|
|
Le symptôme est trompeur : le ping passe, les petites requêtes passent, les transferts
|
|
volumineux et les poignées de main TLS échouent.
|
|
|
|
Hyperviseurs sans état
|
|
----------------------
|
|
|
|
L'hyperviseur est **stateless** — sa racine est en tmpfs, rien de ce que pose
|
|
``deploy.sh --bootstrap`` ne survit à un redémarrage, et le script est rejoué à chaque démarrage.
|
|
|
|
Toute configuration ajoutée à un hyperviseur — FRR compris — doit donc être posée par un
|
|
mécanisme rejouable au démarrage, jamais par une modification manuelle d'un fichier sous
|
|
``/etc``.
|
|
|
|
Adressage
|
|
---------
|
|
|
|
.. note::
|
|
|
|
**À rédiger** — cette page ne décrit pas encore le plan d'adressage du cluster. À documenter :
|
|
|
|
* la plage utilisée pour les adresses d'hyperviseurs, et son rapport avec ``br-000000`` ;
|
|
* l'allocation des VNI VXLAN : qui la tient, et comment on évite les collisions, puisque
|
|
l'agent ne valide pas ``vxlan_id`` ;
|
|
* l'usage prévu de ``br-public``, créé vide et réservé par le bootstrap ;
|
|
* le plan d'adressage des VPC, et ce qui garantit qu'ils ne se recouvrent pas entre clients.
|