Merge branch 'feature-54'
All checks were successful
Documentation / publish (push) Successful in 1m23s

This commit is contained in:
GnomeZworc 2026-10-13 13:30:43 +02:00
commit 1014712366
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
18 changed files with 292 additions and 67 deletions

View file

@ -34,7 +34,7 @@ démarrage, à partir de la section ``bgp`` de ``agent.yml`` (:doc:`/exploitatio
bgp: bgp:
asn: 64600 asn: 64600
route_reflectors: [10.255.255.1] route_reflectors: [10.255.255.1, 10.255.255.2]
L'agent en déduit la configuration ci-dessous ; le ``router-id`` est l'adresse IPv4 primaire de L'agent en déduit la configuration ci-dessous ; le ``router-id`` est l'adresse IPv4 primaire de
``default_interface``, la seule valeur qui change d'un hyperviseur à l'autre. ``hostname`` et ``default_interface``, la seule valeur qui change d'un hyperviseur à l'autre. ``hostname`` et
@ -49,6 +49,7 @@ L'agent en déduit la configuration ci-dessous ; le ``router-id`` est l'adresse
neighbor fabric remote-as 64600 neighbor fabric remote-as 64600
neighbor fabric capability extended-nexthop neighbor fabric capability extended-nexthop
neighbor 10.255.255.1 peer-group fabric neighbor 10.255.255.1 peer-group fabric
neighbor 10.255.255.2 peer-group fabric
! !
address-family l2vpn evpn address-family l2vpn evpn
neighbor fabric activate neighbor fabric activate
@ -65,9 +66,9 @@ L'agent en déduit la configuration ci-dessous ; le ``router-id`` est l'adresse
Ce qu'elle établit : Ce qu'elle établit :
* **Une seule session**, en iBGP dans l'AS 64600, vers la loopback du route reflector * **Une session par route reflector**, en iBGP dans l'AS 64600, vers sa loopback
(``10.255.255.1``), jointe par la passerelle par défaut — le routeur de cluster l'a apprise du (``10.255.255.1``, ``10.255.255.2``), jointe par la passerelle par défaut — le routeur de
route reflector (:doc:`routeurs`). Aucune adresse d'un autre hyperviseur n'est écrite : ajouter cluster l'a apprise du route reflector (:doc:`routeurs`). Aucune adresse d'un autre hyperviseur n'est écrite : ajouter
un nœud ne touche pas la configuration des autres. un nœud ne touche pas la configuration des autres.
* **EVPN seulement** : l'IPv4 unicast n'est pas activé (``no bgp default ipv4-unicast``). * **EVPN seulement** : l'IPv4 unicast n'est pas activé (``no bgp default ipv4-unicast``).
``advertise-all-vni`` annonce les VNI de toutes les interfaces VXLAN que FRR voit, et donc ``advertise-all-vni`` annonce les VNI de toutes les interfaces VXLAN que FRR voit, et donc

View file

@ -3,7 +3,9 @@ VM route reflector
Le route reflector est le point de rendez-vous du plan de contrôle : plutôt que de maintenir une Le route reflector est le point de rendez-vous du plan de contrôle : plutôt que de maintenir une
session entre chaque paire d'hyperviseurs, chaque hyperviseur ouvre une session vers le route session entre chaque paire d'hyperviseurs, chaque hyperviseur ouvre une session vers le route
reflector, qui redistribue. reflector, qui redistribue. Le cluster en compte **deux**, configurés à l'identique hormis leurs
adresses : chaque hyperviseur ouvre une session vers chacun, et la perte de l'un ne doit pas
interrompre le plan de contrôle (`#54 <https://git.g3e.fr/syonad/two/issues/54>`_).
Il tourne lui-même en machine virtuelle, ce qui crée une dépendance circulaire à traiter Il tourne lui-même en machine virtuelle, ce qui crée une dépendance circulaire à traiter
explicitement : la VM qui porte le plan de contrôle du cluster est hébergée par le cluster. explicitement : la VM qui porte le plan de contrôle du cluster est hébergée par le cluster.
@ -11,7 +13,7 @@ explicitement : la VM qui porte le plan de contrôle du cluster est hébergée p
Adressage Adressage
--------- ---------
Le route reflector est **sur le même segment L2 que les hyperviseurs**, avec trois adresses : Chaque route reflector est **sur le même segment L2 que les hyperviseurs**, avec trois adresses :
.. list-table:: .. list-table::
:header-rows: 1 :header-rows: 1
@ -23,15 +25,16 @@ Le route reflector est **sur le même segment L2 que les hyperviseurs**, avec tr
* - une adresse de ``192.168.14.0/24`` * - une adresse de ``192.168.14.0/24``
- interface principale - interface principale
- celle de n'importe quelle machine du segment ; les réponses aux hyperviseurs en partent - celle de n'importe quelle machine du segment ; les réponses aux hyperviseurs en partent
* - ``169.254.0.3/28`` * - ``169.254.0.3/28`` (rr1), ``169.254.0.4/28`` (rr2)
- interface principale, **adresse secondaire** - interface principale, **adresse secondaire**
- le lien avec les routeurs de cluster (``169.254.0.1`` et ``.2``), sur le même L2 - le lien avec les routeurs de cluster (``169.254.0.1`` et ``.2``), sur le même L2
* - ``10.255.255.1/32`` * - ``10.255.255.1/32`` (rr1), ``10.255.255.2/32`` (rr2)
- ``lo1``, interface ``dummy`` - ``lo1``, interface ``dummy``
- ``router-id``, ``cluster-id`` et source des sessions EVPN ; seule route annoncée aux routeurs - ``router-id``, ``cluster-id`` et source des sessions EVPN ; seule route annoncée aux routeurs
Les hyperviseurs ne connaissent que la loopback : ils ouvrent leur session vers ``10.255.255.1`` Les hyperviseurs ne connaissent que les loopbacks : ils ouvrent leurs sessions vers
par leur passerelle (``192.168.14.1``), les routeurs l'ayant apprise du route reflector en eBGP. ``10.255.255.1`` et ``10.255.255.2`` par leur passerelle (``192.168.14.1``), les routeurs les
ayant apprises des route reflectors en eBGP.
Aucune adresse d'hyperviseur n'est déclarée côté route reflector : il accepte toute session venant Aucune adresse d'hyperviseur n'est déclarée côté route reflector : il accepte toute session venant
du segment (``bgp listen range``). du segment (``bgp listen range``).
@ -60,6 +63,10 @@ Configuration de FRR
.. literalinclude:: ../../test/e2e/topologies/frr/rr1.conf .. literalinclude:: ../../test/e2e/topologies/frr/rr1.conf
:language: text :language: text
Celle de rr2 (``test/e2e/topologies/frr/rr2.conf``) ne diffère que par ``hostname`` et
l'adresse de sa loopback, partout où elle apparaît : ``router-id``, ``cluster-id``,
``update-source``, ``network`` et ``RR-LOOPBACK-OUT``.
Ce qu'elle établit : Ce qu'elle établit :
* **Routeurs de cluster** (groupe ``CLUSTER``) : eBGP vers l'AS 65100, avec BFD, en IPv4 * **Routeurs de cluster** (groupe ``CLUSTER``) : eBGP vers l'AS 65100, avec BFD, en IPv4
@ -71,6 +78,9 @@ Ce qu'elle établit :
configuration — alors que le route reflector est en AS 65000 face aux routeurs. configuration — alors que le route reflector est en AS 65000 face aux routeurs.
* **EVPN** : seule famille activée vers les hyperviseurs, qui sont ses clients * **EVPN** : seule famille activée vers les hyperviseurs, qui sont ses clients
(``route-reflector-client``) : il réfléchit les routes EVPN de chacun vers tous les autres. (``route-reflector-client``) : il réfléchit les routes EVPN de chacun vers tous les autres.
* **Un** ``cluster-id`` **propre à chaque route reflector** (sa loopback), et aucune session
entre eux : chaque hyperviseur étant client des deux, chacun reçoit chaque route en double, une
fois par route reflector ; si l'un tombe, les routes reçues de l'autre restent en place.
.. warning:: .. warning::
@ -89,7 +99,8 @@ Ce qu'elle établit :
* la création de la VM : ressources, subnet et mode utilisés (``bridge``, pour pouvoir la * la création de la VM : ressources, subnet et mode utilisés (``bridge``, pour pouvoir la
lancer sur n'importe quel hyperviseur), et s'il s'agit d'une VM créée par l'agent comme les lancer sur n'importe quel hyperviseur), et s'il s'agit d'une VM créée par l'agent comme les
autres ou d'un cas particulier — l'image, elle, est l'image golden de :doc:`image-qcow2` ; autres ou d'un cas particulier — l'image, elle, est l'image golden de :doc:`image-qcow2` ;
* la redondance : une seule VM route reflector, ou deux, et sur quels hyperviseurs ; * le placement des deux VM : jamais sur le même hyperviseur, et de préférence pas sur un
hyperviseur dont la perte isolerait l'autre ;
* la procédure de reconstruction — l'état du cluster pendant l'absence du route reflector est * la procédure de reconstruction — l'état du cluster pendant l'absence du route reflector est
décrit ci-dessus : plus de trafic entre hyperviseurs ; décrit ci-dessus : plus de trafic entre hyperviseurs ;
* la procédure d'amorçage : ce qui fonctionne, et dans quel ordre, quand on démarre un cluster * la procédure d'amorçage : ce qui fonctionne, et dans quel ordre, quand on démarre un cluster

View file

@ -18,9 +18,9 @@ Routeurs de bordure
Routeur de cluster Routeur de cluster
------------------ ------------------
Le routeur de cluster est la passerelle des hyperviseurs et le voisin eBGP du route reflector, dont Le routeur de cluster est la passerelle des hyperviseurs et le voisin eBGP des deux route
il apprend la loopback : c'est par lui que chaque hyperviseur joint ``10.255.255.1`` pour ouvrir sa reflectors, dont il apprend les loopbacks : c'est par lui que chaque hyperviseur joint
session EVPN (:doc:`route-reflector`). ``10.255.255.1`` et ``10.255.255.2`` pour ouvrir ses sessions EVPN (:doc:`route-reflector`).
Adressage Adressage
~~~~~~~~~ ~~~~~~~~~
@ -37,8 +37,8 @@ Adressage
- passerelle par défaut des hyperviseurs et du route reflector - passerelle par défaut des hyperviseurs et du route reflector
* - ``169.254.0.1/28`` * - ``169.254.0.1/28``
- même interface, **adresse secondaire** - même interface, **adresse secondaire**
- lien avec le route reflector (``169.254.0.3``) ; ``router-id`` ; le second routeur prend - lien avec les route reflectors (``169.254.0.3`` et ``.4``) ; ``router-id`` ; le second
``169.254.0.2`` routeur prend ``169.254.0.2``
Le MTU minimal du segment, imposé par VXLAN, est donné plus bas. Le MTU minimal du segment, imposé par VXLAN, est donné plus bas.
@ -52,13 +52,16 @@ Configuration de FRR
Ce qu'elle établit : Ce qu'elle établit :
* **Route reflector** : eBGP de l'AS 65100 vers l'AS 65000, avec BFD, en IPv4 unicast. * **Route reflectors** : une session eBGP vers chacun, de l'AS 65100 vers l'AS 65000, avec BFD,
* **En entrée**, seule la loopback du route reflector est acceptée (``RR-IN``) ; **en sortie**, en IPv4 unicast.
* **En entrée**, seules les loopbacks des route reflectors sont acceptées (``RR-IN``) ; **en sortie**,
rien n'est annoncé (``NO-OUT``). Symétrique de ``RR-LOOPBACK-OUT`` et ``NO-IN`` côté route rien n'est annoncé (``NO-OUT``). Symétrique de ``RR-LOOPBACK-OUT`` et ``NO-IN`` côté route
reflector : chaque côté filtre, aucun ne dépend du filtre de l'autre. reflector : chaque côté filtre, aucun ne dépend du filtre de l'autre.
* **Aucune session avec les hyperviseurs** : le routeur leur sert de passerelle, pas de voisin BGP. * **Aucune session avec les hyperviseurs** : le routeur leur sert de passerelle, pas de voisin BGP.
Le route reflector déclare aussi le second routeur (``169.254.0.2``). La redondance est l'objet de Celle du second routeur (``test/e2e/topologies/frr/sw2.conf``) ne diffère que par ``hostname`` et
``router-id`` (``169.254.0.2``), que les route reflectors déclarent aussi. La redondance des
routeurs — et le mécanisme qui fait basculer la passerelle ``192.168.14.1`` — est l'objet de
`#54 <https://git.g3e.fr/syonad/two/issues/54>`_. `#54 <https://git.g3e.fr/syonad/two/issues/54>`_.
.. note:: .. note::

View file

@ -72,10 +72,13 @@ et ``evpn-3hv.yml`` (trois, pour ``s8`` et ``s9``). Le format est celui de ``lab
Les ASN, la loopback du route reflector, le lien ``169.254.0.0/28`` et le subnet des hyperviseurs Les ASN, la loopback du route reflector, le lien ``169.254.0.0/28`` et le subnet des hyperviseurs
de l'exemple sont **ceux de la production** (décision du 2026-10-04, #50) : les fichiers de de l'exemple sont **ceux de la production** (décision du 2026-10-04, #50) : les fichiers de
``test/e2e/topologies/`` restent ainsi au plus près de ce qui tourne réellement. Toutes les adresses y sont ``test/e2e/topologies/`` restent ainsi au plus près de ce qui tourne réellement. Toutes les adresses y sont
**fixées** par ``addresses`` — le route reflector en ``.2``, les hyperviseurs à partir de ``.11`` — **fixées** par ``addresses`` — les switchs en ``.2`` et ``.3``, les route reflectors en ``.4`` et ``.5``,
pour que le modèle se lise sans le plan et ne dépende pas de l'ordre de déclaration : le les hyperviseurs à partir de ``.11`` — pour que le modèle se lise sans le plan et ne dépende pas
``frr.conf`` d'un hyperviseur, écrit à la main, porte son adresse en ``router-id``. Seul le switch de l'ordre de déclaration : le ``frr.conf`` d'un hyperviseur, écrit à la main, porte son adresse en
n'en déclare pas : il porte toujours la passerelle, la première adresse du segment. ``router-id``. Les deux switchs ``sw1`` et ``sw2`` sont les routeurs du segment (rôle ``router`` de
labctl) : la passerelle, la première adresse du segment, est portée en VRRP v3 par celui qui est
maître, sans préemption — voir la section du guide de labctl sur les routeurs. Leurs
``frr.conf`` ne diffèrent que par ``hostname`` et ``router-id`` ; labctl y ajoute la strophe VRRP.
Rôles Rôles
~~~~~ ~~~~~
@ -108,7 +111,7 @@ script par celui de ``main``. L'uplink ``-u`` est l'interface qui porte la route
que ``deploy.sh`` y lit l'adresse et la passerelle qu'il déplace sur ``br-000000``. ``deploy.sh`` que ``deploy.sh`` y lit l'adresse et la passerelle qu'il déplace sur ``br-000000``. ``deploy.sh``
télécharge la release sur ``git.g3e.fr`` sans réessayer : le script attend d'abord que le serveur télécharge la release sur ``git.g3e.fr`` sans réessayer : le script attend d'abord que le serveur
réponde, à travers le switch. Les deux fichiers ``agent/`` donnent à l'agent la section ``bgp`` réponde, à travers le switch. Les deux fichiers ``agent/`` donnent à l'agent la section ``bgp``
(AS 64600, route reflector ``10.255.255.1``) et un watchdog toutes les 10 s ; (AS 64600, route reflectors ``10.255.255.1`` et ``10.255.255.2``) et un watchdog toutes les 10 s ;
``agent/two.yml`` met en plus hv1 sur le serveur DHCP intégré (``dhcp.backend: two``), ``agent/two.yml`` met en plus hv1 sur le serveur DHCP intégré (``dhcp.backend: two``),
``agent/bgp.yml`` laisse les autres sur dnsmasq. ``agent/bgp.yml`` laisse les autres sur dnsmasq.
@ -182,9 +185,9 @@ Vérifié le 2026-10-04 sur le serveur de lab, topologie ``evpn-2hv``, release `
.. note:: .. note::
**Le switch du lab est un routeur Linux avec FRR, par choix.** Il joue le rôle générique de **Les switchs du lab sont des routeurs Linux avec FRR, par choix.** Ils jouent le rôle générique
routeur de cluster : passerelle des hyperviseurs, session eBGP avec BFD vers le route reflector, de routeur de cluster : passerelle des hyperviseurs, sessions eBGP avec BFD vers les route
dont il n'accepte que la loopback (``test/e2e/topologies/frr/sw1.conf``). L'équipement réel dépend de qui reflectors, dont ils n'acceptent que les loopbacks (``test/e2e/topologies/frr/sw1.conf``). L'équipement réel dépend de qui
déploie l'infrastructure (MikroTik aujourd'hui ; Cisco, Juniper, Arista… demain) : il n'a besoin déploie l'infrastructure (MikroTik aujourd'hui ; Cisco, Juniper, Arista… demain) : il n'a besoin
que de BGP et d'EVPN, et sa configuration propre au constructeur n'a pas sa place dans le lab. que de BGP et d'EVPN, et sa configuration propre au constructeur n'a pas sa place dans le lab.
@ -234,10 +237,12 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**.
VPC sur l'autre hyperviseur (témoin) et pas celle de l'autre VPC — aucune résolution ARP VPC sur l'autre hyperviseur (témoin) et pas celle de l'autre VPC — aucune résolution ARP
- hv1, hv2 - hv1, hv2
* - ``s6-rr-loss`` * - ``s6-rr-loss``
- FRR arrêté sur le route reflector, ping continu entre les VM de ``s4`` : la session tombe, - FRR arrêté sur rr1, puis sur rr2, ping continu entre les VM
le trafic restant est **mesuré** (``INFO``) à 30 et 90 s ; au retour du route reflector, le de ``s4`` : la session vers le route reflector arrêté tombe, celle vers l'autre reste
VTEP distant est réappris et le trafic repasse — délai mesuré établie, le VTEP distant reste connu et **le trafic continue** (au moins 45 réponses sur 50
- hv1, hv2, rr1 à 30 s) ; session rétablie au redémarrage, délai mesuré ; au plus 1 % de pertes sur tout le
scénario (#54)
- hv1, hv2, rr1, rr2
* - ``s7-l3vni`` * - ``s7-l3vni``
- qualification de `#41 <https://git.g3e.fr/syonad/two/issues/41>`_ **par l'API** : VPC créées - qualification de `#41 <https://git.g3e.fr/syonad/two/issues/41>`_ **par l'API** : VPC créées
avec une ``l3vni``, l'agent pose VRF, L3VNI, transit, FRR et les routes de type 5 (``/24`` avec une ``l3vni``, l'agent pose VRF, L3VNI, transit, FRR et les routes de type 5 (``/24``
@ -262,6 +267,14 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**.
non, même hôte ou non) ; chaque VM voit la MAC de gateway de son propre hôte ; aucune MAC en non, même hôte ou non) ; chaque VM voit la MAC de gateway de son propre hôte ; aucune MAC en
double sur les quatre VNI double sur les quatre VNI
- hv2, hv3, rr1 - hv2, hv3, rr1
* - ``s10-switch-loss``
- un seul switch maître VRRP de la passerelle (lu par ``show vrrp``, pas supposé) ; interface
``underlay`` du maître coupée pendant un ping continu de hv1 vers la loopback de rr1 :
l'autre switch devient maître, les sessions EVPN de hv1 **ne tombent pas** (compteur
``dropped`` inchangé), le trafic reprend (au moins 45 réponses sur 50 à 20 s), plus long
silence sous 5 s ; interface rétablie : ses sessions eBGP reviennent et il **reste en
attente**, sans reprendre la passerelle (#54)
- hv1, sw1, sw2
``s6`` réutilise les VM de ``s4`` : le lancer après. ``s6`` réutilise les VM de ``s4`` : le lancer après.
@ -369,6 +382,15 @@ Détails et suite : `#57 <https://git.g3e.fr/syonad/two/issues/57>`_.
comme test instable ni ajouter un nouvel essai qui le masquerait ; regarder d'abord le cache ARP comme test instable ni ajouter un nouvel essai qui le masquerait ; regarder d'abord le cache ARP
de la VM (``ip neigh show <gateway>``) et l'état de la session côté VM. de la VM (``ip neigh show <gateway>``) et l'état de la session côté VM.
Le 2026-10-13, labctl ``0.2.0``, release ``0.2.0rc008`` et binaires de l'arbre courant,
``evpn-3hv.yml`` avec deux switchs et deux route reflectors (#54) : ``s1`` à ``s10`` **313
réussi(s), 0 échoué(s)** ; lab monté en 8 min. Segments sur un bridge de l'hôte, sept taps ;
``sw2`` maître VRRP au démarrage, ``sw1`` en attente avec sa passerelle coupée. ``s6`` : 0
requête perdue sur 510 pendant l'arrêt de rr1 puis de rr2, session rétablie 14 s après le
redémarrage de FRR. ``s10`` : ``sw2`` coupé, ``sw1`` maître, 14 requêtes perdues, plus long
silence 2,8 s, sessions EVPN de hv1 jamais coupées ; ``sw2`` rétabli reste en attente.
``s9`` sans ``Broken pipe`` cette fois : #57 n'est pas corrigé pour autant.
Les VM sont accessibles depuis le netns de leur VPC, sur l'hyperviseur, avec l'utilisateur Les VM sont accessibles depuis le netns de leur VPC, sur l'hyperviseur, avec l'utilisateur
``syonad`` créé par les métadonnées de two : ``syonad`` créé par les métadonnées de two :

View file

@ -111,7 +111,7 @@ Plan de contrôle BGP
bgp: bgp:
asn: 64600 asn: 64600
route_reflectors: [10.255.255.1] route_reflectors: [10.255.255.1, 10.255.255.2]
Section **facultative**. Absente, l'agent ne touche pas à FRR : sa configuration reste à poser Section **facultative**. Absente, l'agent ne touche pas à FRR : sa configuration reste à poser
à la main, comme avant. Présente, l'agent **pilote la configuration BGP de l'hyperviseur** : à la main, comme avant. Présente, l'agent **pilote la configuration BGP de l'hyperviseur** :

View file

@ -37,7 +37,7 @@
<text class="grp" x="580" y="44">VM ROUTE REFLECTOR · AS 65000</text> <text class="grp" x="580" y="44">VM ROUTE REFLECTOR · AS 65000</text>
<text class="lbl" x="580" y="70">lo1 · 10.255.255.1/32</text> <text class="lbl" x="580" y="70">lo1 · 10.255.255.1/32</text>
<text class="sub" x="580" y="87">router-id, cluster-id, source des sessions EVPN</text> <text class="sub" x="580" y="87">router-id, cluster-id, source des sessions EVPN</text>
<text class="lbl" x="580" y="111">192.168.14.2/24 · 169.254.0.3/28</text> <text class="lbl" x="580" y="111">192.168.14.4/24 · 169.254.0.3/28</text>
<text class="sub" x="580" y="128">principale, et secondaire pour le lien avec les routeurs</text> <text class="sub" x="580" y="128">principale, et secondaire pour le lien avec les routeurs</text>
<text class="sub" x="580" y="150">hébergée par le cluster lui-même</text> <text class="sub" x="580" y="150">hébergée par le cluster lui-même</text>

Before

Width:  |  Height:  |  Size: 10 KiB

After

Width:  |  Height:  |  Size: 10 KiB

Before After
Before After

View file

@ -37,7 +37,7 @@
<text class="grp" x="580" y="44">VM ROUTE REFLECTOR · AS 65000</text> <text class="grp" x="580" y="44">VM ROUTE REFLECTOR · AS 65000</text>
<text class="lbl" x="580" y="70">lo1 · 10.255.255.1/32</text> <text class="lbl" x="580" y="70">lo1 · 10.255.255.1/32</text>
<text class="sub" x="580" y="87">router-id, cluster-id, source des sessions EVPN</text> <text class="sub" x="580" y="87">router-id, cluster-id, source des sessions EVPN</text>
<text class="lbl" x="580" y="111">192.168.14.2/24 · 169.254.0.3/28</text> <text class="lbl" x="580" y="111">192.168.14.4/24 · 169.254.0.3/28</text>
<text class="sub" x="580" y="128">principale, et secondaire pour le lien avec les routeurs</text> <text class="sub" x="580" y="128">principale, et secondaire pour le lien avec les routeurs</text>
<text class="sub" x="580" y="150">hébergée par le cluster lui-même</text> <text class="sub" x="580" y="150">hébergée par le cluster lui-même</text>

Before

Width:  |  Height:  |  Size: 10 KiB

After

Width:  |  Height:  |  Size: 10 KiB

Before After
Before After

View file

@ -1,8 +1,8 @@
#!/usr/bin/env bash #!/usr/bin/env bash
LABCTL_VERSION="0.1.0rc001" LABCTL_VERSION="0.2.0"
LABCTL_URL="https://git.g3e.fr/syonad/labctl/releases/download/${LABCTL_VERSION}" LABCTL_URL="https://git.g3e.fr/syonad/labctl/releases/download/${LABCTL_VERSION}"
LABCTL_SUMS="e0c852a8f14f453dedb44e5ef70481293c72a63773dfef166cd298a4da4903e7 labctl_linux_amd64 LABCTL_SUMS="29eef66b1ff7d6a260d5428ea230cf183c77dd006b29322fbf4a754e2fc97c52 labctl_linux_amd64
3bb13f2088360e332c2c071c7cf070f54956677c6387665b6bef6a58f9e2a631 lab-host.sh" 3bb13f2088360e332c2c071c7cf070f54956677c6387665b6bef6a58f9e2a631 lab-host.sh"
LABCTL_DIR="${LABCTL_DIR:-${HOME}/.cache/labctl/release/${LABCTL_VERSION}}" LABCTL_DIR="${LABCTL_DIR:-${HOME}/.cache/labctl/release/${LABCTL_VERSION}}"

View file

@ -0,0 +1,73 @@
vrrp_state () {
on "${1}" <<'NODE' | sed -n 's/^VRRP: //p'
echo "VRRP: $(vtysh -c 'show vrrp' | awk '/Status \(v4\)/ {print $3}')"
NODE
}
on hv1 <<'NODE'
for rr in 10.255.255.1 10.255.255.2; do
check "prérequis : session EVPN de hv1 vers ${rr} établie" sh -c "vtysh -c 'show bgp neighbors ${rr}' | grep -q 'BGP state = Established'"
vtysh -c "show bgp neighbors ${rr}" | grep -o 'dropped [0-9]*' > "/tmp/s10.${rr}"
done
check "prérequis : hv1 joint la loopback de rr1 par la passerelle" ping -c 2 -W 2 10.255.255.1
rm -f /tmp/s10.log
nohup ping -D -i 0.2 10.255.255.1 > /tmp/s10.log 2>&1 &
sleep 5
NODE
SW1=$(vrrp_state sw1)
SW2=$(vrrp_state sw2)
if [[ "${SW1}" == Master ]]; then
MASTER=sw1 BACKUP=sw2
else
MASTER=sw2 BACKUP=sw1
fi
on hv1 "SW1=${SW1}" "SW2=${SW2}" "MASTER=${MASTER}" <<'NODE'
info "état VRRP : sw1 ${SW1}, sw2 ${SW2}"
check "un seul maître VRRP pour la passerelle, l'autre en attente" sh -c "[ \"\$1 \$2\" = 'Master Backup' ] || [ \"\$1 \$2\" = 'Backup Master' ]" _ "${SW1}" "${SW2}"
info "panne simulée sur ${MASTER} : interface underlay coupée"
NODE
on "${MASTER}" "NODE_NAME=${MASTER}" <<'NODE'
check "${NODE_NAME} : coupure de l'interface underlay" ip link set dev underlay down
NODE
sleep 20
on hv1 "MASTER=${MASTER}" "BACKUP_STATE=$(vrrp_state "${BACKUP}")" "BACKUP=${BACKUP}" <<'NODE'
check "${MASTER} coupé : ${BACKUP} est devenu maître" test "${BACKUP_STATE}" = Master
for rr in 10.255.255.1 10.255.255.2; do
check "${MASTER} coupé : session EVPN vers ${rr} toujours établie, sans coupure" sh -c "vtysh -c 'show bgp neighbors ${rr}' | grep -q 'BGP state = Established' && [ \"\$(vtysh -c 'show bgp neighbors ${rr}' | grep -o 'dropped [0-9]*')\" = \"\$(cat /tmp/s10.${rr})\" ]"
done
n=$(LC_ALL=C awk -F'[][]' -v now="$(date +%s)" '/bytes from/ && $2 > now - 10' /tmp/s10.log | wc -l)
info "${MASTER} coupé depuis 20 s : ${n} réponses de rr1 dans les 10 dernières secondes (50 si tout passe)"
check "${MASTER} coupé : le trafic vers rr1 passe par ${BACKUP} (au moins 45 réponses sur 50)" test "${n}" -ge 45
NODE
on "${MASTER}" "NODE_NAME=${MASTER}" <<'NODE'
check "${NODE_NAME} : rétablissement de l'interface underlay" ip link set dev underlay up
for i in $(seq 1 30); do
vtysh -c 'show bgp neighbors 169.254.0.3' | grep -q 'BGP state = Established' && vtysh -c 'show bgp neighbors 169.254.0.4' | grep -q 'BGP state = Established' && break
sleep 2
done
for rr in 169.254.0.3 169.254.0.4; do
check "${NODE_NAME} rétabli : session eBGP vers ${rr} rétablie" sh -c "vtysh -c 'show bgp neighbors ${rr}' | grep -q 'BGP state = Established'"
done
NODE
sleep 10
on hv1 "MASTER=${MASTER}" "MASTER_STATE=$(vrrp_state "${MASTER}")" "BACKUP=${BACKUP}" "BACKUP_STATE=$(vrrp_state "${BACKUP}")" <<'NODE'
check "${MASTER} rétabli : il reste en attente, sans reprendre la passerelle" test "${MASTER_STATE}" = Backup
check "${MASTER} rétabli : ${BACKUP} reste maître" test "${BACKUP_STATE}" = Master
pkill -f 'ping -D -i 0.2 10.255.255.1' || true
sleep 1
for rr in 10.255.255.1 10.255.255.2; do
check "fin du scénario : session EVPN vers ${rr} jamais coupée" sh -c "[ \"\$(vtysh -c 'show bgp neighbors ${rr}' | grep -o 'dropped [0-9]*')\" = \"\$(cat /tmp/s10.${rr})\" ]"
done
gap=$(LC_ALL=C awk -F'[][]' '/bytes from/ {if (prev != "" && $2 - prev > max) max = $2 - prev; prev = $2} END {printf "%d", max * 10}' /tmp/s10.log)
stats=$(awk -F'icmp_seq=' '/bytes from/ {split($2, a, " "); n++; if (a[1] > max) max = a[1]} END {print n, max}' /tmp/s10.log)
received=${stats% *}
sent=${stats#* }
info "pendant tout le scénario : ${received} réponses pour ${sent} requêtes, $(( sent - received )) perdues ; plus long silence : $(( gap / 10 )),$(( gap % 10 )) s"
check "bascule de la passerelle en moins de 5 s" test "${gap}" -lt 50
NODE

View file

@ -1,36 +1,48 @@
on hv1 <<'NODE' on hv1 <<'NODE'
check "prérequis : VM s4-p de S4 en marche" test "$(api_state vms/s4-p)" = running check "prérequis : VM s4-p de S4 en marche" test "$(api_state vms/s4-p)" = running
check "session EVPN de hv1 établie avant l'arrêt" sh -c "vtysh -c 'show bgp neighbors 10.255.255.1' | grep -q 'BGP state = Established'" for rr in 10.255.255.1 10.255.255.2; do
check "session EVPN de hv1 vers ${rr} établie" sh -c "vtysh -c 'show bgp neighbors ${rr}' | grep -q 'BGP state = Established'"
done
check "prérequis : s4-p joint s4-q" vm_ssh vp-s4 10.240.1.10 'ping -c 2 -W 2 10.240.1.11' check "prérequis : s4-p joint s4-q" vm_ssh vp-s4 10.240.1.10 'ping -c 2 -W 2 10.240.1.11'
vm_ssh vp-s4 10.240.1.10 'rm -f /tmp/s6.log; nohup ping -D -i 0.2 10.240.1.11 > /tmp/s6.log 2>&1 &' vm_ssh vp-s4 10.240.1.10 'rm -f /tmp/s6.log; nohup ping -D -i 0.2 10.240.1.11 > /tmp/s6.log 2>&1 &'
sleep 5 sleep 5
NODE NODE
on rr1 <<'NODE'
date +%s > /tmp/s6.stop for pair in rr1:10.255.255.1:10.255.255.2 rr2:10.255.255.2:10.255.255.1; do
check "arrêt de FRR sur le route reflector" systemctl stop frr IFS=: read -r node lost kept <<<"${pair}"
on "${node}" "NODE_NAME=${node}" <<'NODE'
check "${NODE_NAME} : arrêt de FRR" systemctl stop frr
NODE NODE
sleep 30 sleep 30
on hv1 <<'NODE' on hv1 "NODE_NAME=${node}" "LOST=${lost}" "KEPT=${kept}" <<'NODE'
recent () { vm_ssh vp-s4 10.240.1.10 "now=\$(date +%s); awk -F'[][]' -v now=\$now '/bytes from/ && \$2 > now - ${1}' /tmp/s6.log | wc -l"; } recent () { vm_ssh vp-s4 10.240.1.10 "now=\$(date +%s); awk -F'[][]' -v now=\$now '/bytes from/ && \$2 > now - ${1}' /tmp/s6.log | wc -l"; }
check "session EVPN de hv1 tombée" sh -c "! vtysh -c 'show bgp neighbors 10.255.255.1' | grep -q 'BGP state = Established'" check "${NODE_NAME} arrêté : session vers ${LOST} tombée" sh -c "! vtysh -c 'show bgp neighbors ${LOST}' | grep -q 'BGP state = Established'"
info "30 s après l'arrêt du route reflector : $(recent 10) réponses dans les 10 dernières secondes (50 si le trafic passe intégralement)" check "${NODE_NAME} arrêté : session vers ${KEPT} toujours établie" sh -c "vtysh -c 'show bgp neighbors ${KEPT}' | grep -q 'BGP state = Established'"
info "VTEP distant encore connu : $(vtysh -c 'show evpn vni 2401' | grep -c 192.168.14.12) ; entrée d'inondation : $(bridge fdb show dev vxlan-2401 | grep -c '00:00:00:00:00:00 dst')" check "${NODE_NAME} arrêté : VTEP distant toujours connu" sh -c "vtysh -c 'show evpn vni 2401' | grep -q 192.168.14.12"
sleep 60 n=$(recent 10)
info "90 s après l'arrêt : $(recent 10) réponses dans les 10 dernières secondes" info "${NODE_NAME} arrêté depuis 30 s : ${n} réponses dans les 10 dernières secondes (50 si le trafic passe intégralement)"
check "${NODE_NAME} arrêté : le trafic passe (au moins 45 réponses sur 50)" test "${n}" -ge 45
NODE NODE
on rr1 <<'NODE' on "${node}" "NODE_NAME=${node}" <<'NODE'
check "redémarrage de FRR sur le route reflector" systemctl start frr check "${NODE_NAME} : redémarrage de FRR" systemctl start frr
date +%s > /tmp/s6.start
NODE NODE
on hv1 <<'NODE' on hv1 "NODE_NAME=${node}" "LOST=${lost}" <<'NODE'
recent () { vm_ssh vp-s4 10.240.1.10 "now=\$(date +%s); awk -F'[][]' -v now=\$now '/bytes from/ && \$2 > now - ${1}' /tmp/s6.log | wc -l"; }
start=$(date +%s) start=$(date +%s)
for i in $(seq 1 90); do for i in $(seq 1 60); do
vtysh -c "show evpn vni 2401" | grep -q 192.168.14.12 && [ "$(recent 3)" -gt 0 ] && break vtysh -c "show bgp neighbors ${LOST}" | grep -q 'BGP state = Established' && break
sleep 2 sleep 2
done done
info "retour du VTEP distant et du trafic $(( $(date +%s) - start )) s après le redémarrage de FRR" info "${NODE_NAME} : session vers ${LOST} rétablie $(( $(date +%s) - start )) s après le redémarrage de FRR"
check "après le retour du route reflector : VTEP distant réappris" sh -c "vtysh -c 'show evpn vni 2401' | grep -q 192.168.14.12" check "${NODE_NAME} redémarré : session vers ${LOST} rétablie" sh -c "vtysh -c 'show bgp neighbors ${LOST}' | grep -q 'BGP state = Established'"
check "après le retour du route reflector : le trafic passe" test "$(recent 5)" -gt 0 NODE
vm_ssh vp-s4 10.240.1.10 'pkill -x ping' || true done
on hv1 <<'NODE'
vm_ssh vp-s4 10.240.1.10 'pkill -x ping' || true
sleep 1
stats=$(vm_ssh vp-s4 10.240.1.10 "awk -F'icmp_seq=' '/bytes from/ {split(\$2, a, \" \"); n++; if (a[1] > max) max = a[1]} END {print n, max}' /tmp/s6.log")
received=${stats% *}
sent=${stats#* }
info "pendant tout le scénario : ${received} réponses pour ${sent} requêtes, $(( sent - received )) perdues"
check "aucune perte mesurable sur l'ensemble du scénario (au plus 1 %)" test $(( (sent - received) * 100 )) -le "${sent}"
NODE NODE

View file

@ -58,7 +58,7 @@ on hv1 <<'NODE'
check "hv1 : aucune MAC en double sur la VNI 2811" sh -c "! vtysh -c 'show evpn mac vni 2811 duplicate' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'" check "hv1 : aucune MAC en double sur la VNI 2811" sh -c "! vtysh -c 'show evpn mac vni 2811 duplicate' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'"
NODE NODE
on hv3 <<'NODE' on hv3 <<'NODE'
for i in $(seq 1 30); do [ "$(bgp_paths vp-s8 10.242.1.50/32)" = 2 ] && break; sleep 2; done for i in $(seq 1 30); do [ "$(bgp_paths vp-s8 10.242.1.50/32)" -ge 2 ] && break; sleep 2; done
info "orchestrée : chemins BGP pour 10.242.1.50/32 : $(bgp_paths vp-s8 10.242.1.50/32) ; meilleur : $(bgp_best vp-s8 10.242.1.50/32) ; installés : $(vrf_nexthops vp-s8 10.242.1.50)" info "orchestrée : chemins BGP pour 10.242.1.50/32 : $(bgp_paths vp-s8 10.242.1.50/32) ; meilleur : $(bgp_best vp-s8 10.242.1.50/32) ; installés : $(vrf_nexthops vp-s8 10.242.1.50)"
check "orchestrée : deux /32 annoncés, hv1 et hv2" wait_vrf_nexthops vp-s8 10.242.1.50 "192.168.14.11 192.168.14.12" check "orchestrée : deux /32 annoncés, hv1 et hv2" wait_vrf_nexthops vp-s8 10.242.1.50 "192.168.14.11 192.168.14.12"
check "deux /32, subnet présent des deux côtés : les 40 sources joignent 10.242.1.50, quel que soit le chemin ECMP" sh -c "[ \"\$1\" = 40/40 ]" _ "$(sources_reach vp-s8 br-s8t 10.242.2 10.242.1.50)" check "deux /32, subnet présent des deux côtés : les 40 sources joignent 10.242.1.50, quel que soit le chemin ECMP" sh -c "[ \"\$1\" = 40/40 ]" _ "$(sources_reach vp-s8 br-s8t 10.242.2 10.242.1.50)"

View file

@ -1,6 +1,6 @@
bgp: bgp:
asn: 64600 asn: 64600
route_reflectors: [10.255.255.1] route_reflectors: [10.255.255.1, 10.255.255.2]
watchdog: watchdog:
enabled: true enabled: true
interval_seconds: 10 interval_seconds: 10

View file

@ -2,7 +2,7 @@ dhcp:
backend: two backend: two
bgp: bgp:
asn: 64600 asn: 64600
route_reflectors: [10.255.255.1] route_reflectors: [10.255.255.1, 10.255.255.2]
watchdog: watchdog:
enabled: true enabled: true
interval_seconds: 10 interval_seconds: 10

View file

@ -7,18 +7,27 @@ images:
segments: segments:
underlay: underlay:
switch: sw1 routers: [sw1, sw2]
cidr: 192.168.14.0/24 cidr: 192.168.14.0/24
mtu: 9000 mtu: 9000
nodes: nodes:
sw1: sw1:
{ role: switch, image: debian12, cpus: 2, memory: 1024, { role: router, image: debian12, cpus: 2, memory: 1024, segments: [underlay],
secondary: { underlay: [169.254.0.1/28] }, frr: frr/sw1.conf } addresses: { underlay: 192.168.14.2 }, secondary: { underlay: [169.254.0.1/28] },
frr: frr/sw1.conf }
sw2:
{ role: router, image: debian12, cpus: 2, memory: 1024, segments: [underlay],
addresses: { underlay: 192.168.14.3 }, secondary: { underlay: [169.254.0.2/28] },
frr: frr/sw2.conf }
rr1: rr1:
{ role: rr, image: debian12, cpus: 1, memory: 1024, segments: [underlay], { role: rr, image: debian12, cpus: 1, memory: 1024, segments: [underlay],
addresses: { underlay: 192.168.14.2 }, secondary: { underlay: [169.254.0.3/28] }, addresses: { underlay: 192.168.14.4 }, secondary: { underlay: [169.254.0.3/28] },
loopback: 10.255.255.1/32, frr: frr/rr1.conf } loopback: 10.255.255.1/32, frr: frr/rr1.conf }
rr2:
{ role: rr, image: debian12, cpus: 1, memory: 1024, segments: [underlay],
addresses: { underlay: 192.168.14.5 }, secondary: { underlay: [169.254.0.4/28] },
loopback: 10.255.255.2/32, frr: frr/rr2.conf }
hv1: hv1:
{ role: host, image: debian12, cpus: 4, memory: 16384, segments: [underlay], { role: host, image: debian12, cpus: 4, memory: 16384, segments: [underlay],
addresses: { underlay: 192.168.14.11 }, frr: frr/hv1.conf, provision: provision/hypervisor.sh, addresses: { underlay: 192.168.14.11 }, frr: frr/hv1.conf, provision: provision/hypervisor.sh,

View file

@ -7,18 +7,27 @@ images:
segments: segments:
underlay: underlay:
switch: sw1 routers: [sw1, sw2]
cidr: 192.168.14.0/24 cidr: 192.168.14.0/24
mtu: 9000 mtu: 9000
nodes: nodes:
sw1: sw1:
{ role: switch, image: debian12, cpus: 2, memory: 1024, { role: router, image: debian12, cpus: 2, memory: 1024, segments: [underlay],
secondary: { underlay: [169.254.0.1/28] }, frr: frr/sw1.conf } addresses: { underlay: 192.168.14.2 }, secondary: { underlay: [169.254.0.1/28] },
frr: frr/sw1.conf }
sw2:
{ role: router, image: debian12, cpus: 2, memory: 1024, segments: [underlay],
addresses: { underlay: 192.168.14.3 }, secondary: { underlay: [169.254.0.2/28] },
frr: frr/sw2.conf }
rr1: rr1:
{ role: rr, image: debian12, cpus: 1, memory: 1024, segments: [underlay], { role: rr, image: debian12, cpus: 1, memory: 1024, segments: [underlay],
addresses: { underlay: 192.168.14.2 }, secondary: { underlay: [169.254.0.3/28] }, addresses: { underlay: 192.168.14.4 }, secondary: { underlay: [169.254.0.3/28] },
loopback: 10.255.255.1/32, frr: frr/rr1.conf } loopback: 10.255.255.1/32, frr: frr/rr1.conf }
rr2:
{ role: rr, image: debian12, cpus: 1, memory: 1024, segments: [underlay],
addresses: { underlay: 192.168.14.5 }, secondary: { underlay: [169.254.0.4/28] },
loopback: 10.255.255.2/32, frr: frr/rr2.conf }
hv1: hv1:
{ role: host, image: debian12, cpus: 4, memory: 16384, segments: [underlay], { role: host, image: debian12, cpus: 4, memory: 16384, segments: [underlay],
addresses: { underlay: 192.168.14.11 }, frr: frr/hv1.conf, provision: provision/hypervisor.sh, addresses: { underlay: 192.168.14.11 }, frr: frr/hv1.conf, provision: provision/hypervisor.sh,

View file

@ -0,0 +1,43 @@
frr defaults traditional
hostname rr2
log syslog informational
!
ip prefix-list RR-LOOPBACK-OUT seq 10 permit 10.255.255.2/32
!
route-map NO-IN deny 999
description deny
exit
!
router bgp 65000
no bgp default ipv4-unicast
bgp router-id 10.255.255.2
bgp cluster-id 10.255.255.2
neighbor CLUSTER peer-group
neighbor CLUSTER remote-as 65100
neighbor CLUSTER bfd
neighbor 169.254.0.1 peer-group CLUSTER
neighbor 169.254.0.1 description router-1
neighbor 169.254.0.2 peer-group CLUSTER
neighbor 169.254.0.2 description router-2
neighbor fabric peer-group
neighbor fabric remote-as 64600
neighbor fabric local-as 64600 no-prepend replace-as
neighbor fabric capability extended-nexthop
neighbor fabric update-source 10.255.255.2
bgp listen range 192.168.14.0/24 peer-group fabric
bgp listen limit 200
!
address-family ipv4 unicast
network 10.255.255.2/32
neighbor CLUSTER activate
neighbor CLUSTER prefix-list RR-LOOPBACK-OUT out
neighbor CLUSTER route-map NO-IN in
exit-address-family
!
address-family l2vpn evpn
neighbor fabric activate
neighbor fabric route-reflector-client
exit-address-family
!
exit
!

View file

@ -3,6 +3,7 @@ hostname sw1
log syslog informational log syslog informational
! !
ip prefix-list RR-LOOPBACK-IN seq 10 permit 10.255.255.1/32 ip prefix-list RR-LOOPBACK-IN seq 10 permit 10.255.255.1/32
ip prefix-list RR-LOOPBACK-IN seq 20 permit 10.255.255.2/32
! !
route-map RR-IN permit 10 route-map RR-IN permit 10
match ip address prefix-list RR-LOOPBACK-IN match ip address prefix-list RR-LOOPBACK-IN
@ -17,11 +18,17 @@ router bgp 65100
neighbor 169.254.0.3 remote-as 65000 neighbor 169.254.0.3 remote-as 65000
neighbor 169.254.0.3 description rr1 neighbor 169.254.0.3 description rr1
neighbor 169.254.0.3 bfd neighbor 169.254.0.3 bfd
neighbor 169.254.0.4 remote-as 65000
neighbor 169.254.0.4 description rr2
neighbor 169.254.0.4 bfd
! !
address-family ipv4 unicast address-family ipv4 unicast
neighbor 169.254.0.3 activate neighbor 169.254.0.3 activate
neighbor 169.254.0.3 route-map RR-IN in neighbor 169.254.0.3 route-map RR-IN in
neighbor 169.254.0.3 route-map NO-OUT out neighbor 169.254.0.3 route-map NO-OUT out
neighbor 169.254.0.4 activate
neighbor 169.254.0.4 route-map RR-IN in
neighbor 169.254.0.4 route-map NO-OUT out
exit-address-family exit-address-family
! !
exit exit

View file

@ -0,0 +1,35 @@
frr defaults traditional
hostname sw2
log syslog informational
!
ip prefix-list RR-LOOPBACK-IN seq 10 permit 10.255.255.1/32
ip prefix-list RR-LOOPBACK-IN seq 20 permit 10.255.255.2/32
!
route-map RR-IN permit 10
match ip address prefix-list RR-LOOPBACK-IN
exit
!
route-map NO-OUT deny 999
exit
!
router bgp 65100
no bgp default ipv4-unicast
bgp router-id 169.254.0.2
neighbor 169.254.0.3 remote-as 65000
neighbor 169.254.0.3 description rr1
neighbor 169.254.0.3 bfd
neighbor 169.254.0.4 remote-as 65000
neighbor 169.254.0.4 description rr2
neighbor 169.254.0.4 bfd
!
address-family ipv4 unicast
neighbor 169.254.0.3 activate
neighbor 169.254.0.3 route-map RR-IN in
neighbor 169.254.0.3 route-map NO-OUT out
neighbor 169.254.0.4 activate
neighbor 169.254.0.4 route-map RR-IN in
neighbor 169.254.0.4 route-map NO-OUT out
exit-address-family
!
exit
!