Lab de test multi-nœud#
Ce qui fait l’intérêt de two ne se voit qu’à partir de deux hyperviseurs : sur un nœud isolé, le trafic reste sur le bridge local et l’absence de plan de contrôle passe inaperçue (voir Architecture du cluster). Le lab reproduit la topologie du cluster — hyperviseurs, route reflectors, switchs L3 — sous forme de VM, sur un serveur physique loué à l’heure.
Le pourquoi des choix (serveur physique plutôt que VM cloud, câbles QEMU, MTU 9000, versions) est consigné sur le ticket #50. Cette page décrit comment s’en servir.
Note
État actuel : le lab de #50 est livré et l’outil en est sorti (#55) : c’est labctl, un dépôt à part, dont two épingle une release. Ce dépôt garde ce qui est propre à two — ses topologies, l’installation de two sur les hyperviseurs, les scénarios et leurs résultats. La redondance du plan de contrôle — deux route reflectors, deux switchs en VRRP v3 — est livrée par #54 (fermé), et qualifiée par les tests 71 et 72.
L’outil#
labctl monte un lab de VM QEMU à partir d’une topologie YAML et s’exécute sur un hôte Linux
avec KVM ; son lab-host.sh loue cet hôte à l’heure chez Scaleway (Elastic Metal), le prépare,
y dépose labctl et la topologie, puis le supprime. Prérequis Scaleway, fichiers locaux
(~/.config/labctl/), commandes, format de topologie, rendu des VM, garanties de facturation et
diagnostic : voir le guide de labctl.
two n’en garde aucune copie. test/e2e/labctl.sh épingle une release :
au premier appel, il télécharge
labctl_linux_amd64etlab-host.shdans~/.cache/labctl/release/<version>/et les vérifie contre des sommes SHA-256 écrites dans le script — une release modifiée après coup est refusée ; un fichier altéré dans le cache est retéléchargé ;il lance ensuite
lab-host.shavec ses arguments etLABCTL_BINpointé sur le binaire :pushdépose ce binaire au lieu de compiler.
Changer de version : LABCTL_VERSION et les deux lignes de LABCTL_SUMS dans
test/e2e/labctl.sh, relevées dans le SHA256SUMS de la release et recalculées sur les
fichiers téléchargés.
Une campagne, depuis le Mac :
test/e2e/labctl.sh plan # gratuit : offre, zone, prix
test/e2e/labctl.sh up # crée le serveur, facturé à l'heure
test/e2e/labctl.sh push test/e2e/topologies/evpn-3hv.yml
test/e2e/labctl.sh ssh './labctl up -timeout 25m topology/evpn-3hv.yml'
test/e2e/run.sh all
test/e2e/labctl.sh ssh './labctl ssh hv1' # shell interactif sur hv1
test/e2e/labctl.sh down # supprime le serveur
Avertissement
Un serveur Elastic Metal est facturé de sa création à sa suppression, chaque heure
entamée comme une heure pleine. En cas de doute (session interrompue, poste mis en veille) :
test/e2e/labctl.sh status puis down. Ne jamais lancer lab-host.sh sous
bash -x : la trace afficherait la clé d’API.
Topologies#
Les topologies de two vivent dans test/e2e/topologies/ : evpn-2hv.yml (deux hyperviseurs)
et evpn-3hv.yml (trois, celle de la suite). Le format est celui de labctl :
name: evpn-2hv
images:
debian12:
url: https://cloud.debian.org/images/cloud/bookworm/latest/debian-12-generic-amd64.qcow2
sums: https://cloud.debian.org/images/cloud/bookworm/latest/SHA512SUMS
segments:
underlay:
routers: [sw1, sw2]
cidr: 192.168.14.0/24
mtu: 9000
lan:
cidr: 10.33.0.0/24
mtu: 1500
nodes:
sw1:
{ role: router, image: debian12, cpus: 2, memory: 1024, segments: [underlay],
addresses: { underlay: 192.168.14.2 }, secondary: { underlay: [169.254.0.1/28] },
frr: frr/sw1.conf }
sw2:
{ role: router, image: debian12, cpus: 2, memory: 1024, segments: [underlay],
addresses: { underlay: 192.168.14.3 }, secondary: { underlay: [169.254.0.2/28] },
frr: frr/sw2.conf }
rr1:
{ role: rr, image: debian12, cpus: 1, memory: 1024, segments: [underlay],
addresses: { underlay: 192.168.14.4 }, secondary: { underlay: [169.254.0.3/28] },
loopback: 10.255.255.1/32, frr: frr/rr1.conf }
rr2:
{ role: rr, image: debian12, cpus: 1, memory: 1024, segments: [underlay],
addresses: { underlay: 192.168.14.5 }, secondary: { underlay: [169.254.0.4/28] },
loopback: 10.255.255.2/32, frr: frr/rr2.conf }
hv1:
{ role: host, image: debian12, cpus: 4, memory: 16384,
segments: [underlay, lan], addresses: { underlay: 192.168.14.11, lan: 10.33.0.11 },
frr: frr/hv1.conf, provision: provision/hypervisor.sh,
post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/two.yml, bin: bin },
services: [agent.service] }
hv2:
{ role: host, image: debian12, cpus: 4, memory: 16384,
segments: [underlay, lan], addresses: { underlay: 192.168.14.12, lan: 10.33.0.12 },
frr: frr/hv2.conf, provision: provision/hypervisor.sh,
post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/dnsmasq.yml, bin: bin },
services: [agent.service] }
Les ASN, les loopbacks des route reflectors, le lien 169.254.0.0/28 et le subnet des hyperviseurs
de l’exemple sont ceux de la production (décision du 2026-10-04, #50) : les fichiers de
test/e2e/topologies/ restent ainsi au plus près de ce qui tourne réellement. Toutes les adresses y sont
fixées par addresses — les switchs en .2 et .3, les route reflectors en .4 et .5,
les hyperviseurs à partir de .11 — pour que le modèle se lise sans le plan et ne dépende pas
de l’ordre de déclaration : le frr.conf d’un hyperviseur, écrit à la main, porte son adresse en
router-id. Les deux switchs sw1 et sw2 sont les routeurs du segment (rôle router de
labctl) : la passerelle, la première adresse du segment, est portée en VRRP v3 par celui qui est
maître, sans préemption (no vrrp 1 preempt) — voir la section du guide de labctl sur les
routeurs. Leurs frr.conf ne diffèrent que par hostname et router-id ; labctl y ajoute
la strophe VRRP.
Rôles#
Les configurations FRR du lab vivent dans test/e2e/topologies/frr/, une par nœud, écrites à la main :
ce sont les mêmes fichiers que la documentation de déploiement inclut, pour que le lab qualifie
exactement ce qu’elle prescrit. Celles des hyperviseurs se réduisent à hostname et log :
la configuration BGP est posée par l’agent (section bgp de agent.yml). Celle du premier
route reflector (celle de rr2 ne diffère que par son nom et sa loopback) :
frr defaults traditional
hostname rr1
log syslog informational
!
ip prefix-list RR-LOOPBACK-OUT seq 10 permit 10.255.255.1/32
!
route-map NO-IN deny 999
description deny
exit
!
router bgp 65000
no bgp default ipv4-unicast
bgp router-id 10.255.255.1
bgp cluster-id 10.255.255.1
neighbor CLUSTER peer-group
neighbor CLUSTER remote-as 65100
neighbor CLUSTER bfd
neighbor 169.254.0.1 peer-group CLUSTER
neighbor 169.254.0.1 description router-1
neighbor 169.254.0.2 peer-group CLUSTER
neighbor 169.254.0.2 description router-2
neighbor fabric peer-group
neighbor fabric remote-as 64600
neighbor fabric local-as 64600 no-prepend replace-as
neighbor fabric capability extended-nexthop
neighbor fabric update-source 10.255.255.1
bgp listen range 192.168.14.0/24 peer-group fabric
bgp listen limit 200
!
address-family ipv4 unicast
network 10.255.255.1/32
neighbor CLUSTER activate
neighbor CLUSTER prefix-list RR-LOOPBACK-OUT out
neighbor CLUSTER route-map NO-IN in
exit-address-family
!
address-family l2vpn evpn
neighbor fabric activate
neighbor fabric route-reflector-client
exit-address-family
!
exit
!
FRR est installé par labctl au premier démarrage (frr-stable de deb.frrouting.org,
clé du dépôt embarquée dans l’outil) : voir la section FRR du guide de labctl.
Hyperviseurs. Ce sont des nœuds host dont la provision installe two comme en
production. test/e2e/topologies/provision/hypervisor.sh dépose agent.yml (fichier
agent.yml du nœud) dans /etc/two/agent.yml, télécharge deploy.sh et
bootstrap_kvm.sh au tag de la release testée dans /opt/two/scripts/, où deploy.sh
cherche d’abord bootstrap_kvm.sh, puis lance :
deploy.sh --noup_script -i -u "$LAB_UPLINK" -t <release>
La release est fixée dans le script (RELEASE=) : sans elle, deploy.sh prendrait la dernière,
et le lab ne serait plus reproductible. --noup_script empêche l’auto-mise à jour de remplacer le
script par celui de main. L’uplink -u est l’interface qui porte la route par défaut, parce
que deploy.sh y lit l’adresse et la passerelle qu’il déplace sur br-000000. deploy.sh
télécharge la release sur git.g3e.fr sans réessayer : le script attend d’abord que le serveur
réponde, à travers le switch. Les deux fichiers agent/ donnent à l’agent la section bgp
(AS 64600, route reflectors 10.255.255.1 et 10.255.255.2) et un watchdog toutes les 10 s ;
agent/two.yml met en plus hv1 sur le serveur DHCP intégré (dhcp.backend: two),
agent/dnsmasq.yml met explicitement les autres sur dnsmasq (dhcp.backend: dnsmasq).
Segment ``lan`` (mode ``bridge``). hv1 et hv2 sont aussi reliés à un second segment,
lan (10.33.0.0/24, MTU 1500, sans routeur : L2 pur, sans passerelle ni NAT),
déclaré après underlay pour ne changer ni ses adresses ni ses taps. Avant deploy.sh,
hypervisor.sh crée le bridge br-lan (STP coupé, MTU de l’interface), y rattache
l’interface lan et y déplace l’adresse que labctl lui a donnée (10.33.0.11 sur hv1,
10.33.0.12 sur hv2). Les deux fichiers agent/ déclarent interfaces: {lan: br-lan} :
un subnet créé avec mode: bridge et iface_type: lan rattache son veth à br-lan. Les
subnets vxlan (iface_type: vms, clé absente) restent sur default_interface : le VTEP
ne change pas. Le bridge n’est créé qu’au premier démarrage, comme le reste du provisionnement.
Tester l’arbre courant plutôt que la release. test/e2e/build.sh compile agent,
dhcp et metadata pour linux/amd64 dans test/e2e/topologies/bin/ (ignoré par git),
que les hyperviseurs reçoivent par files: {bin: bin}. Après deploy.sh,
hypervisor.sh installe chaque binaire présent dans /opt/two/local/bin/ et y fait pointer
/opt/two/bin/<nom> ; le reste (units, scripts) vient de la release. build.sh --clean vide
le répertoire : le lab suivant teste la release seule.
test/e2e/build.sh # binaires de l'arbre courant
test/e2e/labctl.sh push test/e2e/topologies/evpn-3hv.yml
test/e2e/labctl.sh ssh './labctl up topology/evpn-3hv.yml'
test/e2e/build.sh --clean # retour à la release seule
FRR est installé après la provision : il démarre sur le réseau final. Démarré
avant la migration, zebra peut perdre la route par défaut quand elle passe de l’uplink à
br-000000 — constaté le 2026-10-11 sur un hyperviseur sur deux : route reflector
unresolved, session BGP jamais établie. L’agent, configuré avec une section bgp, refuse de
démarrer tant que FRR n’est pas là : son premier démarrage par deploy.sh échoue, et
provision/hypervisor-post.sh (post_provision) le redémarre une fois FRR installé.
Avertissement
Un hyperviseur du lab ne survit pas à un redémarrage. En production, la racine est en
tmpfs et deploy.sh --bootstrap est rejoué à chaque démarrage ; dans le lab, -i n’est
exécuté qu’au premier, et la migration réseau, qui n’est pas persistée, est perdue. Recréer le
lab : labctl down puis labctl up.
Vérifié le 2026-10-04 sur le serveur de lab, topologie evpn-2hv, release 0.2.0rc002 :
$ test/e2e/labctl.sh ssh './labctl up -timeout 25m topology/evpn-2hv.yml'
sw1: started
rr1: started
hv1: started
hv2: started
sw1: ready
rr1: ready
hv1: ready
hv2: ready
Vérification |
Résultat |
|---|---|
|
6 min 15 |
session switch ↔ route reflector, IPv4 unicast, BFD |
Established, BFD up ; le switch reçoit la seule loopback du route reflector |
sessions EVPN des deux hyperviseurs vers la loopback du route reflector |
Established, voisins dynamiques, stables |
réseau d’un hyperviseur après |
adresse sur |
VPC, subnet |
|
DHCP et routes (option 121) servis par two à la VM |
conformes, route |
métadonnées, image configurée selon Construction de l’image qcow2 |
|
VM ↔ VM entre les deux hyperviseurs, même subnet |
échec : les VXLAN de two n’ont pas d’adresse VTEP locale, rien n’est annoncé en EVPN — #51 ; avec l’adresse posée, ping et MTU 1500 passent |
Note
Les switchs du lab sont des routeurs Linux avec FRR, par choix. Ils jouent le rôle générique
de routeur de cluster : passerelle des hyperviseurs, sessions eBGP avec BFD vers les route
reflectors, dont ils n’acceptent que les loopbacks (test/e2e/topologies/frr/sw1.conf). L’équipement réel dépend de qui
déploie l’infrastructure (MikroTik aujourd’hui ; Cisco, Juniper, Arista… demain) : il n’a besoin
que de BGP et d’EVPN, et sa configuration propre au constructeur n’a pas sa place dans le lab.
Suite de tests#
La suite (#70) vit dans test/e2e/suite/ : un
fichier par fonctionnalité, rangés en couches de bas en haut. Chaque couche ne s’appuie que sur
les précédentes, et les tests de panne passent en dernier. Elle remplace les scénarios s1 à
s11, écrits au fil des tickets : chacune de leurs 251 vérifications est reprise (tableau de
correspondance sur #70).
Couche |
Contenu |
|---|---|
00 socle |
lab, prérequis d’environnement, image des VM |
10 API |
refus de l’API, machine d’états |
20 VM |
DHCP (backend |
30 réseau local |
gateway anycast, VXLAN sur un hôte, mode |
40 EVPN L2 |
subnet étendu entre hôtes, isolation, subnets partagés, fenêtre ARP |
50 L3VNI |
routage entre subnets, migration, watchdog L3 |
60 cycle de vie |
redémarrage de l’agent, nettoyage global |
70 résilience |
perte d’un route reflector, perte d’un switch |
Les tests se lancent depuis le Mac, sur un lab démarré (up, push, ./labctl up) :
test/e2e/run.sh all # toute la suite, dans l'ordre
test/e2e/run.sh 40 # une couche
test/e2e/run.sh 41 dhcp-two # des tests, par numéro à deux chiffres ou par nom exact
test/e2e/run.sh --from 30 # à partir d'un numéro
test/e2e/run.sh --continue all # sans s'arrêter sur une couche en échec
test/e2e/run.sh --connus all # les échecs connus comptent comme des échecs
test/e2e/run.sh --matrice # matrice de couverture, tirée des en-têtes
Chaque test affiche une ligne RÉUSSI ou ÉCHOUÉ par vérification (un échec porte la
dernière ligne de la commande en cause), des lignes INFO pour les mesures, puis son bilan. Le
code de sortie vaut 1 si une vérification échoue ou si aucune n’a été faite. Avec all ou
--from, une couche en échec arrête la suite à la fin de la couche.
Tests autonomes. Avant chaque test, le runner supprime les ressources tNN laissées par un
passage précédent, puis relève l’état de chaque hôte de l’en-tête # hôtes:. Après le test, il
supprime ses VM, ses subnets puis ses VPC, et vérifie que l’hôte est revenu à l’état relevé
(assert_clean : netns, liens, adresses, routes, règles ebtables et iptables, configuration FRR et
frr.conf, fichiers de /run/two, dnsmasq.d et des volumes, unités two-vm-*,
processus dnsmasq et QEMU). Aucun test ne dépend d’un autre : n’importe lequel se lance seul.
Plages. Le test NN nomme ses ressources vp-tNN*, sn-tNN* et tNN-*, et utilise
10.NN.0.0/16 et les VNI NN00 à NN99 : aucune collision entre tests.
Échecs connus. Un contrôle dont l’échec est connu et rattaché à un ticket s’écrit known
"#NN" "description" commande… au lieu de check. En échec, il sort en CONNU sans faire
échouer le test (bilan : N connu(s)). Dès qu’il passe, il sort en INATTENDU et fait
échouer le test : le marqueur est à retirer. Pour un échec intermittent, known_flaky sort
en RÉUSSI (annoté) quand l’échec ne se reproduit pas, sans rappel automatique : le retrait se
fait en fermant le ticket. Chaque ticket concerné liste ses marqueurs en commentaire.
Matrice de couverture#
Générée par test/e2e/run.sh --matrice à partir des en-têtes ; à régénérer quand un test change.
Test |
Fonctionnalité |
Hôtes |
Tickets |
|---|---|---|---|
|
socle du lab — underlay, passerelle VRRP, sessions EVPN, base BGP posée par l’agent, backend DHCP, watchdog silencieux |
hv1 hv2 hv3 |
#50, #51, #54, #41 |
|
hypothèses d’environnement de la suite — firmware UEFI, unités modèles de l’agent, journalctl, format de ebtables -L, br-lan, priorités VRRP lues dans FRR |
hv1 hv2 hv3 |
#70 |
|
hypothèses sur l’image de VM — outils (curl, python3), nom d’interface, effet réel de network-config, forme du compte verrouillé |
hv1 |
#70, #73 |
|
validation de l’API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base |
hv1 |
#41, #57, #33, #62, #74 |
|
machine d’états — 409 pendant creating, suppression depuis error, dépendances VM → subnet → VPC, recréation sous le même nom |
hv1 |
#41 |
|
DHCP par le serveur intégré (backend two) — bail, server-id, renouvellement, option 121, un serveur par subnet, démarrages simultanés |
hv1 |
#46, #57, #62 |
|
DHCP par dnsmasq (backend dnsmasq) — bail, server-id, renouvellement, option 121, une instance par subnet écoutant sur la gateway anycast |
hv2 |
#46, #57 |
|
serveur de métadonnées et cloud-init — sshkey, password (hash), user_data servi tel quel, documents absents (templates), VM sans compte |
hv1 |
#43, #46 |
|
démarrage UEFI (OVMF) — firmware et variables par VM, VM démarrée en UEFI, témoin BIOS |
hv1 |
UEFI (sans ticket) |
|
VM à plusieurs interfaces — une NIC par subnet, adresses posées, route par défaut sur la primaire seule |
hv1 |
#33, #62, #73 |
|
VM à plusieurs disques — racine virtio (vda) et SCSI (xvdX), tailles et bus vus par la VM, liens /dev/xvdX et by-id par numéro de série, démarrage sur vda |
hv1 |
#32, #74 |
|
redémarrage d’une VM depuis l’invité — même processus QEMU, même adresse, nouveau bail, user_data non rejoué |
hv1 |
#46 |
|
MTU des VM (network.mtu_vm, 1500 par défaut) — annoncé par le DHCP (option 26, serveur intégré sur hv1, dnsmasq sur hv2) et par QEMU (host_mtu), porté par le tap, le bridge, le veth et le VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n’est pas à 9000 |
hv1 hv2 |
#56 |
|
gateway d’un subnet vxlan — gateway anycast et adresse d’émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation |
hv1 |
#57, #43 |
|
routage entre deux subnets vxlan d’un même VPC sur un même hôte, sans et avec l3vni — ICMP, TCP, saut unique par la gateway |
hv1 |
#57, #41 |
|
subnet en mode bridge rattaché au bridge br-lan de l’hôte — un hôte, puis le même subnet sur deux hôtes (interface_ip confinée à son hôte : une seule réponse ARP, métadonnées servies par l’hôte de la VM, ni ARP ni DHCP de la gateway sur le segment, règles surveillées par le watchdog) |
hv1 hv2 |
#70, #75 |
|
isolation entre deux VPC sur un même hôte — ni ICMP ni TCP d’un VPC à l’autre |
hv1 |
#50 |
|
filtrage au port — en sortie vers le fabric (v-<id>-i) : ARP vers la gateway et l’adresse d’émission, DHCP émis depuis ces adresses, MAC anycast confinée dans les deux sens ; entre VM d’un même hôte : faux serveur DHCP et usurpation ARP de la gateway (comportement attendu, non filtré à ce jour) |
hv1 |
#57 |
|
subnet vxlan étendu entre deux hôtes par EVPN — VTEP local, VTEP distant et inondation appris, MAC des VM en type 2, trafic ICMP et TCP, MTU 1500 de bout en bout |
hv1 hv2 |
#50, #51 |
|
isolation entre VPC à travers EVPN — deux VPC sur la même plage, la VM d’un VPC ne joint pas celle de l’autre sur un hôte distant |
hv1 hv2 |
#50, #51 |
|
subnets vxlan partagés par deux hôtes, deux VM par hôte, dans un VPC avec et un VPC sans l3vni — toutes les paires, gateway anycast vue par chaque VM et absente d’EVPN, aucune MAC en double |
hv2 hv3 |
#57, #41 |
|
fenêtre ARP de la gateway anycast entre deux hôtes — relais L2 depuis l’adresse d’émission d’un hôte, gateway de la VM inchangée, métadonnées, renouvellement DHCP et TCP local sans perte pendant la fenêtre |
hv1 hv2 |
#57 |
|
routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d’un VPC routé |
hv1 hv2 |
#41 |
|
migration d’une adresse de VM entre hôtes d’un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu’une VM l’utilise, MAC anycast hors EVPN |
hv1 hv2 hv3 |
#41, #57 |
|
watchdog d’un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais |
hv1 hv3 |
#41 |
|
redémarrage de l’agent avec des VM en marche — rien ne disparaît ni n’est recréé, trafic routé sans perte, DHCP et métadonnées servis, base BGP réappliquée à l’identique, ressources toujours gérées |
hv1 hv2 |
#41, #46 |
|
nettoyage global en fin de suite — aucun hôte ne garde de ressource : API vide, ni netns, tap, VRF, unité, instance DHCP ou de métadonnées, processus QEMU, règle de port, volume ; FRR réduit à la base BGP |
#70 |
|
|
perte d’un route reflector — l’autre garde la session EVPN, le VTEP distant reste connu, le trafic L2 entre hôtes passe sans perte mesurable, retour du RR arrêté |
hv1 hv2 |
#54 |
|
perte d’un switch de la passerelle VRRP — bascule vers l’autre en moins de 5 s, sessions EVPN jamais coupées ; au retour, un seul maître (préemption désactivée : celui qui l’est est relevé), plus long silence mesuré |
#54, #69, #80 |
Campagne du 2026-10-17#
Première campagne de la suite, evpn-3hv.yml, labctl 0.2.0, binaires de l’arbre courant
(code de l’agent identique à main). run.sh --continue all en 76 min, dont environ 15 min
d’arrêts de VM à 300 s et 15 min d’attentes sur des tests en échec. Les hypothèses fausses des
tests ont été corrigées sur le serveur et les tests concernés rejoués. Il reste :
tout vert, sauf les échecs réels, marqués
knownet rattachés à leur ticket : multi-NIC (#73, #62), noms des disques SCSI (#74), modebridgesur plusieurs hôtes (#75), filtrage au port (#76), socket DHCP (#77), fausse alerte du watchdog (#78) ;#69 vérifié : au retour de
sw1(priorité 200), il redevient maître, seconde bascule en 1,2 s, sessions EVPN jamais coupées. La préemption est pourtant désactivée dans la configuration (no vrrp 1 preempt, « Preempt Mode No » relevé le 2026-10-23) : la cause de ce retour, après coupure puis rétablissement de l’interface underlay du maître, n’est pas établie.72-perte-switchn’exige donc plus que le plus prioritaire redevienne maître : il vérifie qu’il n’y a qu’un maître, note lequel, et mesure le plus long silence après le retour ;une suppression de VM peut durer 300 s quand l’invité ignore l’arrêt ACPI (#79) :
wait_stateattend jusqu’à 360 s.
Hypothèses vérifiées en lab, à garder en tête en écrivant un test :
systemd-networkd ne réécrit pas un bail renouvelé à l’identique : un renouvellement se vérifie par le DHCPACK dans le journal du serveur (
lease_renewed), pas par le fichier de bail ;l’agent n’accepte qu’un seul disque virtio (le disque racine,
vda) ; les autres sont desxvdX;sur Debian 12,
ebtables -L(nft) garde les zéros de tête des MAC ;interface_ipest posée en/32sur le bridge du netns en modebridge;depuis le netns d’un hôte, une VM d’un autre hôte ne répond pas : la réponse repart vers la gateway de son propre hôte. Une vérification entre hôtes passe par une VM.
Les VM sont accessibles depuis le netns de leur VPC, sur l’hyperviseur, avec l’utilisateur
syonad créé par les métadonnées de two :
test/e2e/labctl.sh ssh "./labctl ssh hv1 'sudo ip netns exec vp-t41 ssh -i /root/.ssh/lab-vm syonad@10.41.1.10'"
Écrire un test#
Un test est un fichier test/e2e/suite/NN-nom.sh, exécuté par run.sh sur le Mac. Il
commence par un en-tête, puis envoie des blocs aux nœuds par on <nœud> [VAR=valeur…] <<'NODE'.
Chaque bloc est précédé des bibliothèques de test/e2e/lib/ :
core.sh:check,known,known_flaky,info, appels à l’API, attente des états ;vm.sh: image Debian compatible two, clé SSH,vm_launch(plusieurs NIC et disques, UEFI,user_data, mot de passe), SSH, bail, métadonnées. La MAC de chaque NIC est fournie à l’API :52:54:00suivi des trois derniers octets de l’IP (mac_for_ip), unique dans la suite puisque chaque test a sa plage ;--nic sn=ip=macen impose une autre ;net.sh: VPC, subnets, MAC anycast, trames brutes, règles ebtables, VRRP ;evpn.sh: VRF, BGP, L3VNI, watchdog ;fixture.sh: nettoyage etassert_clean, appelés par le runner. Le nettoyage couvre les ressourcest<NN>de l’API, les netnst<NN>-*et les fichierst<NN>-*/t<NN>.*de/tmpet/var/tmp/e2e(sauf l’étatt<NN>.avant) ; il ne joue que pour un test dont l’en-tête « # hôtes: » est rempli. Un test sans aucune vérification propre, hors fixtures, est en échec.
# fonctionnalité: trafic entre deux VM d'un même subnet sur un hôte, isolation entre VPC
# hôtes: hv1
# tickets: #NN
on hv1 <<'NODE'
KEY=$(vm_key)
check "VPC vp-t99" vpc_create vp-t99 10.99.0.0/16
check "subnet sn-t99" subnet_create sn-t99 vp-t99 9901 10.99.1.0/24
check "VM t99-a" vm_launch t99-a --nic sn-t99=10.99.1.10 --sshkey "${KEY}"
check "VM t99-b" vm_launch t99-b --nic sn-t99=10.99.1.11 --sshkey "${KEY}"
check "t99-a joignable" vm_wait vp-t99 10.99.1.10
check "t99-a joint t99-b" vm_ssh vp-t99 10.99.1.10 'ping -c 2 -W 2 10.99.1.11'
check "VPC vp-t99b" vpc_create vp-t99b 10.99.0.0/16
check "subnet sn-t99b" subnet_create sn-t99b vp-t99b 9902 10.99.2.0/24
check "VM t99-c" vm_launch t99-c --nic sn-t99b=10.99.2.10 --sshkey "${KEY}"
check "t99-c joignable dans son VPC" vm_wait vp-t99b 10.99.2.10
check "t99-a ne joint pas t99-c (autre VPC)" vm_fails vp-t99 10.99.1.10 'ping -c 2 -W 2 10.99.2.10'
NODE
Les règles :
une vérification par ligne, avec
check: jamais unecho RÉUSSIécrit à la main ;toute vérification négative a son témoin : avant « ne joint pas », une ligne qui prouve que la cible est vivante et que le chemin du test fonctionne ;
``vm_fails`` pour le négatif, jamais
!devant unvm_ssh: un SSH en panne doit échouer, pas passer pour une isolation ;une donnée qui distingue réellement les cas : rien n’empêche deux subnets de porter les mêmes MAC (c’était le cas quand two les dérivait du rang de l’IP) ; comparer des couples MAC/IP, pas des MAC ;
les mesures en ``INFO``, les attentes en
check: un temps de reconvergence se mesure, il ne se décrète pas ;l’en-tête ``# hôtes:`` liste exactement les hôtes où le test crée des ressources : ce sont ceux que le runner nettoie et compare ;
un échec connu se marque
known(ouknown_flaky) avec son ticket, et le ticket liste le marqueur : jamais un contrôle retiré ou affaibli pour faire passer la suite ;variables vers un nœud :
on hv1 NOM=valeur <<'NODE'(valeurs échappées parrun.sh) ;bash test/e2e/run_test.shvérifie le runner, les bibliothèques et la syntaxe de chaque bloc réellement envoyé : à lancer avant toute session.
Campagnes précédentes#
Résultats obtenus avec les anciens scénarios s1 à s11, conservés pour leurs constats.
Leurs vérifications sont reprises dans la suite.
Résultats du 2026-10-04 sur le serveur de lab, release 0.2.0rc003, hv1 sur le DHCP intégré et
hv2 sur dnsmasq — toute la série en 8 minutes :
$ test/e2e/run.sh all | grep -E '^(=== s[0-9].* : |INFO)'
INFO: MAC de sn-s1a : 00:22:33:00:00:0a 00:22:33:00:00:0b ; de sn-s1b : 00:22:33:00:00:0a 00:22:33:00:00:0b
=== s1-dhcp-two : 37 réussi(s), 0 échoué(s)
=== s2-gateway : 22 réussi(s), 0 échoué(s)
=== s3-isolation-local : 12 réussi(s), 0 échoué(s)
=== s4-evpn : 14 réussi(s), 0 échoué(s)
=== s5-isolation-evpn : 13 réussi(s), 0 échoué(s)
INFO: 30 s après l'arrêt du route reflector : 0 réponses dans les 10 dernières secondes (50 si le trafic passe intégralement)
INFO: VTEP distant encore connu : 0 ; entrée d'inondation : 0
INFO: 90 s après l'arrêt : 0 réponses dans les 10 dernières secondes
INFO: retour du VTEP distant et du trafic 31 s après le redémarrage de FRR
=== s6-rr-loss : 8 réussi(s), 0 échoué(s)
Dans ce run, le contrôle « uniquement les MAC de son subnet » de s1 ne prouvait rien : two
dérivait alors la MAC du rang de l’IP, et les VM .10/.11 des deux subnets avaient les mêmes MAC.
Vérifié à la main sur le lab, chaque serveur DHCP ne connaissait que les couples MAC/IP de son
subnet ; le scénario compare désormais ces couples.
s7-l3vni le 2026-10-05, même lab, FRR 10.7.1 : 46 réussi(s), 0 échoué(s) au dernier run.
Quatre constats pour #41, au-delà du routage inter-subnet qui fonctionne avec le route reflector
inchangé :
bgpd 10.7.1 plante (SIGSEGV dans
bgp_redistribute_add) quand la VRF du noyau est supprimée puis recréée sous une instancerouter bgp … vrfencore configurée — FRR refuse de supprimer l’instance tant quevniest déclaré dans la VRF (« Please unconfigure l3vni »). Le plantage a touché les deux hyperviseurs à une seconde d’intervalle. Avec le démontage dans l’ordre —no redistribute,no vni,no router bgp … vrf, puis le noyau —, trois runs consécutifs passent sans plantage.La configuration posée par vtysh est perdue au redémarrage de bgpd par watchfrr, qui relit
frr.confseul.Le transit
169.254.0.0/30, identique sur tous les hôtes, fait rejeter comme « martiens » les ICMP émis par les sauts distants (VRF et netns de l’hôte de sortie) : le noyau de l’hôte d’entrée possède la même adresse. Quatre routeurs sur le chemin, seuls les deux premiers répondent. Même effet attendu sur un ICMP « fragmentation nécessaire ».La route du supernet n’existe pas dans le netns du VPC avant la pose manuelle (premier run, lab neuf) : two ne pose que la route connectée du subnet.
s8-l3vni-migration le 2026-10-06, evpn-3hv.yml : 61 réussi(s), 0 échoué(s). Le filet du
/24 porte le trafic tant que la destination n’a pas annoncé son /32 ; deux /32
coexistent sans perte tant que la source garde le subnet (40 sources sur 40, relais en L2). Si la
source supprime le subnet avant de retirer son /32, le trou noir est stable mais partiel :
hv3 installe les deux chemins en ECMP, et seuls les flux hachés vers la source échouent (17 sources
sur 40) — invisible avec un seul émetteur.
Le 2026-10-11, les mêmes qualifications par l’API, l’agent posant toute la configuration (FRR 10.7.1) :
s1às6surevpn-2hv.yml, release0.2.0rc004, base BGP des hyperviseurs posée par l’agent : 37, 22, 12, 14, 13 et 8 réussis, aucun échec.Puis, release
0.2.0rc005(correction du démontage FRR, ci-dessous),evpn-3hv.yml:s7-l3vni: 52 réussi(s), 1 échoué(s). Routage inter-subnet par le L3VNI, MAC de routeur dérivée du VTEP, exports/24et/32automatiques, forwarding par interface, L3VNI en double et subnet utilisé refusés (409), démontage complet d’un VPC sans redémarrage de bgpd. L’échec — « TTL 1 », un seul paquet — ne s’est pas reproduit au run précédent : probablement le débit limité des ICMP du noyau ; la vérification envoie désormais trois paquets.s8-l3vni-migration: 48 réussi(s), 1 échoué(s). Migration simple (/32de la destination installé sur hv3 sans délai mesurable, 50/50), séquence orchestrée (deux/32en ECMP, 40 sources sur 40), ex-pire cas refusé (409), watchdog :/32orphelin signalé comme trou noir,/32manquant signalé. L’échec est un constat : la MAC de gateway anycast est annoncée en EVPN (route de type 2 sur rr1) et FRR la déclare en double sur la VNI du subnet porté par deux hyperviseurs — apprise sur le veth du subnet, numéros de séquence croissants.
Trois défauts trouvés et corrigés pendant la campagne :
FRR installé avant la migration réseau : zebra a perdu la route par défaut sur un hyperviseur sur deux (route reflector
unresolved). Retour à l’ordre « FRR aprèsdeploy.sh», puis redémarrage de l’agent (voir Rôles).Remarques de vtysh prises pour des erreurs :
no vnirépond% Configuration applied with notes:avec un code de retour 0. Une vraie erreur (commande inconnue, refus) sort en 1.L3VNI libérée de façon asynchrone : juste après
no vni,no router bgp … vrfpeut être refusé (« Please unconfigure l3vni ») puis accepté un instant plus tard ; l’agent réessaie.
Le 2026-10-12, release 0.2.0rc006, evpn-3hv.yml : s1 à s7 sans échec,
s8-l3vni-migration 50 réussi(s), 0 échoué(s) (MAC de gateway propre à chaque hôte, aucun
doublon EVPN), s9-subnets-partages 75 réussi(s), 1 échoué(s). L’échec est une session SSH
coupée (Broken pipe), pas un ping perdu : quand un hôte route vers une VM d’un autre hôte, son
netns émet une requête ARP au nom de la gateway, partagée par tous les hôtes ; la VM met son cache à
jour et, pendant ~8 s, envoie à la gateway de l’autre hôte ce qui était destiné à la sienne.
Détails et suite : #57.
Note
Un Broken pipe (client_loop: send disconnect) ou une session SSH figée dans un scénario
n’est pas forcément un aléa du lab : c’est la signature de ce problème. Ne pas le classer
comme test instable ni ajouter un nouvel essai qui le masquerait ; regarder d’abord le cache ARP
de la VM (ip neigh show <gateway>) et l’état de la session côté VM.
Le 2026-10-13, labctl 0.2.0, release 0.2.0rc008 et binaires de l’arbre courant,
evpn-3hv.yml avec deux switchs et deux route reflectors (#54) : s1 à s10 313
réussi(s), 0 échoué(s) ; lab monté en 8 min. Segments sur un bridge de l’hôte, sept taps ;
sw2 maître VRRP au démarrage, sw1 en attente avec sa passerelle coupée. s6 : 0
requête perdue sur 510 pendant l’arrêt de rr1 puis de rr2, session rétablie 14 s après le
redémarrage de FRR. s10 : sw2 coupé, sw1 maître, 14 requêtes perdues, plus long
silence 2,8 s, sessions EVPN de hv1 jamais coupées ; sw2 rétabli reste en attente.
s9 sans Broken pipe cette fois : #57 n’est pas corrigé pour autant.
Sécurité#
Propre à two — celle de l’outil (clé d’API, clés SSH des VM, images) est décrite dans le guide de
labctl :
labctletlab-host.shsont vérifiés contre des sommes épinglées danstest/e2e/labctl.sh, pas contre leSHA256SUMStéléchargé avec eux.Code exécuté sans épinglage par
deploy.sh: la bibliothèqueshflagsest récupérée parcurlsur la branchemaind’un autre dépôt (H6N/tools) et exécutée pareval, sans vérification d’intégrité — dans le lab comme en production. Les artefacts de la release sont, eux, vérifiés contreSHA256SUMS.Le lab n’a aucune donnée personnelle ni secret de production.
Tests#
bash test/e2e/run_test.sh
Sans réseau : vérifie le runner, les fonctions de test/e2e/lib/ et la syntaxe de chaque bloc
réellement envoyé aux nœuds par la suite. Les tests de l’outil sont dans le dépôt labctl.