deploy.sh --noup_script -i -u <segment> -t <release>
+La release est fixée dans le script (RELEASE=) : sans elle, deploy.sh prendrait la dernière,
+et le lab ne serait plus reproductible. --noup_script empêche l’auto-mise à jour de remplacer le
+script par celui de main. L’uplink -u est l’interface qui porte la route par défaut, parce
+que deploy.sh y lit l’adresse et la passerelle qu’il déplace sur br-000000. deploy.sh
+télécharge la release sur git.g3e.fr sans réessayer : le script attend d’abord que le serveur
+réponde, à travers le switch. Les deux fichiers agent/ donnent à l’agent la section bgp
+(AS 64600, route reflector 10.255.255.1) et un watchdog toutes les 10 s ;
+agent/two.yml met en plus hv1 sur le serveur DHCP intégré (dhcp.backend: two),
+agent/bgp.yml laisse les autres sur dnsmasq.
+Tester l’arbre courant plutôt que la release. test/e2e/build.sh compile agent,
+dhcp et metadata pour linux/amd64 dans test/e2e/topologies/bin/ (ignoré par git),
+que les hyperviseurs reçoivent par files: {bin: bin}. Après deploy.sh,
+hypervisor.sh installe chaque binaire présent dans /opt/two/local/bin/ et y fait pointer
+/opt/two/bin/<nom> ; le reste (units, scripts) vient de la release. build.sh --clean vide
+le répertoire : le lab suivant teste la release seule.
+test/e2e/build.sh # binaires de l'arbre courant
+test/e2e/labctl.sh push test/e2e/topologies/evpn-3hv.yml
+test/e2e/labctl.sh ssh './labctl up topology/evpn-3hv.yml'
+test/e2e/build.sh --clean # retour à la release seule
---noup_script empêche l’auto-mise à jour de remplacer le script par celui de main : le lab
-teste les scripts de sa branche. L’uplink -u est l’interface qui porte la route par défaut —
-celle du premier segment de l’hyperviseur dans l’ordre de déclaration des segments — parce que
-deploy.sh y lit l’adresse et la passerelle qu’il déplace sur br-000000. deploy.sh
-télécharge la release sur git.g3e.fr sans réessayer : le lancement attend d’abord que le serveur
-réponde, à travers le switch. FRR est installé après : il démarre sur le réseau final. Démarré
+
FRR est installé après la provision : il démarre sur le réseau final. Démarré
avant la migration, zebra peut perdre la route par défaut quand elle passe de l’uplink à
br-000000 — constaté le 2026-10-11 sur un hyperviseur sur deux : route reflector
unresolved, session BGP jamais établie. L’agent, configuré avec une section bgp, refuse de
-démarrer tant que FRR n’est pas là : son premier démarrage par deploy.sh échoue, et le
-provisionnement le redémarre une fois FRR installé.
-Un seul script de provisionnement par nœud. cloud-init exécute runcmd comme un script
-sh sans set -e : seule la dernière commande compte, et un deploy.sh en échec suivi d’un
-FRR installé avec succès passerait pour un démarrage réussi. Chaque nœud reçoit donc
-/usr/local/sbin/lab-provision, en set -eu, qui enchaîne ses étapes ; runcmd n’appelle
-que lui, et la première étape en échec met cloud-init en erreur.
-Ce que vérifie lab up, une fois cloud-init terminé sans erreur : agent.service actif
-sur chaque hyperviseur, frr actif sur chaque nœud qui en a un. Ce contrôle couvre ce que
-cloud-init ne voit pas — si la migration réseau échoue, deploy.sh arme un redémarrage de
-secours, et la VM redémarrée ne rejoue pas runcmd.
+démarrer tant que FRR n’est pas là : son premier démarrage par deploy.sh échoue, et
+provision/hypervisor-post.sh (post_provision) le redémarre une fois FRR installé.
Avertissement
Un hyperviseur du lab ne survit pas à un redémarrage. En production, la racine est en
tmpfs et deploy.sh --bootstrap est rejoué à chaque démarrage ; dans le lab, -i n’est
exécuté qu’au premier, et la migration réseau, qui n’est pas persistée, est perdue. Recréer le
-lab : lab down puis lab up.
+lab :
labctl down puis
labctl up.
Vérifié le 2026-10-04 sur le serveur de lab, topologie evpn-2hv, release 0.2.0rc002 :
-$ scripts/lab-host.sh ssh './lab up -timeout 25m topology/evpn-2hv.yml'
+$ test/e2e/labctl.sh ssh './labctl up -timeout 25m topology/evpn-2hv.yml'
sw1: started
rr1: started
hv1: started
@@ -849,7 +582,7 @@ hv2: ready
-lab up complet : FRR, deploy.sh et vérification des services de chaque rôle
|
+
labctl up complet : FRR, deploy.sh et vérification des services de chaque rôle
|
6 min 15 |
session switch ↔ route reflector, IPv4 unicast, BFD |
@@ -889,262 +622,9 @@ que de BGP et d’EVPN, et sa configuration propre au constructeur n’a pas sa
-
-Rendu des VM
-lab render produit, pour chaque nœud, ce qu’il faut pour démarrer sa VM — sans rien lancer :
-$ go run ./cmd/lab render -key ~/.config/two-lab/ssh/lab_ed25519.pub test/e2e/topologies/evpn-2hv.yml <répertoire>
-
-
-<répertoire>/<nœud>/ reçoit :
-
-qemu.argsLes arguments de qemu-system-x86_64, un par ligne : rien à échapper, rien à
-interpréter par un shell.
-
-meta-data, user-data, network-configLes trois fichiers NoCloud de cloud-init, à mettre dans une image de volume cidata.
-
-
-Les chemins de la VM (disk.qcow2, seed.iso, console.log, qmp.sock, qemu.pid)
-sont ceux du répertoire du nœud ; -key peut être répété, et accepte un fichier
-authorized_keys (lignes vides et commentaires ignorés). Les fichiers sont créés en 0600.
-Ce que contiennent les arguments QEMU d’un hyperviseur — extrait réel, côté réseau :
--netdev
-user,id=mgmt0,restrict=on,ipv6=off,hostfwd=tcp:127.0.0.1:2202-:22
--device
-virtio-net-pci,netdev=mgmt0,mac=02:4d:00:02:00:00,romfile=
--netdev
-dgram,id=underlay,local.type=inet,local.host=127.0.0.1,local.port=20002,remote.type=inet,remote.host=127.0.0.1,remote.port=20003
--device
-virtio-net-pci,netdev=underlay,mac=02:4c:00:02:00:00,host_mtu=9000,romfile=
-
-
-Les choix qui s’y lisent :
-
-machine q35, -accel kvm -cpu host — le KVM imbriqué des hyperviseurs du lab en
-dépend ; -nodefaults pour qu’aucun périphérique implicite ne s’ajoute ;
-administration (mgmt0) : le NAT de QEMU, MAC 02:4d:<nœud>:<nœud>:00:00, SSH redirigé
-sur la boucle locale de l’hôte. restrict=on pour tous les nœuds sauf le switch : un
-nœud isolé ne joint ni l’hôte ni l’extérieur par là, seule la redirection SSH passe.
-ipv6=off partout (voir plus bas) ;
-câbles : dgram sur 127.0.0.1, les deux extrémités d’un câble se répondent
-(port local de l’une = port distant de l’autre), host_mtu annonce le MTU du segment au
-guest ;
-romfile= vide sur toutes les cartes : pas de ROM de démarrage réseau, donc pas de repli
-sur un démarrage PXE si le firmware ne trouve pas le disque. Pendant les essais de #50, une VM
-restée bloquée sans rien écrire sur sa console, CPU au repos, avait toutes les apparences de
-ce repli ; la cause n’a pas été isolée, l’option est une précaution.
-
-Ce que fait cloud-init :
-
-toutes les VM : interfaces nommées d’après leur MAC (mgmt0, nom du segment, p<i>),
-dhcp4: false partout, mgmt0 en 10.0.2.15/24 sans passerelle ; connexion SSH par
-clé seulement, utilisateur debian, root désactivé, mot de passe refusé ;
-un nœud : adresse sur chaque segment, MTU du segment, route par défaut et DNS
-(1.1.1.1, 8.8.8.8) sur son premier segment — la sortie Internet passe par le
-switch ;
-le switch : route par défaut par mgmt0 ; un service lab-switch crée un bridge
-br-<segment> par segment (STP désactivé, MTU du segment), y branche ses ports, porte la
-passerelle, active le routage et masque (NAT nftables) les segments vers mgmt0. Le
-service est rejoué à chaque démarrage.
-
-
-Vérifié sur de vraies VM
-Le switch et le route reflector n’ont pas besoin de KVM imbriqué : sw1 et rr1 de
-l’exemple ont été démarrés sur un Mac, en émulation (TCG), avec Debian 12 generic et
-les fichiers produits par lab render.
-
-Un défaut trouvé par cet essai, et corrigé : sans ipv6=off, le NAT de QEMU annonce un
-préfixe IPv6 et mgmt0 reçoit une route IPv6 par défaut — vers une impasse, puisque
-restrict=on bloque tout. Pas de fuite, mais chaque programme qui tente l’IPv6 d’abord (le DNS
-renvoie d’abord des adresses IPv6) attend un délai avant de se rabattre sur l’IPv4.
-
-
Note
-
Un ping vers 10.0.2.2 n’est pas un test d’isolation : c’est la passerelle virtuelle de
-QEMU qui répond elle-même, restrict=on ou non. Seule une connexion vers un vrai service de
-l’hôte, avec un témoin qui y parvient, le prouve.
-
-Reste à vérifier sur le serveur de lab : les hyperviseurs, qui exigent KVM imbriqué.
-
-
-
-Lancement des VM
-lab s’exécute sur le serveur de lab. Il garde l’état du lab dans un répertoire
-(-run, par défaut ~/lab-run) : status, down et ssh n’ont donc pas besoin de la
-topologie.
-lab up [-run dir] [-cache dir] [-timeout 20m] <topologie.yml>
-lab status [-run dir]
-lab down [-run dir]
-lab ssh [-run dir] <nœud> [commande…]
-
-
-
-lab up
-refuse de continuer si un lab tourne déjà dans le répertoire ;
-télécharge chaque image dans le cache (-cache, par défaut ~/.cache/two-lab) et la
-vérifie contre SHA512SUMS ; une image déjà présente et toujours conforme n’est pas
-retéléchargée, la liste des sommes est relue à chaque fois ;
-génère une paire de clés SSH dans le répertoire du lab, si elle n’existe pas encore ;
-pour chaque nœud : fichiers de lab render, disque neuf en overlay qcow2 sur
-l’image (qemu-img create -b, 20 Gio annoncés), image cidata (genisoimage) ;
-démarre les QEMU, switchs d’abord, détachés (-daemonize) : ils survivent à la
-session SSH qui les a lancés ;
-attend sur chaque nœud la fin de cloud-init (cloud-init status --wait par SSH),
-jusqu’au délai -timeout.
-
-La topologie est copiée dans <run>/topology.yml. Un échec laisse les nœuds démarrés en
-place : lab status, puis lab down.
-
-lab statusPour chaque nœud : rôle, état du processus QEMU, PID, port SSH sur la boucle locale.
-
-lab downArrête chaque QEMU par SIGTERM, puis SIGKILL au bout de 30 s. Les disques sont
-conservés jusqu’au prochain up, qui les recrée.
-
-lab sshOuvre un shell sur un nœud, ou y exécute une commande, avec la clé générée par up. lab
-cède la place à ssh, dont le code de retour est donc celui de la commande. Un terminal
-n’est demandé (-t) que si l’entrée de lab en est un : depuis un script, ni
-pseudo-terminal ni \r\n dans la sortie.
-Comme ssh, lab ssh recolle ses arguments par des espaces et les confie à un shell
-distant — et depuis le Mac, il y en a deux : celui du serveur, puis celui de la VM.
-Une commande qui contient elle-même des guillemets se passe en une seule chaîne :
-$ echo | scripts/lab-host.sh ssh './lab ssh hv1 sh -c "exit 42"'; echo "rc 42=$?"
-rc 42=0
-$ echo | scripts/lab-host.sh ssh "./lab ssh hv1 'sh -c \"exit 42\"'"; echo "rc 42=$?"
-rc 42=42
-
-
-Dans le premier cas, la VM reçoit sh -c exit 42 : exit sans argument, 42 en
-$0. Pour plus d’une commande, passer un script sur l’entrée standard :
-scripts/lab-host.sh ssh "./lab ssh hv1 'sudo bash -s'" < script.sh.
-
-
-Un processus n’est tenu pour celui d’un nœud que si son PID, lu dans qemu.pid, désigne un
-processus vivant dont la ligne de commande (/proc/<pid>/cmdline) contient -name <nœud>.
-Un PID réutilisé par un autre programme n’est donc jamais signalé.
-
-
Avertissement
-
Le cache range une image sous son nom de fichier, et l’URL de Debian est latest : une
-nouvelle publication remplace le fichier, et les overlays existants pointeraient sur une
-base différente. up recrée toujours les disques, ce qui suffit avec un lab par serveur ;
-ne pas relancer un QEMU à la main à partir d’un qemu.args après un up ultérieur.
-
-Une campagne réelle, de la création du serveur à la première commande sur une VM — sorties du
-2026-10-04 :
-$ scripts/lab-host.sh up
-== création de two-lab (EM-B212X-SSD, 0.321 EUR/h HT)
-…
-== préparation du serveur : qemu, genisoimage, KVM imbriqué
-…
-qemu QEMU emulator version 7.2.22 (Debian 1:7.2+dfsg-7+deb12u18+b3), nested=Y
-== prêt : root@<adresse>
-$ scripts/lab-host.sh push test/e2e/topologies/evpn-2hv.yml
-== compilation de lab (linux/amd64)
-== déposés sur le serveur : ~/lab, ~/evpn-2hv.yml — ensuite : lab-host.sh ssh './lab up evpn-2hv.yml'
-$ scripts/lab-host.sh ssh './lab up evpn-2hv.yml'
-sw1: started
-rr1: started
-hv1: started
-hv2: started
-sw1: ready
-rr1: ready
-hv1: ready
-hv2: ready
-$ scripts/lab-host.sh ssh './lab status'
-node role state pid ssh
-sw1 switch running 5158 127.0.0.1:2200
-rr1 rr running 5171 127.0.0.1:2201
-hv1 hypervisor running 5182 127.0.0.1:2202
-hv2 hypervisor running 5196 127.0.0.1:2203
-
-
-lab up a pris 49 secondes, téléchargement et vérification de l’image (427 Mio) compris ;
-l’essentiel du temps d’une campagne est la livraison du serveur (environ 25 minutes avec
-prepare).
-
-Vérifié sur le serveur de lab
-Le 2026-10-04, sur un Xeon E5-2640 v3, Debian 12 et QEMU 7.2 sur le serveur, topologie
-evpn-2hv :
-
-
-
Scénarios
-Les scénarios se lancent depuis le Mac, sur un lab démarré (up, push, ./lab up) :
+Les scénarios se lancent depuis le Mac, sur un lab démarré (up, push, ./labctl up) :
test/e2e/run.sh s1 # un scénario
test/e2e/run.sh s1 s3 # plusieurs
test/e2e/run.sh all # tous, dans l'ordre
@@ -1331,14 +811,14 @@ de la VM (ip
Les VM sont accessibles depuis le netns de leur VPC, sur l’hyperviseur, avec l’utilisateur
syonad créé par les métadonnées de two :
-
scripts/lab-host.sh ssh "./lab ssh hv1 'sudo ip netns exec vp-s4 ssh -i /root/.ssh/lab-vm syonad@10.240.1.10'"
+test/e2e/labctl.sh ssh "./labctl ssh hv1 'sudo ip netns exec vp-s4 ssh -i /root/.ssh/lab-vm syonad@10.240.1.10'"
Écrire un scénario
Le lab sert à qualifier des comportements qui ne se voient qu’à plusieurs hyperviseurs — la
campagne L3VNI de #41 en est le prochain exemple. Un
-scénario est un fichier test/e2e/scenarios/<n>-<nom>.sh, exécuté par scenario.sh sur le
+scénario est un fichier test/e2e/scenarios/<n>-<nom>.sh, exécuté par run.sh sur le
Mac ; il envoie des blocs aux nœuds :
on hv1 <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two"; exit 0; }
@@ -1368,103 +848,33 @@ il ne se décrète pas ;
all les enchaîne sur le même lab ; un scénario qui dépend d’un autre le vérifie en tête
(check "prérequis : …") ;
variables vers un nœud : on hv1 NOM=valeur <<'NODE' (valeurs échappées par
-scenario.sh) ;
+
run.sh) ;
bash test/e2e/run_test.sh vérifie la syntaxe de chaque bloc réellement envoyé — à
lancer avant toute session.
-
-Facturation
-
-
Avertissement
-
Un serveur Elastic Metal est facturé de sa création à sa suppression, éteint compris.
-Éteindre ne suffit pas : il faut supprimer. La granularité n’est pas documentée par Scaleway —
-compter chaque heure entamée comme une heure pleine.
-
-Ce que le script garantit :
-
-il ne commande jamais d’offre mensuelle : il exige une seule offre au nom demandé, en
-facturation horaire, en stock et sans frais de mise en service, sinon il refuse avant toute
-création. La CLI scw n’est pas utilisée pour cette raison : son server create type=…
-choisit l’offre par son seul nom et peut tomber sur la mensuelle, qui engage un mois ;
-il refuse de créer un second serveur si un serveur de lab existe déjà ;
-down agit sur tous les serveurs portant le tag two-lab dans le projet, et
-session y ajoute l’identifiant reçu à la création : un serveur créé juste avant une
-interruption est rattrapé ;
-une suppression refusée pendant la livraison ou l’installation est réessayée tant qu’elle dure,
-dans la limite du délai d’installation augmenté du délai de suppression ;
-le serveur n’est déclaré supprimé qu’au 404 de l’API, jamais sur une erreur passagère ;
-un échec de suppression se termine par SERVEUR(S) DE LAB TOUJOURS FACTURÉ(S) et un code
-d’erreur.
-
-Ce qu’il ne peut pas garantir : un SIGKILL, une coupure de courant ou une mise en veille du
-poste qui lance la session. En cas de doute, toujours :
-scripts/lab-host.sh status
-scripts/lab-host.sh down
-
-
-
-
-Diagnostic
-
-aucune clé SSH active dans le projetAucune clé SSH n’est enregistrée dans le projet de lab. En ajouter une dans la console (projet
-→ Clés SSH).
-
-offre horaire EM-B212X-SSD : 0 correspondance(s)L’offre n’existe pas dans la zone en facturation horaire. Vérifier SCW_DEFAULT_ZONE.
-
-création incertaineLa création a échoué ou n’a pas rendu d’identifiant. Le serveur a pu être créé malgré tout —
-cas typique : le quota (identité non validée), ou une réponse perdue. Le script indique s’il
-voit un serveur de lab ; dans tous les cas, lancer status puis down.
-
-SSH injoignableL’installation est terminée mais SSH ne répond pas après 10 minutes. Avec une clé matérielle
-(Yubikey), chaque connexion demande un PIN ou un toucher : utiliser la clé dédiée du lab. Le
-serveur est toujours facturé : down.
-
-SERVEUR(S) DE LAB TOUJOURS FACTURÉ(S)La suppression n’a pas abouti dans les délais. Relancer down ; si l’erreur persiste,
-supprimer depuis la console Scaleway.
-
-HTTP 403 insufficient permissionsLa clé d’API est authentifiée mais n’a pas le droit demandé — en général la lecture des clés
-SSH du projet. Compléter la politique de la clé, limitée au projet.
-
-
-
Sécurité
+Propre à two — celle de l’outil (clé d’API, clés SSH des VM, images) est décrite dans le guide de
+labctl :
-La clé secrète n’apparaît ni dans les arguments des processus (elle est passée à curl par
-un descripteur de fichier), ni dans les journaux, ni dans l’environnement de ssh.
-Ne jamais lancer le script sous bash -x : la trace afficherait la clé.
-Le serveur n’expose que SSH, par clé. Le lab n’a aucune donnée personnelle ni secret de
-production.
-Une clé secrète qui a circulé ailleurs que dans scaleway.env (conversation, terminal
-partagé, capture d’écran) se régénère.
-Clé SSH des VM : générée par lab up sur le serveur, c’est la seule clé autorisée dans
-les VM. Elle ne quitte jamais le serveur, n’ouvre que les VM du lab — qui n’écoutent qu’en
-boucle locale — et disparaît avec lui. La clé publique du Mac n’est jamais envoyée aux VM.
-Clés d’hôte des VM non vérifiées par lab ssh (known_hosts jetable) : elles changent
-à chaque up. Acceptable uniquement parce que la connexion reste sur la boucle locale d’un
-serveur auquel on s’est authentifié.
+labctl et lab-host.sh sont vérifiés contre des sommes épinglées dans
+test/e2e/labctl.sh, pas contre le SHA256SUMS téléchargé avec eux.
Code exécuté sans épinglage par deploy.sh : la bibliothèque shflags est récupérée
par curl sur la branche main d’un autre dépôt (H6N/tools) et exécutée par eval,
sans vérification d’intégrité — dans le lab comme en production. Les artefacts de la release
sont, eux, vérifiés contre SHA256SUMS.
-Image : SHA512SUMS vient de la même origine que l’image, en HTTPS. La vérification
-protège contre la corruption, pas contre une origine compromise ; la signature GPG de Debian
-(SHA512SUMS.sign) n’est pas encore vérifiée.
+Le lab n’a aucune donnée personnelle ni secret de production.
Tests
-bash scripts/lab-host_test.sh
-bash test/e2e/run_test.sh
-go test ./internal/lab/... ./cmd/lab/
+bash test/e2e/run_test.sh
-Environ une minute et demie, sans réseau : la suite remplace curl par une fausse API Scaleway
-qui se place dans le pire cas (offre mensuelle listée avant l’horaire, serveurs d’autres projets,
-suppressions refusées, erreurs 503, serveur qui tarde à disparaître) et ssh par un faux client.
-Elle tourne sous bash 5 comme sous le bash 3.2 de macOS.
+Sans réseau : vérifie la syntaxe de chaque bloc réellement envoyé aux nœuds par les scénarios et
+les fonctions de test/e2e/lib/node.sh. Les tests de l’outil sont dans le dépôt labctl.
@@ -1515,28 +925,15 @@ Elle tourne sous bash 5 comme sous le bash 3.2 de macOS.