Lab : refonte de la suite e2e par fonctionnalité, dans un ordre fixe #70
Labels
No labels
bug fix
feature implementation
new feature
No project
No assignees
1 participant
Notifications
Due date
No due date set.
Dependencies
No dependencies set.
Reference
syonad/two#70
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Contexte
Les scénarios actuels (
test/e2e/scenarios/s1às11) suivent l'historique des bugs, pas les fonctionnalités :Cette issue remplace #58 (couverture des fonctionnalités de base) et #69 (
s10-switch-losssuppose que le switch rétabli reste en attente). Elle les fermera.Principes
# fonctionnalité:,# hôtes:,# tickets:.assert_cleanqu'il ne reste rien (tap, netns, règles ebtables/iptables, instance ou socket DHCP, scope systemd, état FRR). Aucune dépendance entre tests, en dehors de la couche 00.NNutilise le préfixetNN-, les adresses10.NN.0.0/16et les VNINN00àNN99.run.sh all,run.sh <couche>,run.sh <test>,--from <n>. Par défaut, il s'arrête à la fin d'une couche en échec.lab.rst.Catalogue
frr.conf, aucune alerte du watchdog (s7, s10 en partie)interface_ipen vxlan, préfixe > /29, VM sur une adresse réservée ou hors CIDR,l3vnidéjà pris (409) (s2, s7)creating, suppression depuiserror, subnet non supprimable tant qu'une VM l'utilise (s7, s8)sshkey,password,user_data, document vide ≠ document absentuefi: truevdXetsdXdefault_route/gateway, recréation du subnet (s2)bridgeshow vrrp; si le switch coupé était le plus prioritaire, la seconde bascule est mesurée, < 5 s)Migration
api,vm,net,evpn), couche 00.run_test.sh,bash -n, rendu labctl).checkde s1 à s11 → son test dans la nouvelle suite, posté ici comme preuve qu'aucune vérification n'est perdue.run.sh allsur evpn-3hv ; ensuite seulement, suppression detest/e2e/scenarios/.Points ouverts
bridge(33) : comment le raccorder dans le lab (segment partagé entre hôtes ou bridge local) — à trancher.Critère de clôture
Chaque fonctionnalité du catalogue est couverte par un test, chaque
checkde s1 à s11 est repris (tableau de correspondance), et une campagnerun.sh allest verte sur evpn-3hv. Le bilan est posté ici. #58 et #69 sont fermés en renvoyant à cette issue.Bilan — suite e2e par fonctionnalité, branche
feature-70(poussée)Ce qui est livré
28 tests dans
test/e2e/suite/, en couches 00 (socle, prérequis, image) → 10 (API, états) → 20 (VM) → 30 (réseau local, bridge, filtrage) → 40 (EVPN L2) → 50 (L3VNI) → 60 (cycle de vie) → 70 (résilience). Un fichier par fonctionnalité, en-tête# fonctionnalité:/# hôtes:/# tickets:, plagestNN,10.NN.0.0/16, VNINN00–NN99.Runner :
run.sh all | <couche> | <test> | --from <NN>;--continuepour poursuivre ;--matrice(couverture tirée des en-têtes) ;--connus.Tests autonomes : avant chaque test, le runner nettoie ses restes et relève l'état de l'hôte ; après, il supprime ses ressources et vérifie l'état de l'hôte (
assert_clean: netns, liens, adresses, routes, ebtables, iptables, FRR,/run/two, volumes, unités, processus).Bibliothèque découpée en
core,vm,net,evpnetfixture;run_test.sh58/58, avec des mutants sur chaque fonction nouvelle.Marqueurs d'échec connu :
known "#NN"(CONNU tant que l'échec persiste, INATTENDU, donc échec, dès que le contrôle passe) etknown_flaky(intermittent). Chaque ticket concerné liste ses marqueurs en commentaire.Topologie : segment
lansans routeur sur hv1 et hv2,br-lan,interfaces.lan, backend dnsmasq explicite sur hv2 et hv3.Doc :
docs/developpement/lab.rstréécrit : couches, usage, autonomie, marqueurs, matrice, campagne, écrire un test ;api/agent.yaml:user_datavide équivaut à absent ;sphinx -Wvert.test/e2e/scenarios/supprimé. Les 251 vérifications des1às11sont toutes reprises :Aucune vérification orpheline. Tableau complet ci-dessous.
Campagne du 2026-10-17
evpn-3hv, labctl 0.2.0, fr-par-1, binaires de l'arbre courant (agent identique àmain).run.sh --continue all: 76 min, dont environ 15 min d'arrêts de VM à 300 s et 15 min d'attentes sur des tests en échec.Tout est vert, sauf les échecs réels, marqués et rattachés à un ticket :
network-configne vise queeth0)sdXdans l'invité ≠devdéclaré (ordre de détection SCSI)interface_iptimessw1(priorité 200), il redevient maître, seconde bascule en 1,2 s, sessions EVPN jamais coupées.72-perte-switchremplaces10.lab.rst). Seule exception, « document vide ≠ document absent », qui n'est pas atteignable par l'API (user_datavide = absent) : la doc de l'API est corrigée.Reste avant de fermer
Fusion de
feature-70par l'utilisateur. Une campagne sans aucun CONNU attend les correctifs ci-dessus ; leurs critères de clôture la portent.Correspondance des vérifications s1–s11 → suite/ (#70)
Généré par un script (normalisation des descriptions de
check, appariement exact puis approché ≥ 0,75, et une table explicite pour les reprises ailleurs et les sens modifiés).Bilan : 251 check — 234 repris à l'identique (au renommage près), 6 reformulés, 8 repris dans un autre test, 3 au sens modifié, 0 orphelins.
Contrôles ajoutés sans équivalent dans s1–s11 (étape 2g)
02-prerequis,03-image: hypothèses d'environnement et d'image rendues explicites.35-filtrage-port: comportement attendu entre VM d'un même hôte (faux DHCP, usurpation ARP de.254/.253) — non filtré à ce jour.remoteVtep), 53 (retrait BGP du /32), 61 (fichiers recréés).Fusionné dans
main(3c3e58a). Bilan et tableau de correspondance : commentaires ci-dessus.Suite de la 0.2.0 : les échecs réels de la campagne ont leurs tickets (#73, #62, #74, #75, #77, #78 ; #76 et #79 en 0.3.0), avec leurs marqueurs
knownà retirer au fil des correctifs. Fermé.