Lab : suite e2e complète avec des VM de test en Rocky 10 #82

Open
opened 2026-10-24 10:55:37 +00:00 by nicolas.boufideline · 5 comments

Constat

#53 produit une image Rocky 10 reproductible (dépôt syonad/two-images) et la valide par un seul
scénario. Le reste de la suite e2e lance ses VM de test sur la Debian 12 genericcloud de
lib/core.sh et suppose une Debian dans le harnais :

  • vm_lease lit les baux de systemd-networkd (/run/systemd/netif/leases/<ifindex>) ; Rocky
    utilise NetworkManager ;
  • 03-image vérifie que ens3 est configurée par systemd-networkd (networkctl status) ;
  • le nom d'interface ens3 est écrit en dur dans plusieurs scénarios (21, 22, 25, 33, 35…) ;
  • IMAGE_URL / IMAGE_FILE et two_image ne connaissent que l'image Debian.

Objectif

Faire tourner toute la suite avec les VM de test en Rocky 10, pour qualifier two avec l'image
réellement utilisée.

Pistes

  • Fonctions du harnais indépendantes de la distribution (bail lu selon le gestionnaire de réseau,
    nom de la première interface relevé plutôt que supposé), testées dans run_test.sh.
  • Image des VM de test choisie par une variable, la Debian restant disponible le temps de la bascule.
  • Inventaire complet des hypothèses Debian (grep de networkd, ens3, apt) avant le code.

Dépendances

  • #53 : l'image Rocky 10 et sa validation.
  • La mise à disposition de l'image pour le serveur de lab (reconstruction en session) : sujet à part.

Lié : #53, #52.

## Constat #53 produit une image Rocky 10 reproductible (dépôt syonad/two-images) et la valide par un seul scénario. Le reste de la suite e2e lance ses VM de test sur la Debian 12 `genericcloud` de `lib/core.sh` et suppose une Debian dans le harnais : - `vm_lease` lit les baux de systemd-networkd (`/run/systemd/netif/leases/<ifindex>`) ; Rocky utilise NetworkManager ; - `03-image` vérifie que `ens3` est configurée par systemd-networkd (`networkctl status`) ; - le nom d'interface `ens3` est écrit en dur dans plusieurs scénarios (21, 22, 25, 33, 35…) ; - `IMAGE_URL` / `IMAGE_FILE` et `two_image` ne connaissent que l'image Debian. ## Objectif Faire tourner toute la suite avec les VM de test en Rocky 10, pour qualifier two avec l'image réellement utilisée. ## Pistes - Fonctions du harnais indépendantes de la distribution (bail lu selon le gestionnaire de réseau, nom de la première interface relevé plutôt que supposé), testées dans `run_test.sh`. - Image des VM de test choisie par une variable, la Debian restant disponible le temps de la bascule. - Inventaire complet des hypothèses Debian (`grep` de `networkd`, `ens3`, `apt`) avant le code. ## Dépendances - #53 : l'image Rocky 10 et sa validation. - La mise à disposition de l'image pour le serveur de lab (reconstruction en session) : sujet à part. Lié : #53, #52.
Author
Owner

Plan validé (2026-10-31)

Branche feature-82, partie de feature-65.

Inventaire des hypothèses Debian (test/e2e)

Hypothèse Où
image Debian téléchargée puis modifiée (two_image) lib/core.sh, lib/vm.sh, 01
nom d'interface en dur (ens3, ens4) lib/vm.sh, 03, 21, 22, 25, 27, 28, 33, 35, 48
bail lu dans /run/systemd/netif/leases/ (clés ADDRESS, SERVER_ADDRESS, DNS, NTP, MTU) vm_lease, 21, 22, 25, 27
renouvellement par networkctl renew lease_renewed, 21, 22, 33, 44
interface configurée par un fichier networkd 03, 21, 22, 25

Sans changement : cloud-init status --wait, python3, curl, utilisateur syonad, nom deb.debian.org (29, simple nom à résoudre).

Plan

  1. Image choisie par VM_IMAGE (debian12 par défaut, rocky10), transmise aux nœuds par run.sh. debian12 : inchangé. rocky10 : fichier déposé sur l'hyperviseur avec le SHA512SUMS de two-images, vérifié, ni téléchargé ni modifié (les exigences two sont dans l'image).
  2. Image Rocky construite sur le serveur de lab pendant la campagne (two-images/build.sh rocky10, KVM, entrées épinglées), puis déposée sur chaque hyperviseur.
  3. Interface trouvée par sa MAC (renvoyée par l'API) au lieu d'un nom supposé : helper vm_iface, ens3/ens4 des scénarios remplacés.
  4. Bail, date du bail et renouvellement selon le gestionnaire de réseau de la VM (systemd-networkd ou NetworkManager), mêmes clés pour vm_lease. « Tenu par systemd-networkd » devient « tenu par le gestionnaire de l'image » ; 03-image vérifie la configuration propre à chaque image.
  5. Mesure préalable sur rocky10.qcow2 en local (infrastructure de two-images/test.sh) : noms d'interface, clés lues par nmcli, commande de renouvellement qui émet réellement un DHCPREQUEST. Les points 3 et 4 sont codés d'après ces mesures.
  6. Tests des helpers dans run_test.sh, doc. Validation en campagne : suite verte en debian12 (non-régression), puis en rocky10.
## Plan validé (2026-10-31) Branche `feature-82`, partie de `feature-65`. ### Inventaire des hypothèses Debian (`test/e2e`) | Hypothèse | Où | |---|---| | image Debian téléchargée puis modifiée (`two_image`) | `lib/core.sh`, `lib/vm.sh`, 01 | | nom d'interface en dur (`ens3`, `ens4`) | `lib/vm.sh`, 03, 21, 22, 25, 27, 28, 33, 35, 48 | | bail lu dans `/run/systemd/netif/leases/` (clés `ADDRESS`, `SERVER_ADDRESS`, `DNS`, `NTP`, `MTU`) | `vm_lease`, 21, 22, 25, 27 | | renouvellement par `networkctl renew` | `lease_renewed`, 21, 22, 33, 44 | | interface configurée par un fichier networkd | 03, 21, 22, 25 | Sans changement : `cloud-init status --wait`, `python3`, `curl`, utilisateur `syonad`, nom `deb.debian.org` (29, simple nom à résoudre). ### Plan 1. **Image choisie par `VM_IMAGE`** (`debian12` par défaut, `rocky10`), transmise aux nœuds par `run.sh`. `debian12` : inchangé. `rocky10` : fichier déposé sur l'hyperviseur avec le `SHA512SUMS` de two-images, vérifié, ni téléchargé ni modifié (les exigences two sont dans l'image). 2. **Image Rocky construite sur le serveur de lab** pendant la campagne (`two-images/build.sh rocky10`, KVM, entrées épinglées), puis déposée sur chaque hyperviseur. 3. **Interface trouvée par sa MAC** (renvoyée par l'API) au lieu d'un nom supposé : helper `vm_iface`, `ens3`/`ens4` des scénarios remplacés. 4. **Bail, date du bail et renouvellement selon le gestionnaire de réseau de la VM** (systemd-networkd ou NetworkManager), mêmes clés pour `vm_lease`. « Tenu par systemd-networkd » devient « tenu par le gestionnaire de l'image » ; 03-image vérifie la configuration propre à chaque image. 5. **Mesure préalable sur `rocky10.qcow2`** en local (infrastructure de `two-images/test.sh`) : noms d'interface, clés lues par `nmcli`, commande de renouvellement qui émet réellement un DHCPREQUEST. Les points 3 et 4 sont codés d'après ces mesures. 6. Tests des helpers dans `run_test.sh`, doc. Validation en campagne : suite verte en `debian12` (non-régression), puis en `rocky10`.
Author
Owner

Campagne 9 (2026-10-31) : suite complète avec des VM Rocky 10

Image rocky10 construite sur le serveur de lab par two-images/build.sh (KVM, ~1 min de construction), déposée et vérifiée (SHA-512) sur hv1–hv3, suite jouée avec VM_IMAGE=rocky10.

28 scénarios sur 35 sans échec, dont 03-image (NetworkManager, ens3 configurée par la connexion cloud-init ens3), 21/22 DHCP (bail lu et renouvelé par nmcli), 23 métadonnées, 25 multi-NIC, 52 migration (52/52), 53, 61, 62, 71, 72.

Scénario Échec Lecture
01-lab alerte watchdog du test 35 joué 3 min avant (ordre de la campagne) sans rapport avec Rocky
27-reboot cloud-init status --wait non nul après redémarrage, alors que status: done harnais : cloud-init récent renvoie un code non nul sur avertissement
41-evpn-l2, 51-l3vni « 1473 octets refusés localement (MTU 1500) » harnais : ping -M do de Rocky ne signale pas le refus local comme Debian
44-fenetre-arp une connexion TCP perdue pendant la fenêtre (80/80 attendus) à analyser
46-passerelle-nat sortie par la passerelle et bascule (3 échecs) à analyser, verts sous Debian
47-ip-flottante sortie avec l'IP flottante (2 échecs) à analyser, verts sous Debian

Suite : analyser 44/46/47 sur une VM Rocky locale (hors lab), adapter le harnais pour 27, 41 et 51, puis rejouer en campagne.

## Campagne 9 (2026-10-31) : suite complète avec des VM Rocky 10 Image `rocky10` construite sur le serveur de lab par `two-images/build.sh` (KVM, ~1 min de construction), déposée et vérifiée (SHA-512) sur hv1–hv3, suite jouée avec `VM_IMAGE=rocky10`. **28 scénarios sur 35 sans échec**, dont 03-image (NetworkManager, `ens3` configurée par la connexion `cloud-init ens3`), 21/22 DHCP (bail lu et renouvelé par `nmcli`), 23 métadonnées, 25 multi-NIC, 52 migration (52/52), 53, 61, 62, 71, 72. | Scénario | Échec | Lecture | |---|---|---| | 01-lab | alerte watchdog du test 35 joué 3 min avant (ordre de la campagne) | sans rapport avec Rocky | | 27-reboot | `cloud-init status --wait` non nul après redémarrage, alors que `status: done` | harnais : cloud-init récent renvoie un code non nul sur avertissement | | 41-evpn-l2, 51-l3vni | « 1473 octets refusés localement (MTU 1500) » | harnais : `ping -M do` de Rocky ne signale pas le refus local comme Debian | | 44-fenetre-arp | une connexion TCP perdue pendant la fenêtre (80/80 attendus) | à analyser | | 46-passerelle-nat | sortie par la passerelle et bascule (3 échecs) | à analyser, verts sous Debian | | 47-ip-flottante | sortie avec l'IP flottante (2 échecs) | à analyser, verts sous Debian | Suite : analyser 44/46/47 sur une VM Rocky locale (hors lab), adapter le harnais pour 27, 41 et 51, puis rejouer en campagne.
Author
Owner

Résultats — campagne 10, suite e2e complète en Rocky 10 (2026-11-01)

Arbre feature-82 rebasé sur main (#95 et #65 fusionnés), image rocky10 construite sur le serveur (two-images 5662b83), suite complète avec VM_IMAGE=rocky10 en 1 h 28.

31 scénarios sur 35 entièrement verts, 1408 vérifications réussies, 5 échecs. Corrections précédentes validées : 41-evpn-l2 27/27 et 51-l3vni 62/62 (casse du message), 52-migration 52/52, 61, 62, 71, 72 verts.

Les 4 scénarios en échec sont tous expliqués, par des mesures sur le lab ; aucun ne vient de two :

Test Cause mesurée Suite
46, 47 (premier ping hors de la fenêtre de capture) login SSH de 10 à 40 s : le client ssh des hyperviseurs Debian propose GSSAPI, le sshd de Rocky l'accepte ; DNS hors de cause (UseDNS no, résolutions < 10 ms) corrigé : vm_ssh passe -o GSSAPIAuthentication=no ; revérifié : 47 61/61, premier ping à 0 s, 46 et 47 en 4 min 50 au lieu de ~12 min chacun
46 (refus de la VRF sans « Unreachable »), apparu une fois SSH rapide limite ICMP par destination de l'hyperviseur (IcmpOutRateLimitHost +3, IcmpOutDestUnreachs +0 pendant le contrôle), épuisée par chronyd de Rocky qui interroge 8 serveurs NTP publics depuis un VPC sans sortie image : syonad/two-images#1
27 (cloud-init degraded done au redémarrage) nmcli connection up échoue : la réapplication du network-config (boot-legacy, exigence de two) produit un second fichier pour la même connexion après le repli de l'étape locale ; réseau fonctionnel image : syonad/two-images#1 ; la réapplication reste nécessaire (repli limité à la première interface), à corriger autrement
44 (1 connexion TCP perdue sur 80, 2 passages sur 3) la perte tombe pendant le renouvellement DHCP du harnais (nmcli device connect, qui réactive l'interface) : renouvellement de 21:47.55 à 21:49.17, connexion perdue tentée à 21:48.9 harnais : méthode de renouvellement sans coupure sous NetworkManager à trouver

Diagnostic de cloud-init du harnais complété : tout ce qui suit extended_status: (dont le contenu de recoverable_errors), sur une ligne, celle que check affiche. Replié avec la désactivation de GSSAPI dans le commit f-82: e2e: ping et cloud-init sous Rocky 10… ; harnais 80/80.

Serveur supprimé à 01:28, 3 heures facturées.

## Résultats — campagne 10, suite e2e complète en Rocky 10 (2026-11-01) Arbre `feature-82` rebasé sur `main` (#95 et #65 fusionnés), image `rocky10` construite sur le serveur (two-images `5662b83`), suite complète avec `VM_IMAGE=rocky10` en 1 h 28. **31 scénarios sur 35 entièrement verts, 1408 vérifications réussies, 5 échecs.** Corrections précédentes validées : 41-evpn-l2 27/27 et 51-l3vni 62/62 (casse du message), 52-migration 52/52, 61, 62, 71, 72 verts. Les 4 scénarios en échec sont tous expliqués, par des mesures sur le lab ; **aucun ne vient de two** : | Test | Cause mesurée | Suite | |---|---|---| | 46, 47 (premier ping hors de la fenêtre de capture) | login SSH de 10 à 40 s : le client ssh des hyperviseurs Debian propose GSSAPI, le sshd de Rocky l'accepte ; DNS hors de cause (`UseDNS no`, résolutions < 10 ms) | **corrigé** : `vm_ssh` passe `-o GSSAPIAuthentication=no` ; revérifié : 47 61/61, premier ping à 0 s, 46 et 47 en 4 min 50 au lieu de ~12 min chacun | | 46 (refus de la VRF sans « Unreachable »), apparu une fois SSH rapide | limite ICMP par destination de l'hyperviseur (`IcmpOutRateLimitHost` +3, `IcmpOutDestUnreachs` +0 pendant le contrôle), épuisée par chronyd de Rocky qui interroge 8 serveurs NTP publics depuis un VPC sans sortie | image : syonad/two-images#1 | | 27 (cloud-init `degraded done` au redémarrage) | `nmcli connection up` échoue : la réapplication du `network-config` (`boot-legacy`, exigence de two) produit un second fichier pour la même connexion après le repli de l'étape locale ; réseau fonctionnel | image : syonad/two-images#1 ; la réapplication reste nécessaire (repli limité à la première interface), à corriger autrement | | 44 (1 connexion TCP perdue sur 80, 2 passages sur 3) | la perte tombe pendant le renouvellement DHCP du harnais (`nmcli device connect`, qui réactive l'interface) : renouvellement de 21:47.55 à 21:49.17, connexion perdue tentée à 21:48.9 | harnais : méthode de renouvellement sans coupure sous NetworkManager à trouver | Diagnostic de cloud-init du harnais complété : tout ce qui suit `extended_status:` (dont le contenu de `recoverable_errors`), sur une ligne, celle que `check` affiche. Replié avec la désactivation de GSSAPI dans le commit `f-82: e2e: ping et cloud-init sous Rocky 10…` ; harnais 80/80. Serveur supprimé à 01:28, 3 heures facturées.
Author
Owner

44 — renouvellement DHCP sans coupure sous NetworkManager

Mesuré en local sur l'image rocky10 (NetworkManager 1.56.0-1.el10, QEMU), ping toutes les 0,2 s vers la passerelle pendant chaque essai :

Commande Adresse IPv4 Pings perdus Transaction DHCP
nmcli device connect ens4 (harnais jusqu'ici) supprimée puis remise (activated → deactivating) 1 oui, après désactivation
nmcli device reapply ens4 conservée 0 aucune (journal muet, bail inchangé)
nmcli device modify ens4 ipv4.dhcp-timeout 301 (puis 302, puis ipv4.dhcp-hostname) conservée, bail prolongé 0 oui : new lease, fichier de bail mis à jour

La connexion TCP perdue de 44 tombe pendant nmcli device connect, qui retire l'adresse ~150 ms. nmcli device modify réapplique un réglage modifié sur la connexion active seulement (profil inchangé) ; NetworkManager relance son client DHCP en gardant l'adresse (comportement corrigé depuis 1.41.8, bug Red Hat 2117352). Il faut une valeur différente à chaque appel.

Harnais : vm_renew passe nmcli device modify <if> ipv4.dhcp-timeout $((300 + $(date +%s) % 600)) (réglage neutre pour le serveur DHCP de two, valeur qui change à chaque seconde ; lease_renewed attend 1 s avant de renouveler). Test du harnais mis à jour (valeurs différentes d'une seconde à l'autre), 80/80 ; docs/developpement/lab.rst corrigé. Replié dans les commits de feature-82.

Reste : le test local prouve le comportement de NetworkManager face au DHCP de QEMU ; le DHCPACK du serveur de two attendu par lease_renewed se vérifie à la prochaine campagne Rocky (44, et 21, 22, 27 qui renouvellent aussi un bail).

## 44 — renouvellement DHCP sans coupure sous NetworkManager Mesuré en local sur l'image `rocky10` (NetworkManager 1.56.0-1.el10, QEMU), ping toutes les 0,2 s vers la passerelle pendant chaque essai : | Commande | Adresse IPv4 | Pings perdus | Transaction DHCP | |---|---|---|---| | `nmcli device connect ens4` (harnais jusqu'ici) | supprimée puis remise (`activated → deactivating`) | 1 | oui, après désactivation | | `nmcli device reapply ens4` | conservée | 0 | aucune (journal muet, bail inchangé) | | `nmcli device modify ens4 ipv4.dhcp-timeout 301` (puis 302, puis `ipv4.dhcp-hostname`) | conservée, bail prolongé | 0 | oui : `new lease`, fichier de bail mis à jour | La connexion TCP perdue de 44 tombe pendant `nmcli device connect`, qui retire l'adresse ~150 ms. `nmcli device modify` réapplique un réglage modifié sur la connexion active seulement (profil inchangé) ; NetworkManager relance son client DHCP en gardant l'adresse (comportement corrigé depuis 1.41.8, bug Red Hat 2117352). Il faut une valeur différente à chaque appel. **Harnais** : `vm_renew` passe `nmcli device modify <if> ipv4.dhcp-timeout $((300 + $(date +%s) % 600))` (réglage neutre pour le serveur DHCP de two, valeur qui change à chaque seconde ; `lease_renewed` attend 1 s avant de renouveler). Test du harnais mis à jour (valeurs différentes d'une seconde à l'autre), 80/80 ; `docs/developpement/lab.rst` corrigé. Replié dans les commits de `feature-82`. **Reste** : le test local prouve le comportement de NetworkManager face au DHCP de QEMU ; le DHCPACK du serveur de two attendu par `lease_renewed` se vérifie à la prochaine campagne Rocky (44, et 21, 22, 27 qui renouvellent aussi un bail).
Author
Owner

Campagne 11 (2026-11-06) : suite complète sous rocky10

Arbre feature-82 1cec605, image rocky10 construite au lab depuis two-images 344363d. Toutes les étapes OK ; agent déployé depuis /opt/two/1cec605 sur hv1, hv2, hv3, br_netfilter absent.

Suite rocky10 : 1411 réussis, 2 échoués.

  • Attendus verts : 21 (11/11), 22 (6/6), 27 (13/13, correctif cloud-init de two-images#1), 44 (14/14), 46 (15/15).
  • 52 : « hv1 : aucune MAC en double sur la VNI 5211 » — vert 1 fois, rouge 4 fois. L'instrumentation montre la MAC de la VM migrée marquée en double par FRR pendant la séquence orchestrée : suivi dans #97.
  • 33 : « t33-b1 (hv2) reçoit toujours ses propres métadonnées » — 4/5 sur 3 passages, puis vert (56/56). Cause inconnue : l'essai raté n'était pas journalisé.

Relances sur le même serveur : 29 avec le nouveau contrôle chronyc vert (56/56).

Ajouté à la branche :

  • 2552210 : sources de chrony de la VM contrôlées dans 29 ;
  • 4d8483a : détail des échecs de 33 (instance-id reçu, code de curl, MAC de la passerelle) et de 52 (MAC en double, détail FRR, fdb).

Suite : pousser et fusionner feature-82.

## Campagne 11 (2026-11-06) : suite complète sous rocky10 Arbre feature-82 1cec605, image rocky10 construite au lab depuis two-images 344363d. Toutes les étapes OK ; agent déployé depuis `/opt/two/1cec605` sur hv1, hv2, hv3, `br_netfilter` absent. Suite rocky10 : **1411 réussis, 2 échoués**. - Attendus verts : 21 (11/11), 22 (6/6), 27 (13/13, correctif cloud-init de two-images#1), 44 (14/14), 46 (15/15). - **52** : « hv1 : aucune MAC en double sur la VNI 5211 » — vert 1 fois, rouge 4 fois. L'instrumentation montre la MAC de la VM migrée marquée en double par FRR pendant la séquence orchestrée : suivi dans #97. - **33** : « t33-b1 (hv2) reçoit toujours ses propres métadonnées » — 4/5 sur 3 passages, puis vert (56/56). Cause inconnue : l'essai raté n'était pas journalisé. Relances sur le même serveur : 29 avec le nouveau contrôle chronyc vert (56/56). Ajouté à la branche : - 2552210 : sources de chrony de la VM contrôlées dans 29 ; - 4d8483a : détail des échecs de 33 (instance-id reçu, code de curl, MAC de la passerelle) et de 52 (MAC en double, détail FRR, fdb). Suite : pousser et fusionner feature-82.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#82
No description provided.