Lab : 52-migration intermittent après la séquence orchestrée (t52-o ne joint pas t52-m3) #95

Closed
opened 2026-10-29 23:22:40 +00:00 by nicolas.boufideline · 4 comments

Constat

test/e2e/suite/52-migration.sh échoue de façon intermittente, toujours au même endroit, juste après la séquence orchestrée (suppression de t52-m2 puis de sn-t52s sur hv2) :

ÉCHOUÉ: après la séquence orchestrée : t52-o joint t52-m3 — 3 packets transmitted, 0 received, 100% packet loss
ÉCHOUÉ: après la séquence orchestrée : les 40 sources joignent t52-m3

Les contrôles qui précèdent passent : sur hv3, la /32 et la /24 de 10.52.1.50 sont bien via hv1 seulement (wait_vrf_nexthops).

Mesures (2026-10-29/30, topologie evpn-3hv)

Binaires Passages Résultat
main + #86/#76/#87/#91 (campagne 5) 2 verts
feature-88 (#42 + #88) 3 3 échecs
main (9a61b33) 2 1 vert, 1 échec, même symptôme
feature-88, ~2 s de plus avant le ping (captures posées) 1 vert ; chemin complet vu sur hv1 (ICMP arrivé sur vxl3, entré dans le netns, réponse de la VM renvoyée vers la VRF)

Pas une régression de #42/#88 : l'échec existe sur main. Il dépend du délai entre le retrait de hv2 et le ping.

Pistes, non vérifiées

  • Pendant la phase orchestrée, la même MAC (52:54:00:34:01:32, dérivée de l'IP) existe sur hv1 et hv2 : état L2 (FDB, EVPN type 2, voisins) qui met quelques secondes à converger vers hv1 après le retrait de hv2.
  • Le contrôle « via hv1 seulement » porte sur la table de routage ; le plan de données (voisin RMAC, FDB) peut converger après.

À faire

  • Localiser la trame perdue pendant la fenêtre (captures posées avant le retrait, sans ajouter de délai).
  • Selon la cause : corriger le comportement, ou faire attendre le test sur l'état réellement requis (pas un sleep).
## Constat `test/e2e/suite/52-migration.sh` échoue de façon intermittente, toujours au même endroit, juste après la séquence orchestrée (suppression de `t52-m2` puis de `sn-t52s` sur hv2) : ``` ÉCHOUÉ: après la séquence orchestrée : t52-o joint t52-m3 — 3 packets transmitted, 0 received, 100% packet loss ÉCHOUÉ: après la séquence orchestrée : les 40 sources joignent t52-m3 ``` Les contrôles qui précèdent passent : sur hv3, la `/32` et la `/24` de `10.52.1.50` sont bien via hv1 seulement (`wait_vrf_nexthops`). ## Mesures (2026-10-29/30, topologie evpn-3hv) | Binaires | Passages | Résultat | |---|---|---| | main + #86/#76/#87/#91 (campagne 5) | 2 | verts | | feature-88 (#42 + #88) | 3 | 3 échecs | | main (`9a61b33`) | 2 | 1 vert, 1 échec, même symptôme | | feature-88, ~2 s de plus avant le ping (captures posées) | 1 | vert ; chemin complet vu sur hv1 (ICMP arrivé sur `vxl3`, entré dans le netns, réponse de la VM renvoyée vers la VRF) | Pas une régression de #42/#88 : l'échec existe sur main. Il dépend du délai entre le retrait de hv2 et le ping. ## Pistes, non vérifiées - Pendant la phase orchestrée, la même MAC (`52:54:00:34:01:32`, dérivée de l'IP) existe sur hv1 et hv2 : état L2 (FDB, EVPN type 2, voisins) qui met quelques secondes à converger vers hv1 après le retrait de hv2. - Le contrôle « via hv1 seulement » porte sur la table de routage ; le plan de données (voisin RMAC, FDB) peut converger après. ## À faire - Localiser la trame perdue pendant la fenêtre (captures posées avant le retrait, sans ajouter de délai). - Selon la cause : corriger le comportement, ou faire attendre le test sur l'état réellement requis (pas un `sleep`).
Author
Owner

Campagne 8 (2026-10-31, evpn-3hv, feature-39 = #90 + #39, f576f8f)

Passage Résultat
52 dans la suite complète échec, même symptôme
52 relancé 3 fois 3 échecs, même symptôme
95-diag (copie de 52 en t95, captures et relevés posés avant le retrait, sans délai ajouté) vert de justesse : seq 1 et 2 perdus, seq 3 répondu

Ce que montrent les captures de 95-diag

Sur hv1, relevé bridge fdb du netns du VPC (seules les modifications sont journalisées) :

1793468196.133  52:54:00:5f:01:32 dev tap82049115 master br-t95s
1793468197.203  52:54:00:5f:01:32 dev v-t95s-i   master br-t95s     <- bascule
1793468206.291  52:54:00:5f:01:32 dev tap82049115 master br-t95s     <- retour
  • La bascule coïncide avec la suppression de t95-m2 sur hv2 (étape 4 de la séquence orchestrée). L'entrée n'a pas extern_learn : elle est apprise par le pont sur une trame, pas posée par FRR.
  • Ping de t95-o (hv3) vers .50 : seq 1 (…204,29) et seq 2 (…205,32) arrivent sur vxl3-t95 puis l3-t95-i de hv1, mais n'atteignent pas le tap ; aucune réponse. Seq 3 (…206,35), juste après le retour de l'entrée sur le tap, est répondu et revient jusqu'à hv3.
  • La table de routage était déjà correcte (/32 et /24 via hv1 seulement sur hv3) : la perte est dans le plan L2 du netns de hv1.

Hypothèse (correctif non décidé)

Pendant une migration, l'ancienne VM (hv2) et la nouvelle (hv1) ont la même MAC. Une trame émise par l'ancienne VM pendant sa suppression traverse le VXLAN du subnet et arrive dans br-<subnet> du netns de hv1 par v-<id>-i. Le pont y réapprend la MAC et envoie le trafic destiné à la VM locale vers hv2, jusqu'à ce que la VM locale émette à nouveau (~10 s ici). Le VXLAN est créé sans apprentissage (internal/netif/vxlan.go, Learning: false), mais le port v-<id>-i du pont du netns, lui, apprend (internal/subnet/create.go).

L'origine exacte de la trame (arrêt de la VM, ARP…) n'est pas capturée ; le déplacement de l'entrée l'est.

Explique l'intermittence : le test réussit si l'un des 3 pings tombe après que la VM locale a reparlé, ce que le délai ajouté par les captures favorisait (campagne 6, et seq 3 ici).

Pistes de correction, à discuter :

  • entrée FDB static de chaque NIC locale sur son tap dans br-<subnet> : non déplaçable par apprentissage, disparaît avec le tap ;
  • apprentissage coupé sur v-<id>-i en mode VXLAN : plus simple, mais le trafic vers une MAC distante serait inondé vers tous les taps locaux du subnet.
## Campagne 8 (2026-10-31, evpn-3hv, `feature-39` = #90 + #39, `f576f8f`) | Passage | Résultat | |---|---| | 52 dans la suite complète | échec, même symptôme | | 52 relancé 3 fois | 3 échecs, même symptôme | | `95-diag` (copie de 52 en t95, captures et relevés posés avant le retrait, sans délai ajouté) | vert de justesse : seq 1 et 2 perdus, seq 3 répondu | ## Ce que montrent les captures de `95-diag` Sur hv1, relevé `bridge fdb` du netns du VPC (seules les modifications sont journalisées) : ``` 1793468196.133 52:54:00:5f:01:32 dev tap82049115 master br-t95s 1793468197.203 52:54:00:5f:01:32 dev v-t95s-i master br-t95s <- bascule 1793468206.291 52:54:00:5f:01:32 dev tap82049115 master br-t95s <- retour ``` - La bascule coïncide avec la suppression de `t95-m2` sur hv2 (étape 4 de la séquence orchestrée). L'entrée n'a pas `extern_learn` : elle est apprise par le pont sur une trame, pas posée par FRR. - Ping de t95-o (hv3) vers `.50` : seq 1 (…204,29) et seq 2 (…205,32) arrivent sur `vxl3-t95` puis `l3-t95-i` de hv1, mais n'atteignent pas le tap ; aucune réponse. Seq 3 (…206,35), juste après le retour de l'entrée sur le tap, est répondu et revient jusqu'à hv3. - La table de routage était déjà correcte (`/32` et `/24` via hv1 seulement sur hv3) : la perte est dans le plan L2 du netns de hv1. ## Hypothèse (correctif non décidé) Pendant une migration, l'ancienne VM (hv2) et la nouvelle (hv1) ont la même MAC. Une trame émise par l'ancienne VM pendant sa suppression traverse le VXLAN du subnet et arrive dans `br-<subnet>` du netns de hv1 par `v-<id>-i`. Le pont y réapprend la MAC et envoie le trafic destiné à la VM locale vers hv2, jusqu'à ce que la VM locale émette à nouveau (~10 s ici). Le VXLAN est créé sans apprentissage (`internal/netif/vxlan.go`, `Learning: false`), mais le port `v-<id>-i` du pont du netns, lui, apprend (`internal/subnet/create.go`). L'origine exacte de la trame (arrêt de la VM, ARP…) n'est pas capturée ; le déplacement de l'entrée l'est. Explique l'intermittence : le test réussit si l'un des 3 pings tombe après que la VM locale a reparlé, ce que le délai ajouté par les captures favorisait (campagne 6, et seq 3 ici). Pistes de correction, à discuter : - entrée FDB `static` de chaque NIC locale sur son tap dans `br-<subnet>` : non déplaçable par apprentissage, disparaît avec le tap ; - apprentissage coupé sur `v-<id>-i` en mode VXLAN : plus simple, mais le trafic vers une MAC distante serait inondé vers tous les taps locaux du subnet.
Author
Owner

Plan validé (2026-10-31)

Cause retenue : l'entrée FDB de la MAC d'une VM locale, apprise sur son tap dans br-<subnet> du netns, est déplacée par apprentissage vers v-<id>-i quand une trame de même MAC arrive par le VXLAN (migration : même MAC sur deux hôtes).

Mesure préalable (pont en conteneur, noyau 6.8)

Entrée de la MAC sur le tap Après une trame de même MAC reçue par l'autre port
apprise (actuel) déplacée
static déplacée aussi
static sticky reste sur le tap

static seul ne suffit pas : le drapeau sticky existe dans le noyau pour interdire ce déplacement. netlink.NTF_STICKY est dans vishvananda/netlink v1.3.1.

Correctif

  1. netif.CreateTap reçoit la MAC de la NIC et pose, après le rattachement au pont, l'entrée <mac> dev tap<id> master static sticky. Elle disparaît avec le tap : pas de nettoyage à écrire.
  2. Tous les modes de subnet (vxlan, bridge, public_ip) : la même MAC sur deux hôtes existe aussi en bridge.
  3. Watchdog (check_vm.go) : entrée absente ou déplacée signalée, comme le tap et ses règles nftables.
  4. e2e 52 : après la séquence orchestrée, la MAC de t52-m3 est toujours sur son tap, en sticky, sur hv1 — le test vérifie la cause, plus seulement le ping.
  5. Doc et notes 0.3.0.

Écarté : couper l'apprentissage sur v-<id>-i (tout trafic vers une MAC distante serait inondé vers tous les taps locaux du subnet).

L'agent ne touche pas les VM existantes : une VM créée avant la mise à jour n'a pas l'entrée, le watchdog la signale jusqu'à sa recréation (notes de release).

Branche feature-95, partie de main.

## Plan validé (2026-10-31) Cause retenue : l'entrée FDB de la MAC d'une VM locale, apprise sur son tap dans `br-<subnet>` du netns, est déplacée par apprentissage vers `v-<id>-i` quand une trame de même MAC arrive par le VXLAN (migration : même MAC sur deux hôtes). ### Mesure préalable (pont en conteneur, noyau 6.8) | Entrée de la MAC sur le tap | Après une trame de même MAC reçue par l'autre port | |---|---| | apprise (actuel) | déplacée | | `static` | déplacée aussi | | `static sticky` | reste sur le tap | `static` seul ne suffit pas : le drapeau `sticky` existe dans le noyau pour interdire ce déplacement. `netlink.NTF_STICKY` est dans vishvananda/netlink v1.3.1. ### Correctif 1. `netif.CreateTap` reçoit la MAC de la NIC et pose, après le rattachement au pont, l'entrée `<mac> dev tap<id> master static sticky`. Elle disparaît avec le tap : pas de nettoyage à écrire. 2. Tous les modes de subnet (vxlan, bridge, public_ip) : la même MAC sur deux hôtes existe aussi en bridge. 3. Watchdog (`check_vm.go`) : entrée absente ou déplacée signalée, comme le tap et ses règles nftables. 4. e2e 52 : après la séquence orchestrée, la MAC de t52-m3 est toujours sur son tap, en sticky, sur hv1 — le test vérifie la cause, plus seulement le ping. 5. Doc et notes 0.3.0. Écarté : couper l'apprentissage sur `v-<id>-i` (tout trafic vers une MAC distante serait inondé vers tous les taps locaux du subnet). L'agent ne touche pas les VM existantes : une VM créée avant la mise à jour n'a pas l'entrée, le watchdog la signale jusqu'à sa recréation (notes de release). Branche `feature-95`, partie de `main`.
Author
Owner

Campagne 9 (2026-10-31, evpn-3hv, lab construit depuis l'arbre)

Bug du correctif trouvé en lab. La première version posait l'entrée static sticky avec NeighAdd (ajout exclusif). En migration, le pont du netns de la destination a déjà appris la MAC sur v-<subnet>-i (VM de l'ancien hôte) : l'ajout échoue, create tap of interface 0: pin 52:54:00:34:01:32 on tap…: file exists, et la VM cible passe en error (52 : 44/52 à chaque passage).

Correctif : NeighSet (remplacement). Reproduit en conteneur avant et après : MAC apprise sur l'autre port → file exists ; avec NeighSet → dev tap1 sticky master br0 static. Replié dans le commit netif de feature-95 (7e0b03a).

Validation (agent corrigé redéployé sur hv1–hv3) :

Scénario Résultat
52-migration, 3 passages 52/52, 52/52, 52/52 — dont « MAC de t52-m3 toujours figée sur son tap, pas réapprise vers hv2 », t52-o et les 40 sources joignent t52-m3
35-filtrage-port 67/67 — entrée static sticky sur les taps, watchdog qui signale une entrée retirée
52 avec VM Rocky 10 (#82) 52/52

Branche feature-95 prête, non poussée.

## Campagne 9 (2026-10-31, evpn-3hv, lab construit depuis l'arbre) **Bug du correctif trouvé en lab.** La première version posait l'entrée `static sticky` avec `NeighAdd` (ajout exclusif). En migration, le pont du netns de la destination a déjà appris la MAC sur `v-<subnet>-i` (VM de l'ancien hôte) : l'ajout échoue, `create tap of interface 0: pin 52:54:00:34:01:32 on tap…: file exists`, et la VM cible passe en `error` (52 : 44/52 à chaque passage). **Correctif** : `NeighSet` (remplacement). Reproduit en conteneur avant et après : MAC apprise sur l'autre port → `file exists` ; avec `NeighSet` → `dev tap1 sticky master br0 static`. Replié dans le commit netif de `feature-95` (`7e0b03a`). **Validation** (agent corrigé redéployé sur hv1–hv3) : | Scénario | Résultat | |---|---| | 52-migration, 3 passages | 52/52, 52/52, 52/52 — dont « MAC de t52-m3 toujours figée sur son tap, pas réapprise vers hv2 », t52-o et les 40 sources joignent t52-m3 | | 35-filtrage-port | 67/67 — entrée `static sticky` sur les taps, watchdog qui signale une entrée retirée | | 52 avec VM Rocky 10 (#82) | 52/52 | Branche `feature-95` prête, non poussée.
Author
Owner

Fusionné dans main (d1ae95c, Merge branch 'feature-95'). Confirmé en campagne 10 (2026-11-01, VM Rocky 10, #82) : 52-migration 52/52, 35-filtrage-port 67/67. Clôturé.

Fusionné dans `main` (`d1ae95c`, Merge branch 'feature-95'). Confirmé en campagne 10 (2026-11-01, VM Rocky 10, #82) : 52-migration 52/52, 35-filtrage-port 67/67. Clôturé.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#95
No description provided.