Lab : 52-migration intermittent après la séquence orchestrée (t52-o ne joint pas t52-m3) #95
Labels
No labels
bug fix
feature implementation
new feature
No project
No assignees
1 participant
Notifications
Due date
No due date set.
Dependencies
No dependencies set.
Reference
syonad/two#95
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Constat
test/e2e/suite/52-migration.shéchoue de façon intermittente, toujours au même endroit, juste après la séquence orchestrée (suppression det52-m2puis desn-t52ssur hv2) :Les contrôles qui précèdent passent : sur hv3, la
/32et la/24de10.52.1.50sont bien via hv1 seulement (wait_vrf_nexthops).Mesures (2026-10-29/30, topologie evpn-3hv)
9a61b33)vxl3, entré dans le netns, réponse de la VM renvoyée vers la VRF)Pas une régression de #42/#88 : l'échec existe sur main. Il dépend du délai entre le retrait de hv2 et le ping.
Pistes, non vérifiées
52:54:00:34:01:32, dérivée de l'IP) existe sur hv1 et hv2 : état L2 (FDB, EVPN type 2, voisins) qui met quelques secondes à converger vers hv1 après le retrait de hv2.À faire
sleep).Campagne 8 (2026-10-31, evpn-3hv,
feature-39= #90 + #39,f576f8f)95-diag(copie de 52 en t95, captures et relevés posés avant le retrait, sans délai ajouté)Ce que montrent les captures de
95-diagSur hv1, relevé
bridge fdbdu netns du VPC (seules les modifications sont journalisées) :t95-m2sur hv2 (étape 4 de la séquence orchestrée). L'entrée n'a pasextern_learn: elle est apprise par le pont sur une trame, pas posée par FRR..50: seq 1 (…204,29) et seq 2 (…205,32) arrivent survxl3-t95puisl3-t95-ide hv1, mais n'atteignent pas le tap ; aucune réponse. Seq 3 (…206,35), juste après le retour de l'entrée sur le tap, est répondu et revient jusqu'à hv3./32et/24via hv1 seulement sur hv3) : la perte est dans le plan L2 du netns de hv1.Hypothèse (correctif non décidé)
Pendant une migration, l'ancienne VM (hv2) et la nouvelle (hv1) ont la même MAC. Une trame émise par l'ancienne VM pendant sa suppression traverse le VXLAN du subnet et arrive dans
br-<subnet>du netns de hv1 parv-<id>-i. Le pont y réapprend la MAC et envoie le trafic destiné à la VM locale vers hv2, jusqu'à ce que la VM locale émette à nouveau (~10 s ici). Le VXLAN est créé sans apprentissage (internal/netif/vxlan.go,Learning: false), mais le portv-<id>-idu pont du netns, lui, apprend (internal/subnet/create.go).L'origine exacte de la trame (arrêt de la VM, ARP…) n'est pas capturée ; le déplacement de l'entrée l'est.
Explique l'intermittence : le test réussit si l'un des 3 pings tombe après que la VM locale a reparlé, ce que le délai ajouté par les captures favorisait (campagne 6, et seq 3 ici).
Pistes de correction, à discuter :
staticde chaque NIC locale sur son tap dansbr-<subnet>: non déplaçable par apprentissage, disparaît avec le tap ;v-<id>-ien mode VXLAN : plus simple, mais le trafic vers une MAC distante serait inondé vers tous les taps locaux du subnet.Plan validé (2026-10-31)
Cause retenue : l'entrée FDB de la MAC d'une VM locale, apprise sur son tap dans
br-<subnet>du netns, est déplacée par apprentissage versv-<id>-iquand une trame de même MAC arrive par le VXLAN (migration : même MAC sur deux hôtes).Mesure préalable (pont en conteneur, noyau 6.8)
staticstatic stickystaticseul ne suffit pas : le drapeaustickyexiste dans le noyau pour interdire ce déplacement.netlink.NTF_STICKYest dans vishvananda/netlink v1.3.1.Correctif
netif.CreateTapreçoit la MAC de la NIC et pose, après le rattachement au pont, l'entrée<mac> dev tap<id> master static sticky. Elle disparaît avec le tap : pas de nettoyage à écrire.check_vm.go) : entrée absente ou déplacée signalée, comme le tap et ses règles nftables.Écarté : couper l'apprentissage sur
v-<id>-i(tout trafic vers une MAC distante serait inondé vers tous les taps locaux du subnet).L'agent ne touche pas les VM existantes : une VM créée avant la mise à jour n'a pas l'entrée, le watchdog la signale jusqu'à sa recréation (notes de release).
Branche
feature-95, partie demain.Campagne 9 (2026-10-31, evpn-3hv, lab construit depuis l'arbre)
Bug du correctif trouvé en lab. La première version posait l'entrée
static stickyavecNeighAdd(ajout exclusif). En migration, le pont du netns de la destination a déjà appris la MAC surv-<subnet>-i(VM de l'ancien hôte) : l'ajout échoue,create tap of interface 0: pin 52:54:00:34:01:32 on tap…: file exists, et la VM cible passe enerror(52 : 44/52 à chaque passage).Correctif :
NeighSet(remplacement). Reproduit en conteneur avant et après : MAC apprise sur l'autre port →file exists; avecNeighSet→dev tap1 sticky master br0 static. Replié dans le commit netif defeature-95(7e0b03a).Validation (agent corrigé redéployé sur hv1–hv3) :
static stickysur les taps, watchdog qui signale une entrée retiréeBranche
feature-95prête, non poussée.Fusionné dans
main(d1ae95c, Merge branch 'feature-95'). Confirmé en campagne 10 (2026-11-01, VM Rocky 10, #82) : 52-migration 52/52, 35-filtrage-port 67/67. Clôturé.