MAC de gateway anycast : annoncée en double en EVPN et relais L2 entre hôtes impossible #57
Labels
No labels
bug fix
feature implementation
new feature
No project
No assignees
1 participant
Notifications
Due date
No due date set.
Dependencies
No dependencies set.
Reference
syonad/two#57
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Symptômes
Introduite par
0f31b2f(#41) : la gateway d'un subnetvxlanporte la MAC02:01:00:<VNI>,identique sur tous les hôtes qui portent le subnet. Constaté en lab le 2026-10-12 (release
0.2.0rc005, FRR 10.7.1, scénario s8 et essais manuels), dès qu'un subnet est sur deux hôtes :v-<subnet>-e; zebra l'annonceen type-2. Subnet sur deux hôtes → deux annonces, mobilité (séquences 6/5), détection de doublon
(
Duplicatesur hv1).hv1 ; le bridge hôte de hv1 apprend la MAC source →
02:01:..passe dev-s8s-eàvxlan-2811. Les VM locales ne sont pas touchées (VM → gateway reste dans le bridge du netns).anycast, qui est l'adresse propre du bridge du netns de hv1 : la réponse est consommée par
la gateway de hv1. Le filet du
/24(#41), qui relaie en L2 vers l'hôte qui porte la VM, nefonctionne donc plus (il fonctionnait le 2026-10-06 avec des MAC distinctes).
Cause
Une même MAC sert à la fois d'identité de réception (ce que les VM doivent voir partout) et
d'identité d'émission (les trames que la gateway envoie dans le VNI). La gateway est dans le
netns, derrière un veth : pour le bridge hôte et pour zebra, c'est un port ordinaire.
Palliatifs essayés à la main, sans les retenir :
mac access-list GW-ANYCAST permit <mac>, route-mapEVPN-OUT(
deny 10+match mac address GW-ANYCAST,permit 20),neighbor fabric route-map EVPN-OUT outen
l2vpn evpn: la type-2 disparaît de rr1, plus de doublon. Ne règle ni 2 ni 3.-t nat -A PREROUTING -i vxlan-<vni> -s <mac> -j DROP(avantl'apprentissage du bridge) et
-A FORWARD -o vxlan-<vni> -s <mac> -j DROP: règle 2. Ne règlepas 3.
Correctif —
9b2c240: MAC de gateway propre à l'hôte02:03:<IPv4 du VTEP>— VTEP192.168.14.12→02:03:c0:a8:0e:0c. Calculée, jamais stockée ;unique dans le fabric ; même MAC sur tous les subnets d'un hôte (domaines L2 distincts) ; octet de
rôle
03, distinct de la RMAC du L3VNI (02:02:<VTEP>) et de l'anycast (01). Retour aufonctionnement validé du 2026-10-06 (relais L2 du
/24, aucun doublon EVPN, aucun filtre).Tests unitaires verts ; pas encore rejoué en lab — s8 vérifie désormais les deux MAC
distinctes sur rr1 et l'absence de doublon.
Reste à traiter : le cache ARP d'une VM migrée
C'est ce que la MAC anycast devait résoudre : une VM migrée à chaud garde la MAC de la gateway de
l'hôte source ; tant que l'entrée n'expire pas, son trafic sortant part vers la source en L2
par le VXLAN — détour, puis coupure si le subnet source disparaît. Deux options, pour le jour où
two aura la migration à chaud.
Option 1 — ARP gratuit à l'arrivée de la VM
À la fin de la migration, l'agent de destination envoie depuis la gateway locale un ARP gratuit
unicast vers la VM (
arping -U -I br-<subnet> -s <gateway> <IP de la VM>). Linux et Windowsmettent à jour une entrée existante. Entre la migration et l'ARP, la VM parle encore à la gateway
source en L2 par le VXLAN, ce qui fonctionne tant que le subnet source existe — garanti : un subnet
ne se supprime pas tant qu'une VM l'utilise (#41). Simple, sans adresse réservée ; demande un
crochet dans la migration.
Option 2 — VRR (gateway anycast distribuée à la Cumulus/FRR)
Sépare l'identité vue par les VM (anycast, partout pareille) de l'identité d'émission
(propre à l'hôte) :
Pourquoi ces choix (discussion du 2026-10-12) :
anycast, consommée par la gateway de l'hôte de la VM (point 3).
« network+1 / MAC de hv2 » met à jour son cache — sa gateway deviendrait hv2.
vers la MAC de la requête ; l'entrée
network+2de son cache change de MAC au gré des hôtessans effet (une VM ne parle jamais d'elle-même à
network+2). 250 hôtes consomment une seuleadresse.
empoisonnement de son cache, fuite de l'underlay) ou qu'une link-local (réponse des invités à
une requête hors subnet non garantie, à tester).
À mettre en place (non testé) :
arp_ignore=1surbr-<subnet>(sinon le bridge répond pour network+1 avec sa propre MAC) ;arp_announce=2(requêtes émises avec network+2) ; network+1 en/32sur le macvlan.DropARPToGateway(ebtables, vise la gateway) à adapter au macvlan.avec la MAC anycast (IPv6 DAD/ND, ARP gratuit) ; inondées vers
v-<subnet>-i, ellesreproduiraient la fuite (1) et le déplacement (2). Il faut confiner la MAC anycast au bridge du
netns et aux taps : ebtables dans le netns (sortie vers
v-<subnet>-iavec source anycast →DROP), et le filtre BGP sortant en défense en profondeur. IPv6 désactivé sur le macvlan si
inutile.
Recommandation
Option 1 tant que la migration à chaud n'existe pas dans two ; option 2 quand on voudra une
migration sans intervention, après un essai en lab des réglages ARP et des filtres.
Issues liées
/24, ordre des routes à la migration (s8).pcdépréciée, à considérer pour lamigration).
Risques
reproduit la fuite et le déplacement de MAC.
02:03:<VTEP>).Constat du 2026-10-12 — la gateway d'un hôte « vole » le cache ARP des VM d'un autre hôte
Campagne
0.2.0rc006sur evpn-3hv (MAC de gateway par hôte,9b2c240) : s1–s8 verts, s8 50/50(MAC distinctes sur rr1, aucun doublon : le correctif tient). Nouveau scénario
s9-subnets-partages(deux VPC, avec et sans L3VNI, deux subnets présents sur hv2 et hv3,2 VM par hôte, ping entre toutes les paires) : 75/76. Le seul échec n'était pas un ping perdu
mais une session SSH coupée (
client_loop: send disconnect: Broken pipe).Mécanisme (mesuré)
Le cas que la discussion de l'option 2 écartait (« pas d'émission avec l'IP network+1 ») existe
déjà dans le modèle actuel : la gateway porte la même IP
network+1sur tous les hôtes, et c'estelle qui émet les requêtes ARP.
Reproduit à chaque essai : entrée ARP de 10.250.1.11 retirée du netns de hv3, un ping depuis hv3,
connexions TCP de hv2 vers sa propre VM toutes les 0,5 s :
Se déclenche à chaque expiration de l'entrée ARP d'un hôte pour une VM d'un autre hôte, dès que du
trafic entre subnets les relie.
Impact
les pings de s9 sont verts.
pas mesuré ;
VM — ignore ou NAK, non vérifié ; un NAK ferait perdre le bail.
établis (conntrack absent sur l'autre hôte). Latent aujourd'hui, bloquant avec #42.
Effet attendu du VRR (option 2) — à vérifier
Les requêtes ARP partent de
network+2(arp_announce=2) : le cache denetwork+1n'est plustouché, et même réécrit il pointerait sur la MAC anycast, locale partout. Le défaut se reporte
en revanche sur
network+2, partagée par tous les hôtes : le paragraphe « une VM ne parle jamaisd'elle-même à network+2 » est vrai pour la VM, mais pas pour le trafic émis par le netns avec
cette source (sessions depuis le netns), ni pour le DHCP si son identifiant de serveur est
network+2→ l'annoncer ennetwork+1. L'option 1 (ARP gratuit) ne règle pas ce problème.À faire : rejouer s9 sur une implémentation du VRR et vérifier que ce problème n'existe plus
— même mesure (entrée ARP retirée sur un hôte, connexions TCP en continu depuis l'autre), en
ajoutant un test des métadonnées et d'un renouvellement DHCP pendant la fenêtre.
Note pour les tests — attention aux
Broken pipeUn
client_loop: send disconnect: Broken pipe(ou une session SSH qui se fige) dans un scénarion'est pas forcément un aléa du lab : c'est la signature de ce problème. Ne pas le classer comme
test instable ni ajouter de nouvel essai qui le masquerait ; vérifier le cache ARP de la VM
(
ip neigh show <gateway>) et l'état de la session côté VM avant de conclure.Option 2 (VRR) implémentée et validée en lab — branche
feature-57Ce qui est livré
vxlan: gateway = broadcast-1 (.254en/24, exposée commeinterface_ip), adresse d'émission = broadcast-2 (.253, nouveau champrelay_ip).interface_ipfourni sur un subnetvxlan→ 400 ;cidrsans bits d'hôte, au plus/29. Une VM est refusée (422) sur la gateway, l'adresse d'émission, lagatewayexplicite, le réseau, le broadcast ou hors CIDR.gw-<subnet>à MAC anycast02:01:00:<VNI 24 bits>; le bridge garde02:03:<VTEP>et porte l'adresse d'émission (arp_ignore=1,arp_announce=2).v-<subnet>-i(source anycast DROP ennat PREROUTING,FORWARD,OUTPUT) et entrée FDB locale dans le bridge du netns.gw-<subnet>, identifiant de serveur = gateway.src= gateway : le netns parle à ses VM depuis la gateway.gw-, adresse d'émission surbr-, gateway absente du bridge, entrée FDB.vxlanexistants (sansrelay_ip) gardent l'ancien modèle jusqu'à leur recréation. IPv6 non désactivé sur le macvlan (arrêté par le confinement).Deux écarts au plan, trouvés au banc avant le lab
NUD_PERMANENTposée par l'agent et contrôlée par le watchdog ; contrôle négatif fait.network+2(annoncé dans le constat du 2026-10-12) est levé par la route ensrc= gateway : les sessions ouvertes depuis le netns ne passent plus par l'adresse d'émission. Contrepartie : depuis le netns d'un hôte, une VM d'un autre hôte ne répond qu'àping -I <relay_ip>. Le trafic routé n'est pas concerné.Lab — 2026-10-13, evpn-3hv, binaires de la branche
341/343. s1 37/37 (DHCP intégré sur
gw-), s2 27/27, s3 12/12, s4 14/14, s5 13/13, s6 19/19, s7 53/53 (TTL 1 signalé par.254), s8 53/53 (aucune route de type 2 pour la MAC anycast sur rr1, absente de la table EVPN de hv1, aucun doublon), s9 84/84 (chaque VM voit la MAC anycast, rien dans EVPN sur les quatre VNI), s11-fenetre-arp 29/29. s10 15/17, sans lien avec #57 (VRRP des switchs, issue à part).Re-test demandé ci-dessus (
s11-fenetre-arp) : entrées ARP du netns retirées sur hv1, une VM de hv1 joint une VM de hv2 dans l'autre subnet (relais L2 depuis l'adresse d'émission de hv1). La VM de hv2 associe bien.253à la MAC de hv1 (fenêtre ouverte, vérifiée), mais sa gateway reste02:01:00:00:0c:27. Pendant la fenêtre : métadonnées servies, bail DHCP renouvelé auprès de.254, 80/80 connexions TCP du netns de hv2 vers sa VM (avant : ~8 s de coupure).Watchdog : aucune alerte sur la gateway anycast pendant la campagne, entrée FDB présente dans tous les bridges des netns.
Reste