MAC de gateway anycast : annoncée en double en EVPN et relais L2 entre hôtes impossible #57

Closed
opened 2026-10-11 23:02:02 +00:00 by nicolas.boufideline · 2 comments

Symptômes

Introduite par 0f31b2f (#41) : la gateway d'un subnet vxlan porte la MAC 02:01:00:<VNI>,
identique sur tous les hôtes qui portent le subnet. Constaté en lab le 2026-10-12 (release
0.2.0rc005, FRR 10.7.1, scénario s8 et essais manuels), dès qu'un subnet est sur deux hôtes :

 hv1                                                      hv2
 ┌──────────────── netns vp-s8 ────────────┐              ┌──── netns vp-s8 ────┐
 │  br-s8s (netns)  MAC anycast            │              │ br-s8s (netns)      │
 │  = gateway .1   (adresse propre)        │              │ MAC anycast = gw .1 │
 │   ├── tap (VM s8-m3, .50)               │              │   └── v-s8s-i       │
 │   └── v-s8s-i                           │              └──────┼──────────────┘
 └────────┼────────────────────────────────┘                     │
 ┌────────┼──────── hôte ──────────────────┐              ┌──────┼──── hôte ────┐
 │  br-s8s (hôte)                          │              │  br-s8s (hôte)      │
 │   ├── v-s8s-e                           │              │   ├── v-s8s-e       │
 │   └── vxlan-2811 ═══════════ VNI 2811 ═══════════════════════ vxlan-2811      │
 └─────────────────────────────────────────┘              └─────────────────────┘
  1. Fuite EVPN : le bridge hôte apprend la MAC anycast sur v-<subnet>-e ; zebra l'annonce
    en type-2. Subnet sur deux hôtes → deux annonces, mobilité (séquences 6/5), détection de doublon
    (Duplicate sur hv1).
  2. Déplacement de MAC : une trame émise par la gateway de hv2 (ARP, ND) arrive par le VXLAN sur
    hv1 ; le bridge hôte de hv1 apprend la MAC source → 02:01:.. passe de v-s8s-e à
    vxlan-2811. Les VM locales ne sont pas touchées (VM → gateway reste dans le bridge du netns).
  3. Relais L2 impossible : la gateway de hv2 ne joint pas une VM de hv1 — la VM répond à la MAC
    anycast, qui est l'adresse propre du bridge du netns de hv1 : la réponse est consommée par
    la gateway de hv1. Le filet du /24 (#41), qui relaie en L2 vers l'hôte qui porte la VM, ne
    fonctionne donc plus (il fonctionnait le 2026-10-06 avec des MAC distinctes).

Cause

Une même MAC sert à la fois d'identité de réception (ce que les VM doivent voir partout) et
d'identité d'émission (les trames que la gateway envoie dans le VNI). La gateway est dans le
netns, derrière un veth : pour le bridge hôte et pour zebra, c'est un port ordinaire.

Palliatifs essayés à la main, sans les retenir :

  • Filtre BGP sur chaque hôte — mac access-list GW-ANYCAST permit <mac>, route-map EVPN-OUT
    (deny 10 + match mac address GW-ANYCAST, permit 20), neighbor fabric route-map EVPN-OUT out
    en l2vpn evpn : la type-2 disparaît de rr1, plus de doublon. Ne règle ni 2 ni 3.
  • ebtables sur l'hôte — -t nat -A PREROUTING -i vxlan-<vni> -s <mac> -j DROP (avant
    l'apprentissage du bridge) et -A FORWARD -o vxlan-<vni> -s <mac> -j DROP : règle 2. Ne règle
    pas 3.

Correctif — 9b2c240 : MAC de gateway propre à l'hôte

02:03:<IPv4 du VTEP> — VTEP 192.168.14.12 → 02:03:c0:a8:0e:0c. Calculée, jamais stockée ;
unique dans le fabric ; même MAC sur tous les subnets d'un hôte (domaines L2 distincts) ; octet de
rôle 03, distinct de la RMAC du L3VNI (02:02:<VTEP>) et de l'anycast (01). Retour au
fonctionnement validé du 2026-10-06 (relais L2 du /24, aucun doublon EVPN, aucun filtre).
Tests unitaires verts ; pas encore rejoué en lab — s8 vérifie désormais les deux MAC
distinctes sur rr1 et l'absence de doublon.

Reste à traiter : le cache ARP d'une VM migrée

C'est ce que la MAC anycast devait résoudre : une VM migrée à chaud garde la MAC de la gateway de
l'hôte source ; tant que l'entrée n'expire pas, son trafic sortant part vers la source en L2
par le VXLAN — détour, puis coupure si le subnet source disparaît. Deux options, pour le jour où
two aura la migration à chaud.

Option 1 — ARP gratuit à l'arrivée de la VM

À la fin de la migration, l'agent de destination envoie depuis la gateway locale un ARP gratuit
unicast vers la VM (arping -U -I br-<subnet> -s <gateway> <IP de la VM>). Linux et Windows
mettent à jour une entrée existante. Entre la migration et l'ARP, la VM parle encore à la gateway
source en L2 par le VXLAN, ce qui fonctionne tant que le subnet source existe — garanti : un subnet
ne se supprime pas tant qu'une VM l'utilise (#41). Simple, sans adresse réservée ; demande un
crochet dans la migration.

Option 2 — VRR (gateway anycast distribuée à la Cumulus/FRR)

Sépare l'identité vue par les VM (anycast, partout pareille) de l'identité d'émission
(propre à l'hôte) :

 netns, sur chaque hôte portant le subnet
   br-<subnet>     MAC 02:03:<VTEP>        network+2/<préfixe>   ◄── sert à émettre (même IP partout)
     └── gw        macvlan, MAC anycast    network+1/32          ◄── la gateway vue par les VM
                   02:01:00:<VNI>
 VM ── « qui a network+1 ? » ──► macvlan gw (réponse : MAC anycast, locale partout)   ✓ migration transparente

 gw hv2 ── ARP « qui a .50 ? de network+2 / 02:03:<VTEP hv2> » ──VXLAN──► VM sur hv1
 VM ── réponse vers 02:03:<VTEP hv2> ──VXLAN──► hv2                                   ✓ relais L2 du /24
 VM ── retour (destination hors subnet) ──► network+1 = MAC anycast = gateway locale ──► L3VNI ✓

Pourquoi ces choix (discussion du 2026-10-12) :

  • Pas d'émission depuis le macvlan : une requête partie avec la MAC anycast revient à la MAC
    anycast, consommée par la gateway de l'hôte de la VM (point 3).
  • Pas d'émission avec l'IP network+1 : une VM qui reçoit une requête ARP de
    « network+1 / MAC de hv2 » met à jour son cache — sa gateway deviendrait hv2.
  • Une seule IP d'émission par subnet, la même sur tous les hôtes : la VM ne fait que répondre,
    vers la MAC de la requête ; l'entrée network+2 de son cache change de MAC au gré des hôtes
    sans effet (une VM ne parle jamais d'elle-même à network+2). 250 hôtes consomment une seule
    adresse.
  • network+2 plutôt que l'IP de l'hyperviseur (collision possible avec l'adressage client et
    empoisonnement de son cache, fuite de l'underlay) ou qu'une link-local (réponse des invités à
    une requête hors subnet non garantie, à tester).

À mettre en place (non testé) :

  • arp_ignore=1 sur br-<subnet> (sinon le bridge répond pour network+1 avec sa propre MAC) ;
    arp_announce=2 (requêtes émises avec network+2) ; network+1 en /32 sur le macvlan.
  • Réserver network+2 dans l'API (refus d'une VM sur cette adresse) ; gateway fixée à network+1.
  • dnsmasq / serveur DHCP intégré, redirection metadata (DNAT vers la gateway) et
    DropARPToGateway (ebtables, vise la gateway) à adapter au macvlan.
  • Filtres toujours nécessaires : le macvlan peut émettre des trames de broadcast ou multicast
    avec la MAC anycast (IPv6 DAD/ND, ARP gratuit) ; inondées vers v-<subnet>-i, elles
    reproduiraient la fuite (1) et le déplacement (2). Il faut confiner la MAC anycast au bridge du
    netns et aux taps : ebtables dans le netns (sortie vers v-<subnet>-i avec source anycast →
    DROP), et le filtre BGP sortant en défense en profondeur. IPv6 désactivé sur le macvlan si
    inutile.

Recommandation

Option 1 tant que la migration à chaud n'existe pas dans two ; option 2 quand on voudra une
migration sans intervention, après un essai en lab des réglages ARP et des filtres.

Issues liées

  • #41 — L3VNI, filet du /24, ordre des routes à la migration (s8).
  • #52 — hyperviseurs Rocky 10 (QEMU de RHEL : machine pc dépréciée, à considérer pour la
    migration).

Risques

  • Option 2 : le confinement de la MAC anycast repose sur des filtres ; une règle manquante
    reproduit la fuite et le déplacement de MAC.
  • Le VTEP est lisible par les VM dans la MAC source des trames de la gateway (02:03:<VTEP>).
## Symptômes Introduite par `0f31b2f` (#41) : la gateway d'un subnet `vxlan` porte la MAC `02:01:00:<VNI>`, identique sur tous les hôtes qui portent le subnet. Constaté en lab le 2026-10-12 (release `0.2.0rc005`, FRR 10.7.1, scénario s8 et essais manuels), dès qu'un subnet est sur deux hôtes : ``` hv1 hv2 ┌──────────────── netns vp-s8 ────────────┐ ┌──── netns vp-s8 ────┐ │ br-s8s (netns) MAC anycast │ │ br-s8s (netns) │ │ = gateway .1 (adresse propre) │ │ MAC anycast = gw .1 │ │ ├── tap (VM s8-m3, .50) │ │ └── v-s8s-i │ │ └── v-s8s-i │ └──────┼──────────────┘ └────────┼────────────────────────────────┘ │ ┌────────┼──────── hôte ──────────────────┐ ┌──────┼──── hôte ────┐ │ br-s8s (hôte) │ │ br-s8s (hôte) │ │ ├── v-s8s-e │ │ ├── v-s8s-e │ │ └── vxlan-2811 ═══════════ VNI 2811 ═══════════════════════ vxlan-2811 │ └─────────────────────────────────────────┘ └─────────────────────┘ ``` 1. **Fuite EVPN** : le bridge **hôte** apprend la MAC anycast sur `v-<subnet>-e` ; zebra l'annonce en type-2. Subnet sur deux hôtes → deux annonces, mobilité (séquences 6/5), détection de doublon (`Duplicate` sur hv1). 2. **Déplacement de MAC** : une trame émise par la gateway de hv2 (ARP, ND) arrive par le VXLAN sur hv1 ; le bridge hôte de hv1 apprend la MAC source → `02:01:..` passe de `v-s8s-e` à `vxlan-2811`. Les VM locales ne sont pas touchées (VM → gateway reste dans le bridge du netns). 3. **Relais L2 impossible** : la gateway de hv2 ne joint pas une VM de hv1 — la VM répond à la MAC anycast, qui est l'adresse propre du bridge du netns de **hv1** : la réponse est consommée par la gateway de hv1. Le filet du `/24` (#41), qui relaie en L2 vers l'hôte qui porte la VM, ne fonctionne donc plus (il fonctionnait le 2026-10-06 avec des MAC distinctes). ## Cause Une même MAC sert à la fois d'**identité de réception** (ce que les VM doivent voir partout) et d'**identité d'émission** (les trames que la gateway envoie dans le VNI). La gateway est dans le netns, derrière un veth : pour le bridge hôte et pour zebra, c'est un port ordinaire. Palliatifs essayés à la main, sans les retenir : * **Filtre BGP** sur chaque hôte — `mac access-list GW-ANYCAST permit <mac>`, route-map `EVPN-OUT` (`deny 10` + `match mac address GW-ANYCAST`, `permit 20`), `neighbor fabric route-map EVPN-OUT out` en `l2vpn evpn` : la type-2 disparaît de rr1, plus de doublon. Ne règle ni 2 ni 3. * **ebtables** sur l'hôte — `-t nat -A PREROUTING -i vxlan-<vni> -s <mac> -j DROP` (avant l'apprentissage du bridge) et `-A FORWARD -o vxlan-<vni> -s <mac> -j DROP` : règle 2. Ne règle pas 3. ## Correctif — `9b2c240` : MAC de gateway propre à l'hôte `02:03:<IPv4 du VTEP>` — VTEP `192.168.14.12` → `02:03:c0:a8:0e:0c`. Calculée, jamais stockée ; unique dans le fabric ; même MAC sur tous les subnets d'un hôte (domaines L2 distincts) ; octet de rôle `03`, distinct de la RMAC du L3VNI (`02:02:<VTEP>`) et de l'anycast (`01`). Retour au fonctionnement validé du 2026-10-06 (relais L2 du `/24`, aucun doublon EVPN, aucun filtre). Tests unitaires verts ; **pas encore rejoué en lab** — s8 vérifie désormais les deux MAC distinctes sur rr1 et l'absence de doublon. ## Reste à traiter : le cache ARP d'une VM migrée C'est ce que la MAC anycast devait résoudre : une VM migrée à chaud garde la MAC de la gateway de l'hôte **source** ; tant que l'entrée n'expire pas, son trafic sortant part vers la source en L2 par le VXLAN — détour, puis coupure si le subnet source disparaît. Deux options, pour le jour où two aura la migration à chaud. ### Option 1 — ARP gratuit à l'arrivée de la VM À la fin de la migration, l'agent de destination envoie depuis la gateway locale un ARP gratuit **unicast** vers la VM (`arping -U -I br-<subnet> -s <gateway> <IP de la VM>`). Linux et Windows mettent à jour une entrée existante. Entre la migration et l'ARP, la VM parle encore à la gateway source en L2 par le VXLAN, ce qui fonctionne tant que le subnet source existe — garanti : un subnet ne se supprime pas tant qu'une VM l'utilise (#41). Simple, sans adresse réservée ; demande un crochet dans la migration. ### Option 2 — VRR (gateway anycast distribuée à la Cumulus/FRR) Sépare l'identité **vue par les VM** (anycast, partout pareille) de l'identité **d'émission** (propre à l'hôte) : ``` netns, sur chaque hôte portant le subnet br-<subnet> MAC 02:03:<VTEP> network+2/<préfixe> ◄── sert à émettre (même IP partout) └── gw macvlan, MAC anycast network+1/32 ◄── la gateway vue par les VM 02:01:00:<VNI> ``` ``` VM ── « qui a network+1 ? » ──► macvlan gw (réponse : MAC anycast, locale partout) ✓ migration transparente gw hv2 ── ARP « qui a .50 ? de network+2 / 02:03:<VTEP hv2> » ──VXLAN──► VM sur hv1 VM ── réponse vers 02:03:<VTEP hv2> ──VXLAN──► hv2 ✓ relais L2 du /24 VM ── retour (destination hors subnet) ──► network+1 = MAC anycast = gateway locale ──► L3VNI ✓ ``` Pourquoi ces choix (discussion du 2026-10-12) : * **Pas d'émission depuis le macvlan** : une requête partie avec la MAC anycast revient à la MAC anycast, consommée par la gateway de l'hôte de la VM (point 3). * **Pas d'émission avec l'IP network+1** : une VM qui reçoit une requête ARP de « network+1 / MAC de hv2 » met à jour son cache — sa gateway deviendrait hv2. * **Une seule IP d'émission par subnet, la même sur tous les hôtes** : la VM ne fait que répondre, vers la **MAC** de la requête ; l'entrée `network+2` de son cache change de MAC au gré des hôtes sans effet (une VM ne parle jamais d'elle-même à `network+2`). 250 hôtes consomment une seule adresse. * **network+2 plutôt que l'IP de l'hyperviseur** (collision possible avec l'adressage client et empoisonnement de son cache, fuite de l'underlay) ou qu'une link-local (réponse des invités à une requête hors subnet non garantie, à tester). À mettre en place (non testé) : * `arp_ignore=1` sur `br-<subnet>` (sinon le bridge répond pour network+1 avec sa propre MAC) ; `arp_announce=2` (requêtes émises avec network+2) ; network+1 en `/32` sur le macvlan. * **Réserver network+2** dans l'API (refus d'une VM sur cette adresse) ; gateway fixée à network+1. * dnsmasq / serveur DHCP intégré, redirection metadata (DNAT vers la gateway) et `DropARPToGateway` (ebtables, vise la gateway) à adapter au macvlan. * **Filtres toujours nécessaires** : le macvlan peut émettre des trames de broadcast ou multicast avec la MAC anycast (IPv6 DAD/ND, ARP gratuit) ; inondées vers `v-<subnet>-i`, elles reproduiraient la fuite (1) et le déplacement (2). Il faut confiner la MAC anycast au bridge du netns et aux taps : ebtables dans le netns (sortie vers `v-<subnet>-i` avec source anycast → DROP), et le filtre BGP sortant en défense en profondeur. IPv6 désactivé sur le macvlan si inutile. ## Recommandation Option 1 tant que la migration à chaud n'existe pas dans two ; option 2 quand on voudra une migration sans intervention, après un essai en lab des réglages ARP et des filtres. ## Issues liées * #41 — L3VNI, filet du `/24`, ordre des routes à la migration (s8). * #52 — hyperviseurs Rocky 10 (QEMU de RHEL : machine `pc` dépréciée, à considérer pour la migration). ## Risques * Option 2 : le confinement de la MAC anycast repose sur des filtres ; une règle manquante reproduit la fuite et le déplacement de MAC. * Le VTEP est lisible par les VM dans la MAC source des trames de la gateway (`02:03:<VTEP>`).
Author
Owner

Constat du 2026-10-12 — la gateway d'un hôte « vole » le cache ARP des VM d'un autre hôte

Campagne 0.2.0rc006 sur evpn-3hv (MAC de gateway par hôte, 9b2c240) : s1–s8 verts, s8 50/50
(MAC distinctes sur rr1, aucun doublon : le correctif tient). Nouveau scénario
s9-subnets-partages (deux VPC, avec et sans L3VNI, deux subnets présents sur hv2 et hv3,
2 VM par hôte, ping entre toutes les paires) : 75/76. Le seul échec n'était pas un ping perdu
mais une session SSH coupée (client_loop: send disconnect: Broken pipe).

Mécanisme (mesuré)

Le cas que la discussion de l'option 2 écartait (« pas d'émission avec l'IP network+1 ») existe
déjà dans le modèle actuel
: la gateway porte la même IP network+1 sur tous les hôtes, et c'est
elle qui émet les requêtes ARP.

 VM 10.250.2.12 (hv3) ──► VM 10.250.1.11 (hv2), autre subnet
   retour routé dans le netns de hv3 : 10.250.1.0/24 est connecté (br-s9r1)
   gw hv3 ── ARP « qui a 10.250.1.11 ? de 10.250.1.1 / 02:03:c0:a8:0e:0d » ──VXLAN 2911──► VM sur hv2
   la VM met à jour son cache : 10.250.1.1 → MAC de hv3
   pendant ~8 s, tout ce que la VM envoie à sa gateway part vers hv3
   puis vérification de l'entrée → bloquée par DropARPToGateway → broadcast → hv2 répond → rétabli

Reproduit à chaque essai : entrée ARP de 10.250.1.11 retirée du netns de hv3, un ping depuis hv3,
connexions TCP de hv2 vers sa propre VM toutes les 0,5 s :

hv3 : ARP envoyé à 08:47:38.702
08:47:35 ok
08:47:39 KO   ← ~8 s
08:47:47 ok

Se déclenche à chaque expiration de l'entrée ARP d'un hôte pour une VM d'un autre hôte, dès que du
trafic entre subnets les relie.

Impact

  • Trafic routé VM ↔ VM : passe (détour par l'autre hôte, qui a la même configuration) — tous
    les pings de s9 sont verts.
  • Ce qui se termine sur la gateway locale casse pendant la fenêtre :
    • sessions ouvertes depuis le netns (harnais de test, outillage) — mesuré ;
    • métadonnées : le DNAT est dans le netns, l'autre hôte n'a pas de règle pour cette VM — déduit,
      pas mesuré ;
    • renouvellement DHCP (unicast vers la gateway) : le serveur de l'autre hôte ne connaît pas la
      VM — ignore ou NAK, non vérifié ; un NAK ferait perdre le bail.
  • Tout état futur dans le netns — NAT de sortie (#42), filtrage à état — casserait les flux
    établis (conntrack absent sur l'autre hôte). Latent aujourd'hui, bloquant avec #42.

Effet attendu du VRR (option 2) — à vérifier

Les requêtes ARP partent de network+2 (arp_announce=2) : le cache de network+1 n'est plus
touché, et même réécrit il pointerait sur la MAC anycast, locale partout. Le défaut se reporte
en revanche sur network+2, partagée par tous les hôtes : le paragraphe « une VM ne parle jamais
d'elle-même à network+2 » est vrai pour la VM, mais pas pour le trafic émis par le netns avec
cette source (sessions depuis le netns), ni pour le DHCP si son identifiant de serveur est
network+2 → l'annoncer en network+1. L'option 1 (ARP gratuit) ne règle pas ce problème.

À faire : rejouer s9 sur une implémentation du VRR et vérifier que ce problème n'existe plus
— même mesure (entrée ARP retirée sur un hôte, connexions TCP en continu depuis l'autre), en
ajoutant un test des métadonnées et d'un renouvellement DHCP pendant la fenêtre.

Note pour les tests — attention aux Broken pipe

Un client_loop: send disconnect: Broken pipe (ou une session SSH qui se fige) dans un scénario
n'est pas forcément un aléa du lab : c'est la signature de ce problème. Ne pas le classer comme
test instable ni ajouter de nouvel essai qui le masquerait ; vérifier le cache ARP de la VM
(ip neigh show <gateway>) et l'état de la session côté VM avant de conclure.

## Constat du 2026-10-12 — la gateway d'un hôte « vole » le cache ARP des VM d'un autre hôte Campagne `0.2.0rc006` sur evpn-3hv (MAC de gateway par hôte, `9b2c240`) : s1–s8 verts, s8 **50/50** (MAC distinctes sur rr1, aucun doublon : le correctif tient). Nouveau scénario `s9-subnets-partages` (deux VPC, avec et sans L3VNI, deux subnets présents sur hv2 **et** hv3, 2 VM par hôte, ping entre toutes les paires) : **75/76**. Le seul échec n'était pas un ping perdu mais une session SSH coupée (`client_loop: send disconnect: Broken pipe`). ### Mécanisme (mesuré) Le cas que la discussion de l'option 2 écartait (« pas d'émission avec l'IP network+1 ») **existe déjà dans le modèle actuel** : la gateway porte la même IP `network+1` sur tous les hôtes, et c'est elle qui émet les requêtes ARP. ``` VM 10.250.2.12 (hv3) ──► VM 10.250.1.11 (hv2), autre subnet retour routé dans le netns de hv3 : 10.250.1.0/24 est connecté (br-s9r1) gw hv3 ── ARP « qui a 10.250.1.11 ? de 10.250.1.1 / 02:03:c0:a8:0e:0d » ──VXLAN 2911──► VM sur hv2 la VM met à jour son cache : 10.250.1.1 → MAC de hv3 pendant ~8 s, tout ce que la VM envoie à sa gateway part vers hv3 puis vérification de l'entrée → bloquée par DropARPToGateway → broadcast → hv2 répond → rétabli ``` Reproduit à chaque essai : entrée ARP de 10.250.1.11 retirée du netns de hv3, un ping depuis hv3, connexions TCP de hv2 vers sa propre VM toutes les 0,5 s : ``` hv3 : ARP envoyé à 08:47:38.702 08:47:35 ok 08:47:39 KO ← ~8 s 08:47:47 ok ``` Se déclenche à chaque expiration de l'entrée ARP d'un hôte pour une VM d'un autre hôte, dès que du trafic entre subnets les relie. ### Impact * **Trafic routé VM ↔ VM** : passe (détour par l'autre hôte, qui a la même configuration) — tous les pings de s9 sont verts. * **Ce qui se termine sur la gateway locale casse pendant la fenêtre** : * sessions ouvertes depuis le netns (harnais de test, outillage) — **mesuré** ; * métadonnées : le DNAT est dans le netns, l'autre hôte n'a pas de règle pour cette VM — déduit, pas mesuré ; * renouvellement DHCP (unicast vers la gateway) : le serveur de l'autre hôte ne connaît pas la VM — ignore ou NAK, **non vérifié** ; un NAK ferait perdre le bail. * **Tout état futur dans le netns** — NAT de sortie (#42), filtrage à état — casserait les flux établis (conntrack absent sur l'autre hôte). Latent aujourd'hui, bloquant avec #42. ### Effet attendu du VRR (option 2) — à vérifier Les requêtes ARP partent de `network+2` (`arp_announce=2`) : le cache de `network+1` n'est plus touché, et même réécrit il pointerait sur la MAC anycast, locale partout. Le défaut se **reporte** en revanche sur `network+2`, partagée par tous les hôtes : le paragraphe « une VM ne parle jamais d'elle-même à network+2 » est vrai pour la VM, mais pas pour le trafic **émis par le netns** avec cette source (sessions depuis le netns), ni pour le DHCP si son identifiant de serveur est `network+2` → l'annoncer en `network+1`. L'option 1 (ARP gratuit) ne règle pas ce problème. **À faire : rejouer s9 sur une implémentation du VRR et vérifier que ce problème n'existe plus** — même mesure (entrée ARP retirée sur un hôte, connexions TCP en continu depuis l'autre), en ajoutant un test des métadonnées et d'un renouvellement DHCP pendant la fenêtre. ### Note pour les tests — attention aux `Broken pipe` Un `client_loop: send disconnect: Broken pipe` (ou une session SSH qui se fige) dans un scénario n'est **pas forcément un aléa du lab** : c'est la signature de ce problème. Ne pas le classer comme test instable ni ajouter de nouvel essai qui le masquerait ; vérifier le cache ARP de la VM (`ip neigh show <gateway>`) et l'état de la session côté VM avant de conclure.
Author
Owner

Option 2 (VRR) implémentée et validée en lab — branche feature-57

Ce qui est livré

  • Adressage calculé en vxlan : gateway = broadcast-1 (.254 en /24, exposée comme interface_ip), adresse d'émission = broadcast-2 (.253, nouveau champ relay_ip). interface_ip fourni sur un subnet vxlan → 400 ; cidr sans bits d'hôte, au plus /29. Une VM est refusée (422) sur la gateway, l'adresse d'émission, la gateway explicite, le réseau, le broadcast ou hors CIDR.
  • Gateway sur un macvlan gw-<subnet> à MAC anycast 02:01:00:<VNI 24 bits> ; le bridge garde 02:03:<VTEP> et porte l'adresse d'émission (arp_ignore=1, arp_announce=2).
  • Confinement de la MAC anycast : ebtables sur v-<subnet>-i (source anycast DROP en nat PREROUTING, FORWARD, OUTPUT) et entrée FDB locale dans le bridge du netns.
  • DHCP (dnsmasq et serveur intégré) à l'écoute sur gw-<subnet>, identifiant de serveur = gateway.
  • Route du subnet en src = gateway : le netns parle à ses VM depuis la gateway.
  • Watchdog : macvlan présent et actif, MAC, gateway sur gw-, adresse d'émission sur br-, gateway absente du bridge, entrée FDB.
  • Les subnets vxlan existants (sans relay_ip) gardent l'ancien modèle jusqu'à leur recréation. IPv6 non désactivé sur le macvlan (arrêté par le confinement).

Deux écarts au plan, trouvés au banc avant le lab

  1. Le macvlan ne crée pas d'entrée FDB dans un bridge parent : il ne met la MAC que dans la liste unicast du bridge, qui passe en promiscuité. Sans entrée explicite, toute trame d'une VM vers sa gateway était inondée au fabric et aux autres taps, et traitée par la gateway de chaque hôte (RST venus de l'autre hôte, renouvellement DHCP visible sur le fabric). Le premier banc ne capturait que la MAC source anycast. Corrigé par une entrée NUD_PERMANENT posée par l'agent et contrôlée par le watchdog ; contrôle négatif fait.
  2. Le défaut reporté sur network+2 (annoncé dans le constat du 2026-10-12) est levé par la route en src = gateway : les sessions ouvertes depuis le netns ne passent plus par l'adresse d'émission. Contrepartie : depuis le netns d'un hôte, une VM d'un autre hôte ne répond qu'à ping -I <relay_ip>. Le trafic routé n'est pas concerné.

Lab — 2026-10-13, evpn-3hv, binaires de la branche

341/343. s1 37/37 (DHCP intégré sur gw-), s2 27/27, s3 12/12, s4 14/14, s5 13/13, s6 19/19, s7 53/53 (TTL 1 signalé par .254), s8 53/53 (aucune route de type 2 pour la MAC anycast sur rr1, absente de la table EVPN de hv1, aucun doublon), s9 84/84 (chaque VM voit la MAC anycast, rien dans EVPN sur les quatre VNI), s11-fenetre-arp 29/29. s10 15/17, sans lien avec #57 (VRRP des switchs, issue à part).

Re-test demandé ci-dessus (s11-fenetre-arp) : entrées ARP du netns retirées sur hv1, une VM de hv1 joint une VM de hv2 dans l'autre subnet (relais L2 depuis l'adresse d'émission de hv1). La VM de hv2 associe bien .253 à la MAC de hv1 (fenêtre ouverte, vérifiée), mais sa gateway reste 02:01:00:00:0c:27. Pendant la fenêtre : métadonnées servies, bail DHCP renouvelé auprès de .254, 80/80 connexions TCP du netns de hv2 vers sa VM (avant : ~8 s de coupure).

Watchdog : aucune alerte sur la gateway anycast pendant la campagne, entrée FDB présente dans tous les bridges des netns.

Reste

  • Migration à chaud : hors périmètre ; la gateway anycast la prépare côté réseau.
  • Relecture sécurité recommandée avant fusion : les contrôles ARP, DHCP et métadonnées dépendent désormais du macvlan et des règles de confinement.
## Option 2 (VRR) implémentée et validée en lab — branche `feature-57` ### Ce qui est livré * **Adressage calculé** en `vxlan` : gateway = broadcast-1 (`.254` en `/24`, exposée comme `interface_ip`), adresse d'émission = broadcast-2 (`.253`, nouveau champ `relay_ip`). `interface_ip` fourni sur un subnet `vxlan` → 400 ; `cidr` sans bits d'hôte, au plus `/29`. Une VM est refusée (422) sur la gateway, l'adresse d'émission, la `gateway` explicite, le réseau, le broadcast ou hors CIDR. * **Gateway** sur un macvlan `gw-<subnet>` à MAC anycast `02:01:00:<VNI 24 bits>` ; le bridge garde `02:03:<VTEP>` et porte l'adresse d'émission (`arp_ignore=1`, `arp_announce=2`). * **Confinement de la MAC anycast** : ebtables sur `v-<subnet>-i` (source anycast DROP en `nat PREROUTING`, `FORWARD`, `OUTPUT`) **et entrée FDB locale** dans le bridge du netns. * **DHCP** (dnsmasq et serveur intégré) à l'écoute sur `gw-<subnet>`, identifiant de serveur = gateway. * **Route du subnet en `src` = gateway** : le netns parle à ses VM depuis la gateway. * **Watchdog** : macvlan présent et actif, MAC, gateway sur `gw-`, adresse d'émission sur `br-`, gateway **absente** du bridge, entrée FDB. * Les subnets `vxlan` existants (sans `relay_ip`) gardent l'ancien modèle jusqu'à leur recréation. IPv6 non désactivé sur le macvlan (arrêté par le confinement). ### Deux écarts au plan, trouvés au banc avant le lab 1. **Le macvlan ne crée pas d'entrée FDB dans un bridge parent** : il ne met la MAC que dans la liste unicast du bridge, qui passe en promiscuité. Sans entrée explicite, **toute trame d'une VM vers sa gateway était inondée** au fabric et aux autres taps, et traitée par la gateway de chaque hôte (RST venus de l'autre hôte, renouvellement DHCP visible sur le fabric). Le premier banc ne capturait que la MAC *source* anycast. Corrigé par une entrée `NUD_PERMANENT` posée par l'agent et contrôlée par le watchdog ; contrôle négatif fait. 2. **Le défaut reporté sur `network+2`** (annoncé dans le constat du 2026-10-12) est levé par la route en `src` = gateway : les sessions ouvertes depuis le netns ne passent plus par l'adresse d'émission. Contrepartie : depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à `ping -I <relay_ip>`. Le trafic routé n'est pas concerné. ### Lab — 2026-10-13, evpn-3hv, binaires de la branche **341/343.** s1 37/37 (DHCP intégré sur `gw-`), s2 27/27, s3 12/12, s4 14/14, s5 13/13, s6 19/19, s7 53/53 (TTL 1 signalé par `.254`), s8 53/53 (aucune route de type 2 pour la MAC anycast sur rr1, absente de la table EVPN de hv1, aucun doublon), s9 84/84 (chaque VM voit la MAC anycast, rien dans EVPN sur les quatre VNI), **s11-fenetre-arp 29/29**. s10 15/17, sans lien avec #57 (VRRP des switchs, issue à part). **Re-test demandé ci-dessus** (`s11-fenetre-arp`) : entrées ARP du netns retirées sur hv1, une VM de hv1 joint une VM de hv2 dans l'autre subnet (relais L2 depuis l'adresse d'émission de hv1). La VM de hv2 associe bien `.253` à la MAC de hv1 (fenêtre ouverte, vérifiée), mais sa gateway reste `02:01:00:00:0c:27`. Pendant la fenêtre : métadonnées servies, bail DHCP renouvelé auprès de `.254`, **80/80 connexions TCP** du netns de hv2 vers sa VM (avant : ~8 s de coupure). Watchdog : aucune alerte sur la gateway anycast pendant la campagne, entrée FDB présente dans tous les bridges des netns. ### Reste * Migration à chaud : hors périmètre ; la gateway anycast la prépare côté réseau. * Relecture sécurité recommandée avant fusion : les contrôles ARP, DHCP et métadonnées dépendent désormais du macvlan et des règles de confinement.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#57
No description provided.