Segment public de l'hôte : VXLAN 66001 sur br-public, interfaces.internet, bordure dans le lab #87

Closed
opened 2026-10-25 00:22:36 +00:00 by nicolas.boufideline · 4 comments

Objectif

Poser le socle commun aux trois fonctions publiques : passerelle NAT (#42), IP flottante et subnet public_ip (#31). Étape 3 de l'ordre de travail du 2026-10-25, après #81, #84, #79 et #86.

Décisions (sur #31, commentaires 1133, 1317, 1336)

  • L2 sur le VNI 66001, partagé entre les bordures et les hyperviseurs ; gateway anycast sur les bordures (même IP, même MAC), qui restent sans état.
  • deploy.sh accroche le VXLAN 66001 au bridge br-public qu'il crée déjà (vide, sans adresse, scripts/bootstrap_kvm.sh:80), avec l'adresse VTEP locale ; FRR l'annonce (advertise-all-vni).
  • agent.yml : le bridge public est celui de interfaces.internet, br-public par défaut, sans repli sur default_interface (l'underlay). conf/agent/config.exemple.yml (aujourd'hui internet: br-000000) est à corriger.
  • L'agent ignore la VNI, les plages publiques et la gateway des bordures.

Lab

Le lab n'a ni bordure ni destination « Internet ». Piste, à confirmer : un nœud de rôle host de labctl, avec scripts de provision et configuration FRR propres à two (test/e2e/topologies/), qui porte la gateway anycast sur le VNI 66001 et une destination de test derrière elle. Si labctl doit évoluer, ce sera par son propre ticket et sa release.

Critère de clôture

En lab : br-public porte le VXLAN 66001 sur chaque hyperviseur, le VNI est annoncé en EVPN et vu par la bordure ; une interface de test accrochée à br-public joint la gateway des bordures et la destination de test ; le watchdog signale un br-public absent ou sans VXLAN.

## Objectif Poser le socle commun aux trois fonctions publiques : passerelle NAT (#42), IP flottante et subnet `public_ip` (#31). Étape 3 de l'ordre de travail du 2026-10-25, après #81, #84, #79 et #86. ## Décisions (sur #31, commentaires 1133, 1317, 1336) - L2 sur le **VNI 66001**, partagé entre les bordures et les hyperviseurs ; gateway anycast sur les bordures (même IP, même MAC), qui restent sans état. - **`deploy.sh`** accroche le VXLAN 66001 au bridge `br-public` qu'il crée déjà (vide, sans adresse, `scripts/bootstrap_kvm.sh:80`), avec l'adresse VTEP locale ; FRR l'annonce (`advertise-all-vni`). - **`agent.yml`** : le bridge public est celui de `interfaces.internet`, `br-public` par défaut, sans repli sur `default_interface` (l'underlay). `conf/agent/config.exemple.yml` (aujourd'hui `internet: br-000000`) est à corriger. - L'agent ignore la VNI, les plages publiques et la gateway des bordures. ## Lab Le lab n'a ni bordure ni destination « Internet ». Piste, à confirmer : un nœud de rôle `host` de labctl, avec scripts de provision et configuration FRR propres à two (`test/e2e/topologies/`), qui porte la gateway anycast sur le VNI 66001 et une destination de test derrière elle. Si labctl doit évoluer, ce sera par son propre ticket et sa release. ## Critère de clôture En lab : `br-public` porte le VXLAN 66001 sur chaque hyperviseur, le VNI est annoncé en EVPN et vu par la bordure ; une interface de test accrochée à `br-public` joint la gateway des bordures et la destination de test ; le watchdog signale un `br-public` absent ou sans VXLAN.
Author
Owner

Lab : bordures bd1 et bd2, première itération (2026-10-25)

Partie lab commencée sur feature-87 (811e69d) : deux nœuds host sans agent dans evpn-3hv.yml (192.168.14.21, .22). Provision : br-public avec vxlan-66001 (nolearning, VTEP = underlay), gateway anycast 240.0.0.1/24 et MAC 02:01:00:01:01:d1 (la MAC anycast de two pour le VNI 66001) sur les deux, destination 240.255.0.1 sur une interface dummy. FRR : iBGP AS 64600 vers rr1 et rr2 (acceptés par la listen range des RR), advertise-all-vni. Aucune évolution de labctl n'a été nécessaire. Adresses publiques du lab prises dans 240.0.0.0/4.

Banc (scénario hors dépôt, VXLAN 66001 posé à la main sur le br-public des hyperviseurs) : 39/39.

  • Les deux bordures provisionnées, sessions EVPN établies, VNI 66001 de type L2 ; hv1 voit les VTEP distants .12, .13, .21, .22.
  • 240.0.0.0/4 acceptée par le noyau ; depuis un netns de hv1 (240.0.0.10), la gateway et la destination répondent ; hv2 joint hv1 en L2 sur le VNI 66001.

Constat 1 — la MAC de la gateway n'est pas annoncée avec advertise-all-vni seul. C'est la MAC propre du bridge des bordures : FRR ne l'annonce pas en type 2. hv1 l'apprend sur le port vxlan-66001 sans VTEP de destination, le trafic part en inondation vers tous les VTEP et les deux bordures répondent (ping vers 240.0.0.1 : +1 duplicates).

Correction testée — advertise-default-gw dans address-family l2vpn evpn des deux bordures (posé à chaud, non écrit) :

  • la MAC est annoncée par les deux bordures avec la communauté Default Gateway (ET:8), avec 240.0.0.1 ;
  • hv1 l'installe vers une seule bordure (dst 192.168.14.21 self sticky static) ; plus aucun doublon ; show evpn mac vni 66001 duplicate vide. Conforme à ce que prévoyait #31 : sans ESI, une seule bordure sert.

Bascule douce (vxlan-66001 de bd1 coupé 20 s, ping toutes les 0,2 s depuis hv1) : hv1 passe sur bd2 en moins de 3 s, 1 paquet perdu sur 246, puis revient sur bd1 à son retour.

Non mesuré : la panne dure d'une bordure (nœud qui ne retire rien). Sessions sans BFD, hold time 180 s : attendu jusqu'à ~3 min de coupure de la sortie publique pour les hôtes qui passent par la bordure perdue. À mesurer à la prochaine session.

À reporter dans la branche : advertise-default-gw dans frr/bd1.conf et bd2.conf ; le ping de fond du banc (bascule) n'écrivait rien, à corriger.

Point à noter pour la suite de #87 : le VNI 66001 tombe dans la plage des subnets (65536 et au-delà). Un subnet vxlan_id: 66001 voudrait créer vxlan-66001 dans l'espace réseau de l'hôte (internal/subnet/create.go:146) et échouerait sur le VXLAN de l'infrastructure : l'appelant ne doit pas allouer ce numéro.

## Lab : bordures `bd1` et `bd2`, première itération (2026-10-25) Partie lab commencée sur `feature-87` (`811e69d`) : deux nœuds `host` sans agent dans `evpn-3hv.yml` (`192.168.14.21`, `.22`). Provision : `br-public` avec `vxlan-66001` (`nolearning`, VTEP = underlay), gateway anycast `240.0.0.1/24` et MAC `02:01:00:01:01:d1` (la MAC anycast de two pour le VNI 66001) sur les deux, destination `240.255.0.1` sur une interface `dummy`. FRR : iBGP AS 64600 vers rr1 et rr2 (acceptés par la `listen range` des RR), `advertise-all-vni`. Aucune évolution de labctl n'a été nécessaire. Adresses publiques du lab prises dans `240.0.0.0/4`. Banc (scénario hors dépôt, VXLAN 66001 posé à la main sur le `br-public` des hyperviseurs) : 39/39. - Les deux bordures provisionnées, sessions EVPN établies, VNI 66001 de type L2 ; hv1 voit les VTEP distants `.12`, `.13`, `.21`, `.22`. - `240.0.0.0/4` acceptée par le noyau ; depuis un netns de hv1 (`240.0.0.10`), la gateway et la destination répondent ; hv2 joint hv1 en L2 sur le VNI 66001. **Constat 1 — la MAC de la gateway n'est pas annoncée avec `advertise-all-vni` seul.** C'est la MAC propre du bridge des bordures : FRR ne l'annonce pas en type 2. hv1 l'apprend sur le port `vxlan-66001` sans VTEP de destination, le trafic part en inondation vers tous les VTEP et **les deux bordures répondent** (ping vers `240.0.0.1` : `+1 duplicates`). **Correction testée — `advertise-default-gw`** dans `address-family l2vpn evpn` des deux bordures (posé à chaud, non écrit) : - la MAC est annoncée par les deux bordures avec la communauté `Default Gateway` (`ET:8`), avec `240.0.0.1` ; - hv1 l'installe vers **une seule** bordure (`dst 192.168.14.21 self sticky static`) ; plus aucun doublon ; `show evpn mac vni 66001 duplicate` vide. Conforme à ce que prévoyait #31 : sans ESI, une seule bordure sert. **Bascule douce** (`vxlan-66001` de bd1 coupé 20 s, ping toutes les 0,2 s depuis hv1) : hv1 passe sur bd2 en moins de 3 s, **1 paquet perdu sur 246**, puis revient sur bd1 à son retour. **Non mesuré** : la panne dure d'une bordure (nœud qui ne retire rien). Sessions sans BFD, hold time 180 s : attendu jusqu'à ~3 min de coupure de la sortie publique pour les hôtes qui passent par la bordure perdue. À mesurer à la prochaine session. À reporter dans la branche : `advertise-default-gw` dans `frr/bd1.conf` et `bd2.conf` ; le ping de fond du banc (bascule) n'écrivait rien, à corriger. **Point à noter pour la suite de #87** : le VNI 66001 tombe dans la plage des subnets (65536 et au-delà). Un subnet `vxlan_id: 66001` voudrait créer `vxlan-66001` dans l'espace réseau de l'hôte (`internal/subnet/create.go:146`) et échouerait sur le VXLAN de l'infrastructure : l'appelant ne doit pas allouer ce numéro.
Author
Owner

Plan de VNI : le VNI 66001 du segment public tombe dans la plage des subnets

D'après le plan de VNI (docs/concepts/vpc-subnet-vm.rst), les VNI 1–65535 sont réservés aux L3VNI des VPC et 65536–16777215 aux subnets. Le VNI 66001, retenu pour le segment public (bordures bd1/bd2 du lab, vxlan-66001), est donc dans la plage des subnets.

Conséquence : un subnet en mode vxlan avec vxlan_id: 66001 voudrait créer vxlan-66001 dans l'espace réseau de l'hôte (internal/subnet/create.go:146, setupVxlanHost). Une fois que l'hôte porte le segment public, ce nom existe déjà et la création du subnet échouerait.

L'agent fait confiance à son appelant et ne vérifie pas ce cas. C'est donc à l'appelant de ne jamais allouer ce VNI à un subnet. À trancher dans la suite de #87 :

  • soit réserver explicitement le VNI du segment public dans le plan de VNI (doc, et allocateur de l'appelant) ;
  • soit choisir un VNI hors des deux plages actuelles.

Les bordures du lab (commits 811e69d et 91c0cc0 sur feature-87) gardent 66001 en attendant.

**Plan de VNI : le VNI 66001 du segment public tombe dans la plage des subnets** D'après le plan de VNI (`docs/concepts/vpc-subnet-vm.rst`), les VNI **1–65535** sont réservés aux L3VNI des VPC et **65536–16777215** aux subnets. Le VNI 66001, retenu pour le segment public (bordures `bd1`/`bd2` du lab, `vxlan-66001`), est donc dans la plage des subnets. Conséquence : un subnet en mode `vxlan` avec `vxlan_id: 66001` voudrait créer `vxlan-66001` dans l'espace réseau de l'hôte (`internal/subnet/create.go:146`, `setupVxlanHost`). Une fois que l'hôte porte le segment public, ce nom existe déjà et la création du subnet échouerait. L'agent fait confiance à son appelant et ne vérifie pas ce cas. C'est donc à l'appelant de ne jamais allouer ce VNI à un subnet. À trancher dans la suite de #87 : - soit réserver explicitement le VNI du segment public dans le plan de VNI (doc, et allocateur de l'appelant) ; - soit choisir un VNI hors des deux plages actuelles. Les bordures du lab (commits 811e69d et 91c0cc0 sur `feature-87`) gardent 66001 en attendant.
Author
Owner

Décisions et plan de la suite (2026-10-25)

VNI du segment public : 1 (au lieu de 66001), pris dans la plage des L3VNI : 65 000 VPC suffisent. Plan de VNI : 1 segment public, 2–65535 (sauf 253–255) L3VNI des VPC, 65536–16777215 subnets. L'agent ne le vérifie pas : l'appelant n'alloue jamais l3vni: 1. S'il le faisait, la création du VPC échouerait (VXLAN du VNI 1 déjà présent), sans panne silencieuse. MAC anycast des bordures : 02:01:00:00:00:01.

Plan

  1. deploy.sh --public_vni (défaut 1) ; bootstrap_kvm.sh crée vxlan-public (ce VNI, VTEP = adresse de l'underlay, nolearning, port 4789), esclave de br-public, à chaque démarrage ; recréé si le VNI diffère.
  2. Agent : le bridge public est interfaces.internet (br-public par défaut, sans repli sur default_interface) au lieu du nom en dur des veth de VPC ; config.exemple.yml corrigé.
  3. Watchdog : bridge public absent, ou sans port VXLAN.
  4. FRR inchangé (advertise-all-vni).
  5. Lab : bordures sur le VNI 1 ; hypervisor.sh appelle la fonction du bootstrap_kvm.sh de la branche, la release 0.2.0 ne créant pas le VXLAN.
  6. e2e : vxlan-public sur chaque hyperviseur, VNI 1 en EVPN, un netns de test sur br-public joint la gateway et la destination, alerte du watchdog.
  7. Doc (plan de VNI, option de deploy.sh, interfaces.internet) et notes 0.3.0.

feature-87 est rebasée sur main.

Risques : une fois le VXLAN posé, chaque netns de VPC est adjacent en L2 au segment public (sans adresse ; two-hostsvc exclut déjà br-public, #86) ; le filtrage de ce segment relève de #42. Un VNI faux dans deploy.sh coupe la sortie publique sans que le watchdog le voie (il voit l'absence du VXLAN, pas un mauvais numéro).

## Décisions et plan de la suite (2026-10-25) **VNI du segment public : 1** (au lieu de 66001), pris dans la plage des L3VNI : 65 000 VPC suffisent. Plan de VNI : **1** segment public, **2–65535** (sauf 253–255) L3VNI des VPC, **65536–16777215** subnets. L'agent ne le vérifie pas : l'appelant n'alloue jamais `l3vni: 1`. S'il le faisait, la création du VPC échouerait (VXLAN du VNI 1 déjà présent), sans panne silencieuse. MAC anycast des bordures : `02:01:00:00:00:01`. **Plan** 1. `deploy.sh --public_vni` (défaut 1) ; `bootstrap_kvm.sh` crée `vxlan-public` (ce VNI, VTEP = adresse de l'underlay, `nolearning`, port 4789), esclave de `br-public`, à chaque démarrage ; recréé si le VNI diffère. 2. Agent : le bridge public est `interfaces.internet` (`br-public` par défaut, sans repli sur `default_interface`) au lieu du nom en dur des veth de VPC ; `config.exemple.yml` corrigé. 3. Watchdog : bridge public absent, ou sans port VXLAN. 4. FRR inchangé (`advertise-all-vni`). 5. Lab : bordures sur le VNI 1 ; `hypervisor.sh` appelle la fonction du `bootstrap_kvm.sh` de la branche, la release 0.2.0 ne créant pas le VXLAN. 6. e2e : `vxlan-public` sur chaque hyperviseur, VNI 1 en EVPN, un netns de test sur `br-public` joint la gateway et la destination, alerte du watchdog. 7. Doc (plan de VNI, option de `deploy.sh`, `interfaces.internet`) et notes 0.3.0. `feature-87` est rebasée sur main. **Risques** : une fois le VXLAN posé, chaque netns de VPC est adjacent en L2 au segment public (sans adresse ; `two-hostsvc` exclut déjà `br-public`, #86) ; le filtrage de ce segment relève de #42. Un VNI faux dans `deploy.sh` coupe la sortie publique sans que le watchdog le voie (il voit l'absence du VXLAN, pas un mauvais numéro).
Author
Owner

Fusionné dans main. Lab du 2026-10-26 (main + #86 + #76 + #87 + #91) : suite complète verte (31 tests sur 31), dont 45-segment-public (45 réussis) et 62-nettoyage-global (54 réussis). Banc des bordures : bascule douce sans perte (442 réponses sur 442) ; panne dure d'une bordure : trafic coupé jusqu'à l'expiration BGP (~180 s), sujet de #31.

Fusionné dans main. Lab du 2026-10-26 (main + #86 + #76 + #87 + #91) : suite complète verte (31 tests sur 31), dont 45-segment-public (45 réussis) et 62-nettoyage-global (54 réussis). Banc des bordures : bascule douce sans perte (442 réponses sur 442) ; panne dure d'une bordure : trafic coupé jusqu'à l'expiration BGP (~180 s), sujet de #31.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#87
No description provided.