f-81: doc: unreachable default, default_route, notes 0.3.0 #81

Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
GnomeZworc 2026-10-25 11:53:58 +01:00
commit 6d3d6314e2
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
6 changed files with 57 additions and 10 deletions

View file

@ -29,6 +29,13 @@ Réseau
* **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis * **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis
la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par
tous les hôtes, une réponse peut partir vers un autre hôte. tous les hôtes, une réponse peut partir vers un autre hôte.
* **Chaque VRF de VPC porte une route ``unreachable default`` de métrique maximale.** Sans elle,
une recherche manquée dans la VRF retombe dans la table ``main`` de l'hôte et le paquet du
locataire sort par l'underlay. Elle survit à la suppression de la VRF (aucune interface) : la
retirer explicitement au démontage.
* **``default_route: true`` sans ``gateway`` est réservé au mode ``bridge``** : en ``vxlan``, la
gateway de l'hôte n'est pas sur le subnet, la route par défaut serait inutilisable, et jointe
elle contournerait le netns et la VRF.
* ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur. * ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur.
QEMU et VM QEMU et VM

View file

@ -172,7 +172,9 @@ seule. Le champ ``default_route`` ne choisit que son next-hop :
``default_route: true`` ``default_route: true``
next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage
de l'host. de l'host, à la création du subnet. Ce dernier cas est **réservé au mode** ``bridge``, où la VM
partage le L2 de cette gateway : sans ``gateway``, ``default_route: true`` est refusé (400) en
``vxlan`` et en ``public_ip``.
``gateway`` n'est **pas validé** par l'agent : sa joignabilité et sa cohérence avec le CIDR du ``gateway`` n'est **pas validé** par l'agent : sa joignabilité et sa cohérence avec le CIDR du
subnet relèvent de l'appelant. Fourni avec ``default_route: false``, il est ignoré. subnet relèvent de l'appelant. Fourni avec ``default_route: false``, il est ignoré.

View file

@ -44,7 +44,7 @@ subnets. L'agent n'impose que la première borne (le RD ``<VTEP>:<l3vni>`` porte
.. code-block:: text .. code-block:: text
vrf-<id> VRF, table de routage = l3vni vrf-<id> VRF, table de routage = l3vni, unreachable default metric 4278198272
├── brl3-<id> bridge sans adresse, MAC de routeur 02:02:<IPv4 du VTEP> ├── brl3-<id> bridge sans adresse, MAC de routeur 02:02:<IPv4 du VTEP>
│ └── vxl3-<id> VXLAN du l3vni, VTEP = IPv4 primaire de default_interface │ └── vxl3-<id> VXLAN du l3vni, VTEP = IPv4 primaire de default_interface
└── l3-<id>-o 169.254.0.1/30 ── l3-<id>-i 169.254.0.2/30, dans le netns du VPC └── l3-<id>-o 169.254.0.1/30 ── l3-<id>-i 169.254.0.2/30, dans le netns du VPC
@ -56,8 +56,18 @@ touche pas au réglage global, que ``bootstrap_kvm.sh`` met déjà à 1. FRR re
``router bgp <asn> vrf vrf-<id>`` avec RD ``<VTEP>:<l3vni>`` et RT ``<asn>:<l3vni>``, et ``router bgp <asn> vrf vrf-<id>`` avec RD ``<VTEP>:<l3vni>`` et RT ``<asn>:<l3vni>``, et
l'export des routes du ``cidr`` présentes dans la VRF. l'export des routes du ``cidr`` présentes dans la VRF.
La suppression retire d'abord la configuration de routage de FRR, puis les interfaces, puis la La table de la VRF reçoit, juste après sa création, une route ``unreachable default`` de métrique
VRF de FRR. Cet ordre est imposé : supprimer la VRF du noyau sous une instance BGP encore maximale (``4278198272``, valeur recommandée par la documentation VRF du noyau). Sans elle, une
recherche qui échoue dans la VRF continue dans les règles suivantes, donc dans la table ``main``
de l'hôte : un paquet d'un locataire vers une adresse inconnue de la VRF sortirait par l'underlay,
avec ``169.254.0.2`` pour source (mesuré, `#81 <https://git.g3e.fr/syonad/two/issues/81>`_). La
métrique maximale laisse passer avant elle toute route réelle de la VRF. Cette route n'est pas
annoncée en EVPN : le route-map de la VRF n'exporte que le ``cidr`` du VPC. Elle n'est liée à
aucune interface et ne disparaît pas avec la VRF : la suppression la retire explicitement. IPv4
seulement.
La suppression retire d'abord la configuration de routage de FRR, puis les interfaces, la route
``unreachable default``, puis la VRF de FRR. Cet ordre est imposé : supprimer la VRF du noyau sous une instance BGP encore
configurée fait planter ``bgpd`` (FRR 10.7.1). configurée fait planter ``bgpd`` (FRR 10.7.1).
Subnet Subnet

View file

@ -296,7 +296,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
* - ``11-validation`` * - ``11-validation``
- validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base - validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base
- hv1 - hv1
- #41, #57, #33, #62, #74 - #41, #57, #33, #62, #74, #81
* - ``12-etats`` * - ``12-etats``
- machine d'états — 409 pendant creating, suppression depuis error, dépendances VM → subnet → VPC, recréation sous le même nom - machine d'états — 409 pendant creating, suppression depuis error, dépendances VM → subnet → VPC, recréation sous le même nom
- hv1 - hv1
@ -370,17 +370,17 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
- hv1 hv2 - hv1 hv2
- #57 - #57
* - ``51-l3vni`` * - ``51-l3vni``
- routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d'un VPC routé - routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé
- hv1 hv2 - hv1 hv2
- #41 - #41, #81
* - ``52-migration`` * - ``52-migration``
- migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN - migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN
- hv1 hv2 hv3 - hv1 hv2 hv3
- #41, #57 - #41, #57
* - ``53-watchdog-l3`` * - ``53-watchdog-l3``
- watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais - watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais
- hv1 hv3 - hv1 hv3
- #41 - #41, #81
* - ``61-redemarrage-agent`` * - ``61-redemarrage-agent``
- redémarrage de l'agent avec des VM en marche — rien ne disparaît ni n'est recréé, trafic routé sans perte, DHCP et métadonnées servis, base BGP réappliquée à l'identique, ressources toujours gérées - redémarrage de l'agent avec des VM en marche — rien ne disparaît ni n'est recréé, trafic routé sans perte, DHCP et métadonnées servis, base BGP réappliquée à l'identique, ressources toujours gérées
- hv1 hv2 - hv1 hv2

View file

@ -45,7 +45,10 @@ Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de co
``Established`` (``show bgp neighbors <ip>``). ``Established`` (``show bgp neighbors <ip>``).
* **VPC routés** (``l3vni``, état ``running``) : présence et état des interfaces ``vrf-<id>``, * **VPC routés** (``l3vni``, état ``running``) : présence et état des interfaces ``vrf-<id>``,
``brl3-<id>``, ``vxl3-<id>``, ``l3-<id>-o`` et, dans le netns, ``l3-<id>-i`` ; L3VNI de type ``brl3-<id>``, ``vxl3-<id>``, ``l3-<id>-o`` et, dans le netns, ``l3-<id>-i`` ; L3VNI de type
``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni <l3vni>``). ``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni <l3vni>``) ; route
``unreachable default`` de métrique ``4278198272`` dans la table de la VRF. Un VPC routé créé
par une version antérieure à la 0.3.0 ne l'a pas : il est signalé à chaque tick jusqu'à sa
recréation, l'agent ne la pose pas au démarrage.
* **Réconciliation des routes exportées** dans la VRF : chaque ``/24`` de subnet ``vxlan`` et chaque * **Réconciliation des routes exportées** dans la VRF : chaque ``/24`` de subnet ``vxlan`` et chaque
``/32`` d'interface de VM ``running`` doit être exporté ; à l'inverse, une route exportée dont ``/32`` d'interface de VM ``running`` doit être exporté ; à l'inverse, une route exportée dont
le propriétaire n'existe plus — ni ``running``, ni en ``creating``, ``deleting`` ou ``error`` — le propriétaire n'existe plus — ni ``running``, ni en ``creating``, ``deleting`` ou ``error`` —

25
release_notes/0.3.0.md Normal file
View file

@ -0,0 +1,25 @@
# Gabriel
## Correctifs
- **Chaque VRF de VPC porte une route `unreachable default` (#81).** Une recherche qui échouait
dans la table d'une VRF continuait dans la table `main` de l'hôte : un paquet d'un locataire
vers une adresse inconnue de son VPC sortait par l'underlay, avec `169.254.0.2` pour source
(mesuré en lab). La route est posée juste après la VRF, avec la métrique maximale
`4278198272`, de sorte que toute route réelle reste prioritaire ; elle n'est pas annoncée en
EVPN et elle est retirée au démontage du VPC. Le watchdog signale une VRF qui ne l'a pas.
IPv4 seulement
- **`default_route: true` sans `gateway` est réservé au mode `bridge` (#81)** : refusé (400) en
`vxlan` et en `public_ip`. Hors `bridge`, la gateway lue dans la table de routage de l'hôte
n'est pas sur le subnet des VM : la route par défaut annoncée était inutilisable
## Mise à jour depuis la 0.2.0
- **`default_route: true` exige une `gateway` hors mode `bridge`** : un appel qui l'omettait en
`vxlan` reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils
annonçaient jusqu'à leur recréation
- **Les VPC routés existants n'ont pas la route `unreachable default`** : l'agent ne la pose pas
au démarrage, le watchdog les signale à chaque tick. La recréation du VPC la pose ; d'ici là,
la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC,
la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC :
`ip route replace unreachable default metric 4278198272 table <l3vni>`