Route par défaut des VPC : cas « passerelle de l'hôte » réservé au mode bridge, route unreachable default dans chaque VRF #81

Closed
opened 2026-10-19 21:08:15 +00:00 by nicolas.boufideline · 4 comments

Constat

Deux points liés à la route par défaut d'un VPC routé par L3VNI.

1. default_route: true sans gateway hors du mode bridge

Le DHCP annonce toujours une route par défaut (option 3 et 0.0.0.0/0 en option 121). Son next-hop dépend du subnet (internal/subnet/routing.go) :

Cas Next-hop Usage
1. default_route absent ou false interface_ip (.254, gateway anycast dans le netns du VPC) cas général, la plupart des VM
2. default_route: true sans gateway passerelle par défaut de l'hôte, lue dans sa table de routage à la création du subnet mode bridge
3. default_route: true avec gateway la gateway fournie VM portant directement une IP publique (subnet public, #31)

En mode vxlan, le cas 2 donne aux VM la passerelle de l'underlay (192.168.14.1 sur le lab), qui n'est pas sur leur subnet : la route par défaut est inutilisable, et si elle était jointe, le trafic contournerait le netns et la VRF. La valeur est en outre figée à la création du subnet. Aucun usage identifié hors du mode bridge, où la VM partage le L2 de cette passerelle. public_ip n'est pas implémenté côté hôte (#31) ; ses VM utiliseront le cas 3.

2. Aucune route unreachable default dans les tables de VRF

two ne pose aucune route unreachable dans la table d'une VRF de VPC. Sur hv1 (lab du 2026-10-19) :

0:      from all lookup local
1000:   from all lookup [l3mdev-table]
32766:  from all lookup main
32767:  from all lookup default

et la table main contient default via 192.168.14.1 dev br-000000 (underlay). Selon la documentation VRF du noyau, une recherche qui échoue dans la table d'une VRF continue dans les règles suivantes, donc dans main : un paquet routé dans une VRF vers une destination inconnue sortirait par l'underlay. La documentation recommande une route unreachable default de métrique maximale dans chaque table de VRF.

  • Aujourd'hui, le netns n'envoie à la VRF que le CIDR du VPC : seul un paquet vers une adresse du CIDR sans subnet ni VM, inconnue de la VRF, est concerné.
  • Demain, avec une route par défaut du netns vers la VRF (routes de VPC vers une VM, sortie Internet #42), tout le trafic inconnu d'un locataire serait concerné.

Mesure à faire (même session de lab) : VPC routé vp-t99 sans subnet, ip route get 10.99.5.5 vrf vrf-t99. Résultat à ajouter en commentaire.

Décision (2026-10-19)

  1. Le cas 2 (default_route: true sans gateway) est réservé au mode bridge : refusé (400) pour vxlan et public_ip. Le cas 3 reste permis dans tous les modes.
  2. Chaque VRF de VPC reçoit une route unreachable default metric 4278198272 à sa création, retirée avec elle.

À faire

  • API (internal/api/agent/subnets.go) : 400 sur default_route: true sans gateway hors bridge ; api/agent.yaml (description de default_route).
  • internal/l3vni : route unreachable default dans la table de la VRF, à la création, avant l'export des routes ; suppression au démontage.
  • Watchdog (check_l3.go) : la route unreachable default est présente dans chaque VRF de VPC.
  • Migration au démarrage : poser la route dans les VRF existantes (idempotent).
  • Tests unitaires ; e2e : 11 (400 du cas 2 en vxlan), 51 (ip route get d'une adresse inconnue dans la VRF → unreachable) ; doc (modes réseau, contraintes, notes de version).

Critère de clôture

En lab : ip route get <adresse inconnue> vrf vrf-<vpc> répond unreachable ; un subnet vxlan avec default_route: true sans gateway est refusé ; suite verte.

Analyse de risque

  • Sans la route unreachable, une erreur de routage dans une VRF devient une fuite vers l'underlay (et vers Internet par la route de l'hôte), invisible depuis la configuration.
  • La métrique maximale garantit que toute route réelle de la VRF (EVPN, /32 locales, futures routes vers une VM ou par défaut de #42) reste prioritaire.
  • Refuser le cas 2 hors bridge ne casse aucun usage connu ; un appelant qui l'envoyait recevait déjà une route par défaut inutilisable.
## Constat Deux points liés à la route par défaut d'un VPC routé par L3VNI. ### 1. `default_route: true` sans `gateway` hors du mode `bridge` Le DHCP annonce toujours une route par défaut (option 3 et `0.0.0.0/0` en option 121). Son next-hop dépend du subnet (`internal/subnet/routing.go`) : | Cas | Next-hop | Usage | |---|---|---| | 1. `default_route` absent ou `false` | `interface_ip` (`.254`, gateway anycast dans le netns du VPC) | cas général, la plupart des VM | | 2. `default_route: true` sans `gateway` | passerelle par défaut **de l'hôte**, lue dans sa table de routage à la création du subnet | mode `bridge` | | 3. `default_route: true` avec `gateway` | la `gateway` fournie | VM portant directement une IP publique (subnet public, #31) | En mode `vxlan`, le cas 2 donne aux VM la passerelle de l'underlay (192.168.14.1 sur le lab), qui n'est pas sur leur subnet : la route par défaut est inutilisable, et si elle était jointe, le trafic contournerait le netns et la VRF. La valeur est en outre figée à la création du subnet. Aucun usage identifié hors du mode `bridge`, où la VM partage le L2 de cette passerelle. `public_ip` n'est pas implémenté côté hôte (#31) ; ses VM utiliseront le cas 3. ### 2. Aucune route `unreachable default` dans les tables de VRF two ne pose aucune route `unreachable` dans la table d'une VRF de VPC. Sur hv1 (lab du 2026-10-19) : ``` 0: from all lookup local 1000: from all lookup [l3mdev-table] 32766: from all lookup main 32767: from all lookup default ``` et la table `main` contient `default via 192.168.14.1 dev br-000000` (underlay). Selon la documentation VRF du noyau, une recherche qui échoue dans la table d'une VRF continue dans les règles suivantes, donc dans `main` : un paquet routé dans une VRF vers une destination inconnue sortirait par l'underlay. La documentation recommande une route `unreachable default` de métrique maximale dans chaque table de VRF. - Aujourd'hui, le netns n'envoie à la VRF que le CIDR du VPC : seul un paquet vers une adresse du CIDR sans subnet ni VM, inconnue de la VRF, est concerné. - Demain, avec une route par défaut du netns vers la VRF (routes de VPC vers une VM, sortie Internet #42), **tout** le trafic inconnu d'un locataire serait concerné. Mesure à faire (même session de lab) : VPC routé `vp-t99` sans subnet, `ip route get 10.99.5.5 vrf vrf-t99`. Résultat à ajouter en commentaire. ## Décision (2026-10-19) 1. Le cas 2 (`default_route: true` sans `gateway`) est **réservé au mode `bridge`** : refusé (400) pour `vxlan` et `public_ip`. Le cas 3 reste permis dans tous les modes. 2. Chaque VRF de VPC reçoit une route `unreachable default metric 4278198272` à sa création, retirée avec elle. ## À faire - API (`internal/api/agent/subnets.go`) : 400 sur `default_route: true` sans `gateway` hors `bridge` ; `api/agent.yaml` (description de `default_route`). - `internal/l3vni` : route `unreachable default` dans la table de la VRF, à la création, avant l'export des routes ; suppression au démontage. - Watchdog (`check_l3.go`) : la route `unreachable default` est présente dans chaque VRF de VPC. - Migration au démarrage : poser la route dans les VRF existantes (idempotent). - Tests unitaires ; e2e : 11 (400 du cas 2 en vxlan), 51 (`ip route get` d'une adresse inconnue dans la VRF → `unreachable`) ; doc (modes réseau, contraintes, notes de version). ## Critère de clôture En lab : `ip route get <adresse inconnue> vrf vrf-<vpc>` répond `unreachable` ; un subnet `vxlan` avec `default_route: true` sans `gateway` est refusé ; suite verte. ## Analyse de risque - Sans la route `unreachable`, une erreur de routage dans une VRF devient une fuite vers l'underlay (et vers Internet par la route de l'hôte), invisible depuis la configuration. - La métrique maximale garantit que toute route réelle de la VRF (EVPN, `/32` locales, futures routes vers une VM ou par défaut de #42) reste prioritaire. - Refuser le cas 2 hors `bridge` ne casse aucun usage connu ; un appelant qui l'envoyait recevait déjà une route par défaut inutilisable.
Author
Owner

Mesure en lab (2026-10-19, evpn-3hv, hv3, binaires de feature-62)

VPC routé vp-t99 (10.99.0.0/16, l3vni 9900), sans subnet ni VM. Table de la VRF juste après la création :

$ ip route show vrf vrf-t99
169.254.0.0/30 dev l3-t99-o proto kernel scope link src 169.254.0.1

Recherche d'une adresse du VPC inconnue et d'une adresse externe :

$ ip route get 10.99.5.5 vrf vrf-t99
10.99.5.5 via 192.168.14.1 dev br-000000 src 169.254.0.1
$ ip route get 8.8.8.8 vrf vrf-t99
8.8.8.8 via 192.168.14.1 dev br-000000 src 169.254.0.1

Trafic réel : 3 pings depuis le netns du VPC (ip netns exec vp-t99 ping 10.99.5.5), capture sur le bridge de l'underlay :

$ tcpdump -nni br-000000 host 10.99.5.5
IP 169.254.0.2 > 10.99.5.5: ICMP echo request, id 10316, seq 1, length 64
IP 169.254.0.2 > 10.99.5.5: ICMP echo request, id 10316, seq 2, length 64
IP 169.254.0.2 > 10.99.5.5: ICMP echo request, id 10316, seq 3, length 64

Fuite confirmée : un paquet d'un locataire qui ne trouve pas de route dans sa VRF sort par l'underlay de l'hôte, avec l'adresse de transit 169.254.0.2 pour source. Dès aujourd'hui, une adresse du CIDR d'un VPC sans subnet ni VM suffit. vp-t99 supprimé ensuite, rien ne reste (interfaces, netns, configuration FRR).

## Mesure en lab (2026-10-19, evpn-3hv, hv3, binaires de `feature-62`) VPC routé `vp-t99` (`10.99.0.0/16`, l3vni 9900), sans subnet ni VM. Table de la VRF juste après la création : ``` $ ip route show vrf vrf-t99 169.254.0.0/30 dev l3-t99-o proto kernel scope link src 169.254.0.1 ``` Recherche d'une adresse du VPC inconnue et d'une adresse externe : ``` $ ip route get 10.99.5.5 vrf vrf-t99 10.99.5.5 via 192.168.14.1 dev br-000000 src 169.254.0.1 $ ip route get 8.8.8.8 vrf vrf-t99 8.8.8.8 via 192.168.14.1 dev br-000000 src 169.254.0.1 ``` Trafic réel : 3 pings depuis le netns du VPC (`ip netns exec vp-t99 ping 10.99.5.5`), capture sur le bridge de l'underlay : ``` $ tcpdump -nni br-000000 host 10.99.5.5 IP 169.254.0.2 > 10.99.5.5: ICMP echo request, id 10316, seq 1, length 64 IP 169.254.0.2 > 10.99.5.5: ICMP echo request, id 10316, seq 2, length 64 IP 169.254.0.2 > 10.99.5.5: ICMP echo request, id 10316, seq 3, length 64 ``` **Fuite confirmée** : un paquet d'un locataire qui ne trouve pas de route dans sa VRF sort par l'underlay de l'hôte, avec l'adresse de transit `169.254.0.2` pour source. Dès aujourd'hui, une adresse du CIDR d'un VPC sans subnet ni VM suffit. `vp-t99` supprimé ensuite, rien ne reste (interfaces, netns, configuration FRR).
Author
Owner

Plan (2026-10-25), branche feature-81

Décisions complémentaires du 2026-10-25 :

  • VPC routés existants : pas de réparation au démarrage (même choix que #75). La route n'est posée qu'à la création d'un VPC ; le watchdog signale les VRF qui ne l'ont pas, la recréation du VPC les met à niveau. Documenté dans les notes de version.
  • IPv4 seulement. Une recherche IPv6 manquée dans la VRF tomberait aussi dans main, mais le netns n'envoie aujourd'hui aucun trafic IPv6 vers la VRF. À traiter avec #63.
  1. API (internal/api/agent/subnets.go) : 400 sur default_route: true sans gateway en mode vxlan (y compris mode omis) et public_ip ; le cas 3 (gateway fournie) reste permis partout. routing.go inchangé : la déduction de la passerelle de l'hôte n'est plus atteinte qu'en bridge. api/agent.yaml : description de default_route.
  2. internal/l3vni : route unreachable default metric 4278198272 dans la table de la VRF (= l3vni), posée juste après la création de la VRF pour qu'elle n'existe jamais sans ; retirée explicitement au démontage, après les interfaces — une route unreachable n'est liée à aucune interface et resterait dans la table, réutilisée par un futur VPC de même l3vni (à vérifier en lab).
    FRR : pas d'annonce EVPN de cette route — le route-map redistribute kernel de la VRF ne laisse passer que le CIDR du VPC (le 32) et refuse le reste (internal/frr/config.go).
  3. Watchdog (check_l3.go) : la route est présente dans la table de chaque VPC routé running, sinon notification.
  4. Tests : unitaires (ordre des étapes de création et de démontage, 400 en vxlan / mode omis / public_ip, bridge accepté, cas 3 accepté partout, sonde watchdog, mutation). e2e : 11 (400 du cas 2 en vxlan), 51 (ip route get d'une adresse inconnue du VPC dans la VRF → unreachable ; aucune route 0.0.0.0/0 reçue sur l'autre hôte ; table vide après démontage), 53 (route retirée à la main → alerte, puis remise).
  5. Doc : modes-reseau.rst, contraintes.rst, notes de version 0.3.0.

Hors périmètre : les subnets vxlan déjà créés avec le cas 2 gardent leur route par défaut inutilisable (notes de version, pas de migration).

## Plan (2026-10-25), branche `feature-81` Décisions complémentaires du 2026-10-25 : - **VPC routés existants : pas de réparation au démarrage** (même choix que #75). La route n'est posée qu'à la création d'un VPC ; le watchdog signale les VRF qui ne l'ont pas, la recréation du VPC les met à niveau. Documenté dans les notes de version. - **IPv4 seulement.** Une recherche IPv6 manquée dans la VRF tomberait aussi dans `main`, mais le netns n'envoie aujourd'hui aucun trafic IPv6 vers la VRF. À traiter avec #63. 1. **API** (`internal/api/agent/subnets.go`) : 400 sur `default_route: true` sans `gateway` en mode `vxlan` (y compris mode omis) et `public_ip` ; le cas 3 (`gateway` fournie) reste permis partout. `routing.go` inchangé : la déduction de la passerelle de l'hôte n'est plus atteinte qu'en `bridge`. `api/agent.yaml` : description de `default_route`. 2. **`internal/l3vni`** : route `unreachable default metric 4278198272` dans la table de la VRF (= l3vni), posée **juste après la création de la VRF** pour qu'elle n'existe jamais sans ; **retirée explicitement** au démontage, après les interfaces — une route `unreachable` n'est liée à aucune interface et resterait dans la table, réutilisée par un futur VPC de même l3vni (à vérifier en lab). FRR : pas d'annonce EVPN de cette route — le route-map `redistribute kernel` de la VRF ne laisse passer que le CIDR du VPC (`le 32`) et refuse le reste (`internal/frr/config.go`). 3. **Watchdog** (`check_l3.go`) : la route est présente dans la table de chaque VPC routé `running`, sinon notification. 4. **Tests** : unitaires (ordre des étapes de création et de démontage, 400 en `vxlan` / mode omis / `public_ip`, `bridge` accepté, cas 3 accepté partout, sonde watchdog, mutation). e2e : 11 (400 du cas 2 en `vxlan`), 51 (`ip route get` d'une adresse inconnue du VPC dans la VRF → `unreachable` ; aucune route `0.0.0.0/0` reçue sur l'autre hôte ; table vide après démontage), 53 (route retirée à la main → alerte, puis remise). 5. **Doc** : `modes-reseau.rst`, `contraintes.rst`, notes de version 0.3.0. Hors périmètre : les subnets `vxlan` déjà créés avec le cas 2 gardent leur route par défaut inutilisable (notes de version, pas de migration).
Author
Owner

Lab du 2026-10-25 (evpn-3hv, binaires de feature-81 + #84 + #79, release 0.2.0 en dessous)

Suite complète : 1 052 vérifications réussies, 3 connues (#76). Pour #81 :

  • 11-validation 48/48 : default_route: true sans gateway refusé en 400, en vxlan et mode omis.
  • 51-l3vni 62/62 (après correction du texte attendu, voir plus bas) : unreachable default metric 4278198272 dans la table de la VRF ; aucune RT-5 0.0.0.0/0 reçue sur rr1 ; ping de la VM vers une adresse inconnue du VPC refusé par la VRF (From 169.254.0.1 … Unreachable), rien vers l'underlay ; table de la VRF vide après démontage du VPC.
  • 53-watchdog-l3 30/30 : route retirée à la main → no unreachable default in vrf-t53 signalé, puis rétablie.

Mesure (hv1, iproute2 6.1, VPC jetable vp-t95 l3vni 9500) :

$ ip -4 route show table 9500
unreachable default metric 4278198272
169.254.0.0/30 dev l3-t95-o proto kernel scope link src 169.254.0.1
$ ip -4 route get 10.95.5.5 vrf vrf-t95
RTNETLINK answers: No route to host
$ ip -4 route get 8.8.8.8 vrf vrf-t95
RTNETLINK answers: No route to host

Avant #81 (commentaire 1162), les mêmes commandes répondaient via 192.168.14.1 dev br-000000. Après suppression du VPC, la table 9500 est vide : la route est bien retirée explicitement.

Le premier passage de 51 avait 2 échecs : le test attendait Network is unreachable, alors qu'une route unreachable donne No route to host. Texte attendu corrigé, 51 rejoué vert ; la correction sera repliée dans le commit e2e de la branche.

## Lab du 2026-10-25 (evpn-3hv, binaires de `feature-81` + #84 + #79, release 0.2.0 en dessous) Suite complète : 1 052 vérifications réussies, 3 connues (#76). Pour #81 : - **11-validation** 48/48 : `default_route: true` sans `gateway` refusé en 400, en `vxlan` et mode omis. - **51-l3vni** 62/62 (après correction du texte attendu, voir plus bas) : `unreachable default metric 4278198272` dans la table de la VRF ; aucune RT-5 `0.0.0.0/0` reçue sur rr1 ; ping de la VM vers une adresse inconnue du VPC refusé par la VRF (`From 169.254.0.1 … Unreachable`), rien vers l'underlay ; table de la VRF vide après démontage du VPC. - **53-watchdog-l3** 30/30 : route retirée à la main → `no unreachable default in vrf-t53` signalé, puis rétablie. Mesure (hv1, iproute2 6.1, VPC jetable `vp-t95` l3vni 9500) : ``` $ ip -4 route show table 9500 unreachable default metric 4278198272 169.254.0.0/30 dev l3-t95-o proto kernel scope link src 169.254.0.1 $ ip -4 route get 10.95.5.5 vrf vrf-t95 RTNETLINK answers: No route to host $ ip -4 route get 8.8.8.8 vrf vrf-t95 RTNETLINK answers: No route to host ``` Avant #81 (commentaire 1162), les mêmes commandes répondaient `via 192.168.14.1 dev br-000000`. Après suppression du VPC, la table 9500 est vide : la route est bien retirée explicitement. Le premier passage de 51 avait 2 échecs : le test attendait `Network is unreachable`, alors qu'une route `unreachable` donne `No route to host`. Texte attendu corrigé, 51 rejoué vert ; la correction sera repliée dans le commit e2e de la branche.
Author
Owner

Fusionné dans main (7672445), validé en lab le 2026-10-25 (voir plus haut). Fermeture.

Fusionné dans main (`7672445`), validé en lab le 2026-10-25 (voir plus haut). Fermeture.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#81
No description provided.