implementer la gestion des ip public... #31

Closed
opened 2026-05-23 20:46:57 +00:00 by nicolas.boufideline · 10 comments

Synthèse — architecture réseau opérateur de VMs

Le design retenu

Un plan underlay hiérarchique en eBGP, et un plan overlay EVPN-VXLAN en iBGP, indépendants l'un de l'autre.

L'espace public est ancré aux routeurs de bordure, qui en sont la gateway. Chaque subnet public est un VNI L2 étendu jusqu'aux hosts, y compris entre DC — ce qui permet à n'importe quelle VM d'obtenir n'importe quelle IP du pool, où qu'elle tourne. C'est le besoin structurant que tu as confirmé comme non négociable.

Plan d'ASN :

Élément ASN global Sessions
Bordures AS public eBGP transit natif, local-as overlay vers les RR
Backbone privé, un par DC eBGP underlay
Cluster privé, un par cluster/DC eBGP underlay, local-as overlay vers les RR (VTEP)
Hosts — iBGP overlay
RR ASN overlay iBGP, clients = hosts, bordures, clusters

Le sens du local-as compte : ASN global = ASN public sur les bordures, artifice sur les sessions internes. Les sessions exposées à Internet restent natives, donc AS_PATH, ROA et objets IRR cohérents sans manipulation. À valider en lab que local-as produit bien une session iBGP sur tes versions exactes — certaines plateformes déterminent le type de session avant d'appliquer local-as, ce qui casserait la préservation du next-hop et donc l'EVPN.

Ce qui a été tranché en chemin

Ta question initiale — trop de routes ? Non, et structurellement pas. Les subnets publics ne remontent pas vers la bordure, ils sont dessus : vers Internet, seuls les agrégats sortent. Découper un /19 en /24 ou en /28 ne change rien au routage. Ce qui scale, c'est le nombre de VMs (une type-2 MAC + une MAC/IP + une entrée ARP par VM), pas le nombre de subnets.

Keepalived → gateway anycast. Même IP et même MAC de bridge sur les deux bordures, avec advertise-default-gw. Tu évites le trombonnement de bascule, le MAC mobility à chaque événement, et surtout le risque qu'une VM cliente émette du VRRP en priorité 255 et devienne la gateway du subnet. La sélection du VTEP côté host est déterministe, donc sans ESI tu auras probablement une seule bordure utilisée — bascule propre, mais pas de répartition. À vérifier avec bridge fdb show.

iBGP + RR plutôt qu'eBGP pour l'EVPN. Ta config précédente était déjà en iBGP (remote-as = ASN local). L'eBGP pour l'EVPN reste faisable mais expose deux pièges silencieux : les route targets auto-dérivés en AS:VNI qui ne concordent plus quand les ASN diffèrent, et le next-hop qui doit rester celui du VTEP d'origine.

RR : deux VIP Pacemaker sur deux groupes de trois. Ton montage corrigé répond à l'objection — aucun événement unique ne casse les deux sessions. Je reste convaincu que six loopbacks fixes seraient plus simples (pas de fencing, pas de split-brain, pas d'ordonnancement VIP/FRR, et les six nœuds vérifiés en continu), mais c'est viable si le fencing est réel et testé, les groupes séparés physiquement, et l'ordre VIP→FRR explicite ou ip_nonlocal_bind posé.

Multi-DC. eBGP entre DC pour l'underlay, mais l'overlay reste un domaine iBGP unique traversant tous les DC. Conséquence contre-intuitive à documenter : on lit un ASN par DC et on en déduit que les DC sont isolés — c'est vrai pour l'underlay, faux pour l'EVPN.

Les points opérationnels à ne pas rater

  • gc_thresh1/2/3 remontés sur les gateways, sinon pertes ARP intermittentes sans trace dans les logs
  • ttl 64 sur les interfaces VXLAN — l'underlay fait trois sauts
  • MTU underlay ≥ 1600, idéalement 9000
  • rp_filter=0, l'asymétrie entrée/sortie est la norme
  • nolearning + neigh_suppress on : le plan de contrôle EVPN est la seule source de vérité MAC
  • Route blackhole vers l'agrégat, pour ne jamais faire flapper l'annonce Internet
  • route-map en deny par défaut sur les sessions transit, plus maximum-prefix

Les risques ouverts

Aucune fonction à état sur les bordures. Le chemin retour est indépendant du chemin aller, une bordure ne voit qu'une moitié de chaque flux. Pas de NAT, pas de firewall stateful, pas de conntrack. Si tu en as besoin, ça vit sur l'hyperviseur.

Isolation intra-subnet public. Un /24 public est un domaine de broadcast partagé entre clients différents : ARP spoofing et interception entre voisins. Il faut qu'une VM ne puisse joindre que la MAC de la gateway — ARP suppression sur le VTEP hyperviseur plus binding MAC/IP par port virtuel. À concevoir maintenant, le rétrofit sur un plan public en production est douloureux.

BCP38 au port virtuel. La bordure ne peut pas distinguer une VM qui usurpe l'IP d'une autre dans le même VNI. L'anti-spoofing n'a de valeur qu'à l'hyperviseur, sur le couple MAC/IP alloué.

maximum-prefix sur les sessions clients des RR. Un host qui part en boucle et injecte des type-2 en masse sature les deux RR actifs simultanément et emporte l'overlay des deux DC. Aucune redondance de RR ne protège de ça. C'est le scénario que je testerais en priorité.

Domaine de défaillance L2 inter-DC. Tu l'as accepté explicitement, mais il doit figurer dans le dossier d'architecture comme un risque assumé et non comme un oubli.

Risques repérés

  • infrastructure exposée à Internet ;
  • domaine de défaillance L2 étendu à plusieurs DC ;
  • plan de contrôle EVPN global sans frontière de DC ;
  • isolation inter-clients sur subnet public partagé ;
  • anti-spoofing impossible en bordure ;
  • RR sur cluster Pacemaker, avec risque de split-brain ;
  • filtrage BGP transit : une erreur transforme l'AS en transit ouvert.

À valider en lab avant toute mise en service : local-as/iBGP, comportement de la gateway anycast
et fencing Pacemaker sur les versions exactes ; revue du plan d'adressage, de la politique de
filtrage BGP et de l'isolation entre clients.

# Synthèse — architecture réseau opérateur de VMs ## Le design retenu Un plan **underlay** hiérarchique en eBGP, et un plan **overlay** EVPN-VXLAN en iBGP, indépendants l'un de l'autre. L'espace public est ancré aux routeurs de bordure, qui en sont la gateway. Chaque subnet public est un VNI L2 étendu jusqu'aux hosts, y compris entre DC — ce qui permet à n'importe quelle VM d'obtenir n'importe quelle IP du pool, où qu'elle tourne. C'est le besoin structurant que tu as confirmé comme non négociable. **Plan d'ASN :** | Élément | ASN global | Sessions | |---|---|---| | Bordures | AS public | eBGP transit natif, `local-as` overlay vers les RR | | Backbone | privé, un par DC | eBGP underlay | | Cluster | privé, un par cluster/DC | eBGP underlay, `local-as` overlay vers les RR (VTEP) | | Hosts | — | iBGP overlay | | RR | ASN overlay | iBGP, clients = hosts, bordures, clusters | Le sens du `local-as` compte : ASN global = ASN public sur les bordures, artifice sur les sessions internes. Les sessions exposées à Internet restent natives, donc AS_PATH, ROA et objets IRR cohérents sans manipulation. À valider en lab que `local-as` produit bien une session iBGP sur tes versions exactes — certaines plateformes déterminent le type de session avant d'appliquer `local-as`, ce qui casserait la préservation du next-hop et donc l'EVPN. ## Ce qui a été tranché en chemin **Ta question initiale — trop de routes ?** Non, et structurellement pas. Les subnets publics ne remontent pas vers la bordure, ils sont dessus : vers Internet, seuls les agrégats sortent. Découper un /19 en /24 ou en /28 ne change rien au routage. Ce qui scale, c'est le nombre de VMs (une type-2 MAC + une MAC/IP + une entrée ARP par VM), pas le nombre de subnets. **Keepalived → gateway anycast.** Même IP et même MAC de bridge sur les deux bordures, avec `advertise-default-gw`. Tu évites le trombonnement de bascule, le MAC mobility à chaque événement, et surtout le risque qu'une VM cliente émette du VRRP en priorité 255 et devienne la gateway du subnet. La sélection du VTEP côté host est déterministe, donc sans ESI tu auras probablement une seule bordure utilisée — bascule propre, mais pas de répartition. À vérifier avec `bridge fdb show`. **iBGP + RR plutôt qu'eBGP pour l'EVPN.** Ta config précédente était déjà en iBGP (`remote-as` = ASN local). L'eBGP pour l'EVPN reste faisable mais expose deux pièges silencieux : les route targets auto-dérivés en `AS:VNI` qui ne concordent plus quand les ASN diffèrent, et le next-hop qui doit rester celui du VTEP d'origine. **RR : deux VIP Pacemaker sur deux groupes de trois.** Ton montage corrigé répond à l'objection — aucun événement unique ne casse les deux sessions. Je reste convaincu que six loopbacks fixes seraient plus simples (pas de fencing, pas de split-brain, pas d'ordonnancement VIP/FRR, et les six nœuds vérifiés en continu), mais c'est viable si le fencing est réel et testé, les groupes séparés physiquement, et l'ordre VIP→FRR explicite ou `ip_nonlocal_bind` posé. **Multi-DC.** eBGP entre DC pour l'underlay, mais l'overlay reste un domaine iBGP unique traversant tous les DC. Conséquence contre-intuitive à documenter : on lit un ASN par DC et on en déduit que les DC sont isolés — c'est vrai pour l'underlay, faux pour l'EVPN. ## Les points opérationnels à ne pas rater - `gc_thresh1/2/3` remontés sur les gateways, sinon pertes ARP intermittentes sans trace dans les logs - `ttl 64` sur les interfaces VXLAN — l'underlay fait trois sauts - MTU underlay ≥ 1600, idéalement 9000 - `rp_filter=0`, l'asymétrie entrée/sortie est la norme - `nolearning` + `neigh_suppress on` : le plan de contrôle EVPN est la seule source de vérité MAC - Route `blackhole` vers l'agrégat, pour ne jamais faire flapper l'annonce Internet - `route-map` en deny par défaut sur les sessions transit, plus `maximum-prefix` ## Les risques ouverts **Aucune fonction à état sur les bordures.** Le chemin retour est indépendant du chemin aller, une bordure ne voit qu'une moitié de chaque flux. Pas de NAT, pas de firewall stateful, pas de conntrack. Si tu en as besoin, ça vit sur l'hyperviseur. **Isolation intra-subnet public.** Un /24 public est un domaine de broadcast partagé entre clients différents : ARP spoofing et interception entre voisins. Il faut qu'une VM ne puisse joindre que la MAC de la gateway — ARP suppression sur le VTEP hyperviseur plus binding MAC/IP par port virtuel. À concevoir maintenant, le rétrofit sur un plan public en production est douloureux. **BCP38 au port virtuel.** La bordure ne peut pas distinguer une VM qui usurpe l'IP d'une autre dans le même VNI. L'anti-spoofing n'a de valeur qu'à l'hyperviseur, sur le couple MAC/IP alloué. **`maximum-prefix` sur les sessions clients des RR.** Un host qui part en boucle et injecte des type-2 en masse sature les deux RR actifs simultanément et emporte l'overlay des deux DC. Aucune redondance de RR ne protège de ça. C'est le scénario que je testerais en priorité. **Domaine de défaillance L2 inter-DC.** Tu l'as accepté explicitement, mais il doit figurer dans le dossier d'architecture comme un risque assumé et non comme un oubli. **Risques repérés** - infrastructure exposée à Internet ; - domaine de défaillance L2 étendu à plusieurs DC ; - plan de contrôle EVPN global sans frontière de DC ; - isolation inter-clients sur subnet public partagé ; - anti-spoofing impossible en bordure ; - RR sur cluster Pacemaker, avec risque de split-brain ; - filtrage BGP transit : une erreur transforme l'AS en transit ouvert. À valider en lab avant toute mise en service : `local-as`/iBGP, comportement de la gateway anycast et fencing Pacemaker sur les versions exactes ; revue du plan d'adressage, de la politique de filtrage BGP et de l'isolation entre clients.
Author
Owner

Une première brique a été posée pendant le travail sur #34, côté DHCP et API uniquement. Rien de l'architecture décrite ici n'est entamé ; il s'agit seulement de rendre le routage exprimable.

Ce qui existe déjà

  • Champ gateway optionnel sur POST /subnets, stocké en subnet/<name>/gateway, exposé dans la réponse. Non validé par l'agent : joignabilité et cohérence avec le CIDR relèvent de l'appelant.
  • default_route change de sens : une route par défaut est désormais toujours annoncée, et ce drapeau ne choisit que son next-hop — interface_ip par défaut, sinon la gateway fournie ou celle déduite de l'host.
  • La route vers le CIDR du VPC garde interface_ip comme next-hop dans tous les modes sauf bridge. C'est la contrainte structurante pour les IP publiques : le trafic vers les plages internes ne doit jamais sortir par la gateway publique.
  • Mode public_ip accepté par l'API et par la sélection des routes DHCP. La mise en place réseau côté host n'existe pas : créer un tel subnet échoue explicitement sur host network setup is not implemented yet, plutôt que de laisser une ressource à moitié configurée.
  • La logique de routage est isolée dans une fonction pure (dhcpRouting), testée pour les quatre combinaisons mode × default_route × gateway, y compris public_ip.

Reste entièrement à faire : veth, adressage, NAT, et tout le plan underlay/overlay décrit dans ce ticket.

Une première brique a été posée pendant le travail sur #34, côté DHCP et API uniquement. Rien de l'architecture décrite ici n'est entamé ; il s'agit seulement de rendre le routage exprimable. **Ce qui existe déjà** - Champ `gateway` optionnel sur `POST /subnets`, stocké en `subnet/<name>/gateway`, exposé dans la réponse. Non validé par l'agent : joignabilité et cohérence avec le CIDR relèvent de l'appelant. - `default_route` change de sens : une route par défaut est désormais **toujours** annoncée, et ce drapeau ne choisit que son next-hop — `interface_ip` par défaut, sinon la `gateway` fournie ou celle déduite de l'host. - **La route vers le CIDR du VPC garde `interface_ip` comme next-hop dans tous les modes sauf `bridge`.** C'est la contrainte structurante pour les IP publiques : le trafic vers les plages internes ne doit jamais sortir par la gateway publique. - Mode `public_ip` accepté par l'API et par la sélection des routes DHCP. **La mise en place réseau côté host n'existe pas** : créer un tel subnet échoue explicitement sur `host network setup is not implemented yet`, plutôt que de laisser une ressource à moitié configurée. - La logique de routage est isolée dans une fonction pure (`dhcpRouting`), testée pour les quatre combinaisons mode × `default_route` × `gateway`, y compris `public_ip`. **Reste entièrement à faire** : veth, adressage, NAT, et tout le plan underlay/overlay décrit dans ce ticket.
Author
Owner

top

top
Author
Owner

Vérification en lab #50 — 2026-10-04

La vérification restante du champ gateway (prévue à la main sur lab3) est faite sur le lab
multi-nœud de #50, scénario s2-gateway, release 0.2.0rc003, guests Debian 12
(systemd-networkd) :

Subnet Route par défaut Route vers le CIDR du VPC /32 vers les métadonnées
sans default_route via interface_ip via interface_ip via interface_ip
default_route: true, gateway fournie via la gateway via interface_ip (pas via la gateway) via interface_ip
sans default_route, après suppression et recréation du subnet via interface_ip via interface_ip via interface_ip

22 vérifications sur 22. Le mode public_ip lui-même n'est pas testé : sa mise en place côté hôte
n'existe pas encore (cf. commentaire précédent).

## Vérification en lab #50 — 2026-10-04 La vérification restante du champ `gateway` (prévue à la main sur lab3) est faite sur le lab multi-nœud de #50, scénario `s2-gateway`, release `0.2.0rc003`, guests Debian 12 (systemd-networkd) : | Subnet | Route par défaut | Route vers le CIDR du VPC | `/32` vers les métadonnées | |---|---|---|---| | sans `default_route` | via `interface_ip` | via `interface_ip` | via `interface_ip` | | `default_route: true`, `gateway` fournie | **via la `gateway`** | via `interface_ip` (pas via la gateway) | via `interface_ip` | | sans `default_route`, après suppression et recréation du subnet | via `interface_ip` | via `interface_ip` | via `interface_ip` | 22 vérifications sur 22. Le mode `public_ip` lui-même n'est pas testé : sa mise en place côté hôte n'existe pas encore (cf. commentaire précédent).
Author
Owner

Décision du 2026-10-17 : IP publiques des VM, deux modes

Contexte (schéma d'architecture d'ensemble, en cours) :

  • les routeurs de bordure partagent avec les hyperviseurs un VXLAN public (VNI 66001) et portent tous la même IP et la même MAC de gateway ;
  • ils restent sans état, comme décrit ci-dessus.

1. VM qui porte l'IP publique : subnet public

Une VM qui veut une IP publique dans la VM reçoit une NIC sur un subnet « public » ajouté à son VPC. Ce subnet est relié à un subnet public hors VPC, commun à tout l'hyperviseur, qui est sur le VTEP public (VNI 66001). La gateway de ce subnet est la gateway anycast des bordures.

2. IP flottante : NAT 1:1 sur l'hyperviseur de la VM

Pour une VM qui doit être joignable sans porter l'IP publique :

  • la VM garde son adresse privée ;
  • l'hyperviseur qui l'héberge traduit l'IP publique ↔ l'adresse privée (NAT 1:1, sans état, sans suivi de connexions) et répond à l'ARP pour l'IP publique sur le VNI 66001 ;
  • quand la VM change d'hôte, le nouvel hôte reprend l'IP (ARP gratuit, puis EVPN de type 2 vers les bordures) ;
  • l'IP peut être attachée et détachée.

Pour : la VM ignore son IP publique, et l'IP suit la VM.

Contre : une IP publique par VM qui en veut une ; annonce de l'IP publique par l'hyperviseur (ARP, EVPN) à qualifier en lab.

La sortie Internet des VM sans IP publique (passerelle NAT par VPC) est décrite sur #42.

## Décision du 2026-10-17 : IP publiques des VM, deux modes Contexte (schéma d'architecture d'ensemble, en cours) : - les **routeurs de bordure** partagent avec les hyperviseurs un VXLAN public (**VNI 66001**) et portent tous **la même IP et la même MAC de gateway** ; - ils restent sans état, comme décrit ci-dessus. ### 1. VM qui porte l'IP publique : subnet public Une VM qui veut une IP publique **dans** la VM reçoit une NIC sur un **subnet « public » ajouté à son VPC**. Ce subnet est relié à un **subnet public hors VPC, commun à tout l'hyperviseur**, qui est sur le VTEP public (VNI 66001). La gateway de ce subnet est la gateway anycast des bordures. ### 2. IP flottante : NAT 1:1 sur l'hyperviseur de la VM Pour une VM qui doit être joignable sans porter l'IP publique : - la VM garde son adresse privée ; - **l'hyperviseur qui l'héberge** traduit l'IP publique ↔ l'adresse privée (NAT 1:1, **sans état**, sans suivi de connexions) et répond à l'ARP pour l'IP publique sur le VNI 66001 ; - quand la VM change d'hôte, le nouvel hôte reprend l'IP (ARP gratuit, puis EVPN de type 2 vers les bordures) ; - l'IP peut être attachée et détachée. **Pour :** la VM ignore son IP publique, et l'IP suit la VM. **Contre :** une IP publique par VM qui en veut une ; annonce de l'IP publique par l'hyperviseur (ARP, EVPN) à qualifier en lab. La sortie Internet des VM **sans** IP publique (passerelle NAT par VPC) est décrite sur #42.
Author
Owner

Hypothèse (2026-10-20) — subnet public routé par adresse, mobilité des IP publiques

Ce n'est qu'une hypothèse de travail, rien n'est décidé. Si elle change, mettre à jour #63 (IPv6), qui en reprend la partie IPv6.

Contrainte

Une VM à IP publique doit garder son IP quand elle change d'hôte, de cluster ou de zone. Un préfixe par cluster est donc exclu : l'adresse changerait avec le cluster.

Hypothèse

  • Un seul subnet public pour tout l'orchestrateur : une plage IPv4 publique et un seul /64 IPv6 (pris dans le /48, qui contient 65 536 /64 ; un seul suffit largement en capacité).
  • Routé par adresse, pas étendu en L2 : chaque VM publique est annoncée en route d'hôte (/32 IPv4, /128 IPv6) en EVPN type 5, dans une VRF publique, depuis l'hôte qui la porte — même mécanisme que les /32 des VPC en L3VNI (#41), dont 52-migration valide le déplacement.
  • Gateway anycast sur chaque hôte (même adresse et même MAC partout, comme la gateway anycast des subnets vxlan, #57) : la VM parle toujours à sa gateway locale.
  • Pas de domaine L2 entre clusters ni zones : seules des routes d'hôte circulent.
  • En bordure : le /48 (et la plage IPv4) annoncé en agrégat ; à l'intérieur, chaque route d'hôte indique la position réelle de la VM.
  • IPv4 public : la VM ne doit pas chercher ses voisins du subnet en L2 — par exemple adresse en /32 avec route classless vers la gateway, ou proxy ARP sur la gateway. À trancher.
  • IPv6 public : RA avec le préfixe en A=1 (SLAAC, adresse EUI-64) et L=0 (préfixe non sur le lien) : la VM envoie tout à sa gateway, même vers une autre VM du /64.
  • MAC : pool unique pour toute l'infra (préfixe proposé 02:12, #71) ; l'adresse IPv6 = /64 + EUI-64 de la MAC, donc stable quand la VM bouge.
  • Contrôle de sortie : politique dans la VRF publique, en bordure, et au port de la VM (contrôle « la VM n'émet que son propre trafic », #63), pas une conséquence du routage.

Point de vigilance

Avec EUI-64, un préfixe de MAC connu et une allocation croissante des MAC, les adresses IPv6 publiques sont faciles à énumérer (32 bits variables au plus, et les premières valeurs du compteur d'abord). Ce n'est pas pire qu'en IPv4 public ; la protection reste le filtrage. Un tirage aléatoire dans le pool l'éviterait.

## Hypothèse (2026-10-20) — subnet public routé par adresse, mobilité des IP publiques > **Ce n'est qu'une hypothèse de travail, rien n'est décidé.** Si elle change, **mettre à jour #63** (IPv6), qui en reprend la partie IPv6. ### Contrainte Une VM à IP publique doit **garder son IP** quand elle change d'hôte, de cluster ou de zone. Un préfixe par cluster est donc exclu : l'adresse changerait avec le cluster. ### Hypothèse - **Un seul subnet public pour tout l'orchestrateur** : une plage IPv4 publique et un seul /64 IPv6 (pris dans le /48, qui contient 65 536 /64 ; un seul suffit largement en capacité). - **Routé par adresse, pas étendu en L2** : chaque VM publique est annoncée en route d'hôte (`/32` IPv4, `/128` IPv6) en EVPN type 5, dans une **VRF publique**, depuis l'hôte qui la porte — même mécanisme que les `/32` des VPC en L3VNI (#41), dont `52-migration` valide le déplacement. - **Gateway anycast sur chaque hôte** (même adresse et même MAC partout, comme la gateway anycast des subnets `vxlan`, #57) : la VM parle toujours à sa gateway locale. - Pas de domaine L2 entre clusters ni zones : seules des routes d'hôte circulent. - En bordure : le /48 (et la plage IPv4) annoncé en agrégat ; à l'intérieur, chaque route d'hôte indique la position réelle de la VM. - **IPv4 public** : la VM ne doit pas chercher ses voisins du subnet en L2 — par exemple adresse en `/32` avec route classless vers la gateway, ou proxy ARP sur la gateway. À trancher. - **IPv6 public** : RA avec le préfixe en **A=1** (SLAAC, adresse EUI-64) et **L=0** (préfixe non sur le lien) : la VM envoie tout à sa gateway, même vers une autre VM du /64. - **MAC** : pool unique pour toute l'infra (préfixe proposé `02:12`, #71) ; l'adresse IPv6 = /64 + EUI-64 de la MAC, donc stable quand la VM bouge. - **Contrôle de sortie** : politique dans la VRF publique, en bordure, et au port de la VM (contrôle « la VM n'émet que son propre trafic », #63), pas une conséquence du routage. ### Point de vigilance Avec EUI-64, un préfixe de MAC connu et une allocation croissante des MAC, les adresses IPv6 publiques sont faciles à énumérer (32 bits variables au plus, et les premières valeurs du compteur d'abord). Ce n'est pas pire qu'en IPv4 public ; la protection reste le filtrage. Un tirage aléatoire dans le pool l'éviterait.
Author
Owner

Décision (2026-10-25) : L2 pour toutes les IP publiques, hypothèse routée écartée

L'hypothèse du 2026-10-20 (commentaire 1199 : un subnet public routé par adresse, des routes d'hôte en type 5, une gateway anycast sur chaque hôte) est écartée. Elle reviendrait à router chaque VM publique, ce que ce modèle ne veut pas.

Le modèle du 2026-10-17 (commentaire 1133) reste la référence, en L2 sur le VNI 66001 partagé entre bordures et hyperviseurs, avec la gateway anycast sur les bordures :

  • VM qui porte son IP : NIC sur le subnet public du VPC, relié au subnet public de l'hôte ;
  • VM en NAT : IP flottante en NAT 1:1 sur l'hôte de la VM, et passerelle NAT du VPC (#42). Les deux répondent à l'ARP sur le VNI 66001.

Conséquences :

  • le domaine de défaillance L2 entre DC reste un risque assumé (cf. corps du ticket) ;
  • des locataires différents partagent le domaine de broadcast du subnet public : le filtrage MAC/IP au port de la VM (#76, #61) est un prérequis du mode « VM qui porte son IP » ;
  • la partie IPv6 publique de #63 (commentaire 1204) est à reprendre dans ce modèle.
## Décision (2026-10-25) : L2 pour toutes les IP publiques, hypothèse routée écartée L'hypothèse du 2026-10-20 (commentaire 1199 : un subnet public routé par adresse, des routes d'hôte en type 5, une gateway anycast sur chaque hôte) est **écartée**. Elle reviendrait à router chaque VM publique, ce que ce modèle ne veut pas. Le modèle du 2026-10-17 (commentaire 1133) reste la référence, en L2 sur le VNI 66001 partagé entre bordures et hyperviseurs, avec la gateway anycast sur les bordures : - **VM qui porte son IP** : NIC sur le subnet public du VPC, relié au subnet public de l'hôte ; - **VM en NAT** : IP flottante en NAT 1:1 sur l'hôte de la VM, et passerelle NAT du VPC (#42). Les deux répondent à l'ARP sur le VNI 66001. Conséquences : - le domaine de défaillance L2 entre DC reste un **risque assumé** (cf. corps du ticket) ; - des locataires différents partagent le domaine de broadcast du subnet public : le filtrage MAC/IP au port de la VM (#76, #61) est un **prérequis** du mode « VM qui porte son IP » ; - la partie IPv6 publique de #63 (commentaire 1204) est à reprendre dans ce modèle.
Author
Owner

Décision (2026-10-25) : segment public de l'hôte, côté infrastructure

Le VNI 66001 relève de l'infrastructure, pas de l'agent.

  • deploy.sh accroche le VXLAN 66001 au bridge br-public qu'il crée déjà (vide, sans adresse, scripts/bootstrap_kvm.sh:80), avec l'adresse VTEP locale. FRR l'annonce de lui-même (advertise-all-vni).
  • agent.yml : le bridge public est celui de la clé existante interfaces.internet, qui vaut br-public par défaut (comme l'option --pub_bridge de deploy.sh). Le subnet public_ip, l'IP flottante et la passerelle NAT s'y raccordent toujours, et aucune requête ne le désigne. Contrairement à un iface_type inconnu, l'absence de cette clé ne doit pas se replier sur default_interface (br-000000, l'underlay). L'exemple conf/agent/config.exemple.yml, qui met aujourd'hui internet: br-000000, est à corriger.
  • L'agent ignore la VNI, les plages publiques et la gateway des bordures. Chaque ordre de l'orchestrateur porte l'adresse, le préfixe et la gateway dont il a besoin, sans aucune vérification par l'agent.
  • Plusieurs plages (plusieurs /24, ou plus larges) cohabitent dans le VNI 66001.
  • br-public reste sans adresse, dans l'espace réseau de l'hôte.
## Décision (2026-10-25) : segment public de l'hôte, côté infrastructure Le VNI 66001 relève de l'infrastructure, pas de l'agent. - **`deploy.sh`** accroche le VXLAN 66001 au bridge `br-public` qu'il crée déjà (vide, sans adresse, `scripts/bootstrap_kvm.sh:80`), avec l'adresse VTEP locale. FRR l'annonce de lui-même (`advertise-all-vni`). - **`agent.yml`** : le bridge public est celui de la clé existante **`interfaces.internet`**, qui vaut `br-public` par défaut (comme l'option `--pub_bridge` de `deploy.sh`). Le subnet `public_ip`, l'IP flottante et la passerelle NAT s'y raccordent toujours, et aucune requête ne le désigne. Contrairement à un `iface_type` inconnu, l'absence de cette clé ne doit **pas** se replier sur `default_interface` (`br-000000`, l'underlay). L'exemple `conf/agent/config.exemple.yml`, qui met aujourd'hui `internet: br-000000`, est à corriger. - **L'agent ignore** la VNI, les plages publiques et la gateway des bordures. Chaque ordre de l'orchestrateur porte l'adresse, le préfixe et la gateway dont il a besoin, sans aucune vérification par l'agent. - Plusieurs plages (plusieurs /24, ou plus larges) cohabitent dans le VNI 66001. - `br-public` reste sans adresse, dans l'espace réseau de l'hôte.
Author
Owner

Décision (2026-10-25) : API du subnet public et des IP flottantes

Subnet public : mode public_ip

POST /subnets
{ "name": "pub-42", "vpc": "vp-42", "mode": "public_ip",
  "cidr": "203.0.113.0/24", "interface_ip": "203.0.113.254",
  "default_route": true, "gateway": "203.0.113.1" }
  • Le subnet se raccorde comme un subnet bridge, mais toujours au bridge public (interfaces.internet) : un bridge dans le netns du VPC porte l'interface_ip, et un veth le relie au bridge public. iface_type est ignoré, comme pour vxlan. C'est ce raccordement fixe, avec le filtrage au port, qui distingue public_ip de bridge.
  • Plusieurs subnets publics, de plusieurs VPC et de plusieurs plages, partagent le même bridge public, chacun avec son veth.
  • Le mode ajoute au bridge la route par défaut vers la gateway fournie (cas 3 de #81), et le filtrage MAC/IP au port de la VM (#76, #61), prérequis du mode.
  • La même interface_ip existe sur plusieurs hôtes. Les règles ebtables du mode bridge la confinent à l'hôte local (l'ARP et le DHCP émis depuis cette adresse ne sortent pas du netns). Deux VPC pourraient réutiliser la même interface_ip dans une même plage : à vérifier en lab.
  • Un VPC qui a des VM dans deux plages publiques a deux subnets public_ip.
  • L'interface_ip est aussi l'adresse DNS et NTP annoncée (#86).

IP flottante : ressource /floating-ips

POST /floating-ips
{ "name": "fip-7", "vm": "vm-7", "interface": 0,
  "ip": "203.0.113.20/24", "gateway": "203.0.113.1" }
  • Elle se crée sur l'hôte de la VM. C'est un NAT 1:1 sans état entre l'IP publique et l'adresse privée de l'interface visée. L'hôte répond à l'ARP pour l'IP publique sur le bridge public.
  • Elle s'attache et se détache sans toucher à la VM. Ce n'est pas un champ de VMInterface, ce qui imposerait de recréer la VM à chaque changement.
  • Quand la VM migre, l'orchestrateur la supprime sur l'ancien hôte et la recrée sur le nouveau : ARP gratuit, puis mobilité MAC d'EVPN.

Allocation

L'orchestrateur choisit les IP publiques (twoctl avant lui, #71), comme les MAC. L'agent ne vérifie ni leur appartenance à une plage ni leur unicité.

Implémentation, non décidée

L'adresse publique d'une IP flottante est portée par un veth accroché au bridge public, depuis le netns du VPC.

## Décision (2026-10-25) : API du subnet public et des IP flottantes ### Subnet public : mode `public_ip` ```json POST /subnets { "name": "pub-42", "vpc": "vp-42", "mode": "public_ip", "cidr": "203.0.113.0/24", "interface_ip": "203.0.113.254", "default_route": true, "gateway": "203.0.113.1" } ``` - Le subnet se raccorde comme un subnet `bridge`, mais **toujours au bridge public** (`interfaces.internet`) : un bridge dans le netns du VPC porte l'`interface_ip`, et un veth le relie au bridge public. `iface_type` est ignoré, comme pour `vxlan`. C'est ce raccordement fixe, avec le filtrage au port, qui distingue `public_ip` de `bridge`. - Plusieurs subnets publics, de plusieurs VPC et de plusieurs plages, partagent le même bridge public, chacun avec son veth. - Le mode ajoute au `bridge` la route par défaut vers la `gateway` fournie (cas 3 de #81), et le **filtrage MAC/IP au port de la VM** (#76, #61), prérequis du mode. - La même `interface_ip` existe sur plusieurs hôtes. Les règles ebtables du mode `bridge` la confinent à l'hôte local (l'ARP et le DHCP émis depuis cette adresse ne sortent pas du netns). Deux VPC pourraient réutiliser la même `interface_ip` dans une même plage : **à vérifier en lab**. - Un VPC qui a des VM dans deux plages publiques a deux subnets `public_ip`. - L'`interface_ip` est aussi l'adresse DNS et NTP annoncée (#86). ### IP flottante : ressource `/floating-ips` ```json POST /floating-ips { "name": "fip-7", "vm": "vm-7", "interface": 0, "ip": "203.0.113.20/24", "gateway": "203.0.113.1" } ``` - Elle se crée sur l'hôte de la VM. C'est un NAT 1:1 sans état entre l'IP publique et l'adresse privée de l'interface visée. L'hôte répond à l'ARP pour l'IP publique sur le bridge public. - Elle s'attache et se détache sans toucher à la VM. Ce n'est pas un champ de `VMInterface`, ce qui imposerait de recréer la VM à chaque changement. - Quand la VM migre, l'orchestrateur la supprime sur l'ancien hôte et la recrée sur le nouveau : ARP gratuit, puis mobilité MAC d'EVPN. ### Allocation **L'orchestrateur choisit les IP publiques** (twoctl avant lui, #71), comme les MAC. L'agent ne vérifie ni leur appartenance à une plage ni leur unicité. ### Implémentation, non décidée L'adresse publique d'une IP flottante est portée par un veth accroché au bridge public, depuis le netns du VPC.
Author
Owner

Découpage et ordre de travail (2026-10-25)

Ce ticket reste celui de la conception. L'implémentation est découpée :

  1. #81, #84, #79 — corrections locales ; #81 est un prérequis de la passerelle NAT
  2. #86 — relais DNS et NTP
  3. #87 — segment public de l'hôte (VXLAN 66001 sur br-public, interfaces.internet, bordure dans le lab)
  4. #42 — passerelle NAT (prérequis : #81, #87)
  5. #88 — IP flottante (prérequis : #87)
  6. #76 puis #89 — filtrage au port en nftables, puis subnet public_ip (prérequis : #76, #87)

Les hyperviseurs Rocky (#52, #82, #66) restent dans le jalon 0.3.0, après les IP publiques.

## Découpage et ordre de travail (2026-10-25) Ce ticket reste celui de la conception. L'implémentation est découpée : 1. #81, #84, #79 — corrections locales ; #81 est un prérequis de la passerelle NAT 2. #86 — relais DNS et NTP 3. **#87** — segment public de l'hôte (VXLAN 66001 sur `br-public`, `interfaces.internet`, bordure dans le lab) 4. **#42** — passerelle NAT (prérequis : #81, #87) 5. **#88** — IP flottante (prérequis : #87) 6. **#76** puis **#89** — filtrage au port en nftables, puis subnet `public_ip` (prérequis : #76, #87) Les hyperviseurs Rocky (#52, #82, #66) restent dans le jalon 0.3.0, **après** les IP publiques.
Author
Owner

Bilan (2026-10-30) : conception livrée, ticket fermé

Le découpage du 2026-10-25 (commentaire 1367) est entièrement livré et fusionné dans main :

Étape Tickets
Corrections locales #81, #84, #79
Relais DNS et NTP #86
Segment public de l'hôte (VNI 66001 sur br-public) #87
Passerelle NAT du VPC #42
IP flottante (NAT 1:1 sans état) #88
Filtrage au port en nftables, puis subnet public_ip #76, #89

Campagne de lab 7 (suite complète, evpn-3hv) : 46-passerelle-nat 75/75, 47-ip-flottante 61/61, 48-subnet-public 41/41 ; seul échec, 52-migration, intermittent aussi sur main (#95).

Restent hors de ce ticket

  • IPv6 public : à reprendre dans le modèle L2 retenu, sur #63.
  • Risques d'infrastructure listés dans le corps du ticket (maximum-prefix sur les sessions clients des RR, gc_thresh des gateways, filtrage BGP transit, domaine de défaillance L2 entre DC, fencing des RR) : ils relèvent du déploiement, pas de l'agent, et n'ont pas encore de ticket.

Suite du jalon 0.3.0, dans cet ordre

  1. #90 — DNAT des métadonnées et du relais DNS/NTP en nftables, retrait de internal/iptables.
  2. #95 — 52-migration intermittent ; diagnostic dans la même session de lab que la validation de #90.
  3. #39 — connaissance de l'hôte (prérequis de twoctl host info et du register de #72).
  4. #82 — suite e2e avec des VM de test en Rocky 10, une fois la suite stabilisée par #95.
  5. #71 — twoctl, à découper au moment de le commencer.

Le passage des hyperviseurs à Rocky 10 (#52, avec #65 et #66) forme le jalon 0.4.0.

## Bilan (2026-10-30) : conception livrée, ticket fermé Le découpage du 2026-10-25 (commentaire 1367) est entièrement livré et fusionné dans `main` : | Étape | Tickets | |---|---| | Corrections locales | #81, #84, #79 | | Relais DNS et NTP | #86 | | Segment public de l'hôte (VNI 66001 sur `br-public`) | #87 | | Passerelle NAT du VPC | #42 | | IP flottante (NAT 1:1 sans état) | #88 | | Filtrage au port en nftables, puis subnet `public_ip` | #76, #89 | Campagne de lab 7 (suite complète, `evpn-3hv`) : 46-passerelle-nat 75/75, 47-ip-flottante 61/61, 48-subnet-public 41/41 ; seul échec, 52-migration, intermittent aussi sur `main` (#95). ### Restent hors de ce ticket - **IPv6 public** : à reprendre dans le modèle L2 retenu, sur #63. - **Risques d'infrastructure** listés dans le corps du ticket (`maximum-prefix` sur les sessions clients des RR, `gc_thresh` des gateways, filtrage BGP transit, domaine de défaillance L2 entre DC, fencing des RR) : ils relèvent du déploiement, pas de l'agent, et n'ont pas encore de ticket. ### Suite du jalon 0.3.0, dans cet ordre 1. **#90** — DNAT des métadonnées et du relais DNS/NTP en nftables, retrait de `internal/iptables`. 2. **#95** — 52-migration intermittent ; diagnostic dans la même session de lab que la validation de #90. 3. **#39** — connaissance de l'hôte (prérequis de `twoctl host info` et du `register` de #72). 4. **#82** — suite e2e avec des VM de test en Rocky 10, une fois la suite stabilisée par #95. 5. **#71** — `twoctl`, à découper au moment de le commencer. Le passage des hyperviseurs à Rocky 10 (#52, avec #65 et #66) forme le jalon 0.4.0.
Sign in to join this conversation.
No milestone
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#31
No description provided.