IP flottante : NAT 1:1 sans état sur l'hôte de la VM, ressource /floating-ips #88

Closed
opened 2026-10-25 00:22:37 +00:00 by nicolas.boufideline · 4 comments

Objectif

Rendre une VM joignable par une IP publique qu'elle ne porte pas : NAT 1:1 sans état sur l'hôte de la VM. Étape 5 de l'ordre de travail du 2026-10-25.

Décisions (sur #31, commentaires 1133 et 1337)

POST /floating-ips
{ "name": "fip-7", "vm": "vm-7", "interface": 0,
  "ip": "203.0.113.20/24", "gateway": "203.0.113.1" }
  • Créée sur l'hôte de la VM ; NAT 1:1 sans état entre l'IP publique et l'adresse privée de l'interface visée ; l'hôte répond à l'ARP pour l'IP publique sur le bridge public (interfaces.internet).
  • Ressource à part, pas un champ de VMInterface : attachement et détachement sans recréer la VM.
  • Migration : l'orchestrateur la supprime sur l'ancien hôte et la recrée sur le nouveau (ARP gratuit, puis mobilité MAC d'EVPN).
  • IP choisie par l'orchestrateur (twoctl avant lui, #71), sans vérification par l'agent.

Non décidé

Adresse publique portée par un veth accroché au bridge public depuis le netns du VPC : à confirmer à la conception.

Dépendances

Segment public (#87). Pas de dépendance à #76 : la VM reste dans son subnet privé.

Critère de clôture

En lab : une destination derrière la bordure joint la VM par son IP flottante et inversement ; la VM migre sur un autre hôte et reste joignable ; le détachement coupe l'accès ; suppression propre (rien ne reste sur l'hôte).

## Objectif Rendre une VM joignable par une IP publique qu'elle ne porte pas : NAT 1:1 sans état sur l'hôte de la VM. Étape 5 de l'ordre de travail du 2026-10-25. ## Décisions (sur #31, commentaires 1133 et 1337) ```json POST /floating-ips { "name": "fip-7", "vm": "vm-7", "interface": 0, "ip": "203.0.113.20/24", "gateway": "203.0.113.1" } ``` - Créée sur l'hôte de la VM ; NAT 1:1 **sans état** entre l'IP publique et l'adresse privée de l'interface visée ; l'hôte répond à l'ARP pour l'IP publique sur le bridge public (`interfaces.internet`). - Ressource à part, pas un champ de `VMInterface` : attachement et détachement sans recréer la VM. - Migration : l'orchestrateur la supprime sur l'ancien hôte et la recrée sur le nouveau (ARP gratuit, puis mobilité MAC d'EVPN). - IP choisie par l'orchestrateur (twoctl avant lui, #71), sans vérification par l'agent. ## Non décidé Adresse publique portée par un veth accroché au bridge public depuis le netns du VPC : à confirmer à la conception. ## Dépendances Segment public (#87). Pas de dépendance à #76 : la VM reste dans son subnet privé. ## Critère de clôture En lab : une destination derrière la bordure joint la VM par son IP flottante et inversement ; la VM migre sur un autre hôte et reste joignable ; le détachement coupe l'accès ; suppression propre (rien ne reste sur l'hôte).
Author
Owner

Décision (2026-10-29) : face publique et sortie d'une IP flottante

Posée en concevant la passerelle NAT (#42, même date).

  • Un macvlan par IP flottante, avec sa propre MAC, sur le br-public du netns du VPC — déjà relié au
    bridge public de l'hôte par vp-<id>-i/-e. Remplace le point « non décidé » (veth vers le bridge
    public). La bascule reste celle de 1337 : ARP gratuit, puis mobilité MAC d'EVPN. Entrée FDB locale
    de la MAC sur le bridge du netns, comme pour la passerelle (#42) et la MAC anycast (#57).
  • La VM garde son seul tap sur son subnet privé ; le netns fait la NAT 1:1 sans état entre l'IP
    flottante et l'adresse privée de l'interface visée.
  • Une VM à IP flottante sort par cette IP, jamais par la passerelle NAT du VPC. La route par défaut
    du netns partant vers la VRF (ou vers les bordures sur l'hôte de la passerelle), il faut un routage
    par source dans le netns, qui ne capte pas le trafic vers le CIDR du VPC (table avec la route du
    CIDR, ou règle to !<CIDR>).
  • Les règles nftables de la passerelle ne visent que ng-<id> : celles de l'IP flottante vivent dans
    le même netns sur leur propre macvlan.
## Décision (2026-10-29) : face publique et sortie d'une IP flottante Posée en concevant la passerelle NAT (#42, même date). - **Un macvlan par IP flottante**, avec sa propre MAC, sur le `br-public` du netns du VPC — déjà relié au bridge public de l'hôte par `vp-<id>-i/-e`. Remplace le point « non décidé » (veth vers le bridge public). La bascule reste celle de 1337 : ARP gratuit, puis mobilité MAC d'EVPN. Entrée FDB locale de la MAC sur le bridge du netns, comme pour la passerelle (#42) et la MAC anycast (#57). - **La VM garde son seul tap** sur son subnet privé ; le netns fait la NAT 1:1 sans état entre l'IP flottante et l'adresse privée de l'interface visée. - **Une VM à IP flottante sort par cette IP, jamais par la passerelle NAT du VPC.** La route par défaut du netns partant vers la VRF (ou vers les bordures sur l'hôte de la passerelle), il faut un routage par source dans le netns, qui ne capte pas le trafic vers le CIDR du VPC (table avec la route du CIDR, ou règle `to !<CIDR>`). - Les règles nftables de la passerelle ne visent que `ng-<id>` : celles de l'IP flottante vivent dans le même netns sur leur propre macvlan.
Author
Owner

Décision (2026-10-29) : modèle et plan de l'IP flottante

Complète 1528. Change 1337 sur deux points : interface désigne une interface de la VM par son
nom (et non plus par son rang), et l'IP flottante est affichée sur la VM en lecture seule.

Interfaces de VM nommées

  • VMInterface.name est obligatoire à partir de maintenant : 400 s'il est absent ou en double
    dans la VM. Exemple : nic-a1b2, choisi par l'orchestrateur.
  • C'est un identifiant d'API, entre l'orchestrateur et l'agent : aucune interface Linux n'en est
    tirée (ni dans l'invité, ens3, ni sur l'hôte). L'agent n'en vérifie pas le format.
  • Base : vm/<name>/nic/<i>/name. Les VM existantes sont migrées au démarrage de l'agent avec
    nic-<i>.
  • Motif : le rang d'une interface (nic/<i>) ne tient que tant que la VM n'est pas modifiée ; un
    attach/detach (#40) le décalerait.

API

POST /floating-ips
{ "name": "fip-7", "vm": "vm-7", "interface": "nic-a1b2",
  "ip": "203.0.113.20/24", "gateway": "203.0.113.1" }
  • Créée sur l'hôte de la VM, dans le netns du VPC du subnet de l'interface. Pas de l3vni requis.
  • Base : floating-ip/<name>/{state,vm,interface,ip,gateway}. L'IP privée est lue sur l'interface.
  • 409 : IP flottante existante ; VM absente de l'hôte ou pas running ; interface inconnue sur
    la VM ; interface qui a déjà une IP flottante ; IP publique déjà portée par une autre IP
    flottante de l'hôte.
  • GET /vms/<name> : chaque interface affiche floating_ip (nom, IP, état), calculé à la
    lecture, rien n'est recopié. DELETE /vms/<name> : 409 tant qu'une IP flottante est attachée.
  • Une IP flottante ne se pose que par /floating-ips : attach/detach sans toucher à la VM.

Sur l'hôte

  • Face publique : macvlan fip-<IP publique en hexa> sur le br-public du netns, MAC 02:05 +
    les 4 octets de l'IP publique
    (rôle 0x05) — unique dans l'infra, la même sur tout hôte ;
    entrée FDB locale, arp_ignore=1, arp_announce=2, arp_notify=1, comme ng-<id> (#42).
  • NAT 1:1 sans état, table nftables ip two du netns :
    • prerouting, priorité raw (avant conntrack) : iifname fip-… ip daddr <pub> ip daddr set <priv> ;
    • postrouting : oifname fip-… ip saddr <priv> ip saddr set <pub> ;
    • sans notrack : conntrack ne voit que l'échange privé ↔ extérieur, la redirection des
      métadonnées et le relais DNS/NTP (#86) restent servis ;
    • l'entrée est ouverte vers la VM.
  • Routage par source dans le netns : from <priv> lookup main suppress_prefixlength 0 (pref 100),
    puis from <priv> lookup <table> (pref 101), table numérotée par l'IP privée (entier 32 bits,
    unique dans le VPC) ne portant que default via <gateway> dev fip-…. La table local passant
    avant, le trafic vers les adresses du netns n'est pas concerné. Une VM à IP flottante sort par
    elle, y compris dans un VPC qui a une passerelle NAT, et sur l'hôte de celle-ci.
  • Déplacement : suppression sur l'ancien hôte, création sur le nouveau ; même MAC, donc ARP gratuit
    puis mobilité MAC d'EVPN.
  • Hors périmètre : contrôle des IP flottantes par le watchdog.

Découpage (branche feature-88, partie de feature-42, fusionnée après #42)

  1. Interfaces nommées : API VM, migration nic-<i>, spec, harnais e2e, notes de version
  2. netif : rôle 0x05, FloatingIPMAC, règles de routage et route dans une table
  3. nft : chaînes de traduction de l'IP flottante (banc nft 1.0.6)
  4. Paquet fip : création et suppression (banc fonctionnel en conteneur, avec une passerelle NAT
    dans le même netns)
  5. API, dispatcher, base : /floating-ips, 409 sur DELETE /vms, floating_ip dans GET /vms,
    migration des états, métrique syonad_floating_ips_total
  6. e2e 47-ip-flottante : joignable depuis le segment public, sortie avec l'IP flottante pour
    source (pas celle de la passerelle), 409, détachement, déplacement vers un autre hôte,
    suppression propre
  7. Documentation et notes 0.3.0
## Décision (2026-10-29) : modèle et plan de l'IP flottante Complète 1528. **Change 1337 sur deux points** : `interface` désigne une interface de la VM par son **nom** (et non plus par son rang), et l'IP flottante est **affichée sur la VM** en lecture seule. ### Interfaces de VM nommées - `VMInterface.name` est **obligatoire** à partir de maintenant : 400 s'il est absent ou en double dans la VM. Exemple : `nic-a1b2`, choisi par l'orchestrateur. - C'est un identifiant d'API, entre l'orchestrateur et l'agent : aucune interface Linux n'en est tirée (ni dans l'invité, `ens3`, ni sur l'hôte). L'agent n'en vérifie pas le format. - Base : `vm/<name>/nic/<i>/name`. Les VM existantes sont migrées au démarrage de l'agent avec `nic-<i>`. - Motif : le rang d'une interface (`nic/<i>`) ne tient que tant que la VM n'est pas modifiée ; un attach/detach (#40) le décalerait. ### API ```json POST /floating-ips { "name": "fip-7", "vm": "vm-7", "interface": "nic-a1b2", "ip": "203.0.113.20/24", "gateway": "203.0.113.1" } ``` - Créée sur l'hôte de la VM, dans le netns du VPC du subnet de l'interface. Pas de `l3vni` requis. - Base : `floating-ip/<name>/{state,vm,interface,ip,gateway}`. L'IP privée est lue sur l'interface. - 409 : IP flottante existante ; VM absente de l'hôte ou pas `running` ; interface inconnue sur la VM ; interface qui a déjà une IP flottante ; IP publique déjà portée par une autre IP flottante de l'hôte. - `GET /vms/<name>` : chaque interface affiche `floating_ip` (nom, IP, état), calculé à la lecture, rien n'est recopié. `DELETE /vms/<name>` : 409 tant qu'une IP flottante est attachée. - Une IP flottante ne se pose que par `/floating-ips` : attach/detach sans toucher à la VM. ### Sur l'hôte - Face publique : macvlan `fip-<IP publique en hexa>` sur le `br-public` du netns, MAC **`02:05` + les 4 octets de l'IP publique** (rôle `0x05`) — unique dans l'infra, la même sur tout hôte ; entrée FDB locale, `arp_ignore=1`, `arp_announce=2`, `arp_notify=1`, comme `ng-<id>` (#42). - NAT 1:1 sans état, table nftables `ip two` du netns : - `prerouting`, priorité `raw` (avant conntrack) : `iifname fip-… ip daddr <pub> ip daddr set <priv>` ; - `postrouting` : `oifname fip-… ip saddr <priv> ip saddr set <pub>` ; - sans `notrack` : conntrack ne voit que l'échange privé ↔ extérieur, la redirection des métadonnées et le relais DNS/NTP (#86) restent servis ; - l'entrée est ouverte vers la VM. - Routage par source dans le netns : `from <priv> lookup main suppress_prefixlength 0` (pref 100), puis `from <priv> lookup <table>` (pref 101), table numérotée par l'IP privée (entier 32 bits, unique dans le VPC) ne portant que `default via <gateway> dev fip-…`. La table `local` passant avant, le trafic vers les adresses du netns n'est pas concerné. Une VM à IP flottante sort par elle, y compris dans un VPC qui a une passerelle NAT, et sur l'hôte de celle-ci. - Déplacement : suppression sur l'ancien hôte, création sur le nouveau ; même MAC, donc ARP gratuit puis mobilité MAC d'EVPN. - Hors périmètre : contrôle des IP flottantes par le watchdog. ### Découpage (branche `feature-88`, partie de `feature-42`, fusionnée après #42) 1. Interfaces nommées : API VM, migration `nic-<i>`, spec, harnais e2e, notes de version 2. `netif` : rôle `0x05`, `FloatingIPMAC`, règles de routage et route dans une table 3. `nft` : chaînes de traduction de l'IP flottante (banc nft 1.0.6) 4. Paquet `fip` : création et suppression (banc fonctionnel en conteneur, avec une passerelle NAT dans le même netns) 5. API, dispatcher, base : `/floating-ips`, 409 sur `DELETE /vms`, `floating_ip` dans `GET /vms`, migration des états, métrique `syonad_floating_ips_total` 6. e2e `47-ip-flottante` : joignable depuis le segment public, sortie avec l'IP flottante pour source (pas celle de la passerelle), 409, détachement, déplacement vers un autre hôte, suppression propre 7. Documentation et notes 0.3.0
Author
Owner

Correctif (2026-10-29) : routage par source de l'IP flottante

Corrige 1546, mesuré en banc (conteneur Debian 12, passerelle NAT et IP flottante dans le même netns).

Constat. Avec from <priv> lookup main suppress_prefixlength 0, seule la route par défaut de
main était masquée. La route connectée du segment public (<plage>/24, posée par l'adresse de la
passerelle NAT) restait dans main : la réponse de la VM à une connexion entrante venant du segment
(la bordure elle-même) sortait par ng-<id>, sans traduction, avec son adresse privée. Une entrée
neuve depuis la bordure échouait. De plus, l'IP flottante posée avec son préfixe ajoutait une
seconde route connectée du segment dans main, par laquelle une VM sans IP flottante pouvait
sortir sans traduction.

Correctif.

  • Règle 100 limitée au VPC : from <priv> to <cidr du VPC> lookup main. Tout le reste passe par
    la table de l'IP flottante ; la table local passe toujours avant (gateway, métadonnées, DNS/NTP).
  • L'IP flottante est posée en /32 sur fip-…. Sa table porte la route du segment
    (<plage> dev fip-…) puis default via <gateway> dev fip-…. Plus aucune route du segment n'est
    ajoutée à main par l'IP flottante.

Mesuré après correctif : entrée neuve depuis la bordure et depuis le segment vers la VM ;
sortie et réponses de la VM avec l'IP flottante pour source, vers la bordure comme vers le
segment ; une VM sans IP flottante du même netns sort par la passerelle (source de la passerelle),
aucune adresse privée vue sur le segment ; trafic interne au VPC et métadonnées inchangés ;
suppression rejouable, l'entrée coupée ensuite.

## Correctif (2026-10-29) : routage par source de l'IP flottante Corrige 1546, mesuré en banc (conteneur Debian 12, passerelle NAT et IP flottante dans le même netns). **Constat.** Avec `from <priv> lookup main suppress_prefixlength 0`, seule la route par défaut de `main` était masquée. La route connectée du segment public (`<plage>/24`, posée par l'adresse de la passerelle NAT) restait dans `main` : la réponse de la VM à une connexion entrante venant du segment (la bordure elle-même) sortait par `ng-<id>`, sans traduction, avec son adresse privée. Une entrée neuve depuis la bordure échouait. De plus, l'IP flottante posée avec son préfixe ajoutait une seconde route connectée du segment dans `main`, par laquelle une VM sans IP flottante pouvait sortir sans traduction. **Correctif.** - Règle 100 limitée au VPC : `from <priv> to <cidr du VPC> lookup main`. Tout le reste passe par la table de l'IP flottante ; la table `local` passe toujours avant (gateway, métadonnées, DNS/NTP). - L'IP flottante est posée en `/32` sur `fip-…`. Sa table porte la route du segment (`<plage> dev fip-…`) puis `default via <gateway> dev fip-…`. Plus aucune route du segment n'est ajoutée à `main` par l'IP flottante. **Mesuré après correctif** : entrée neuve depuis la bordure et depuis le segment vers la VM ; sortie et réponses de la VM avec l'IP flottante pour source, vers la bordure comme vers le segment ; une VM sans IP flottante du même netns sort par la passerelle (source de la passerelle), aucune adresse privée vue sur le segment ; trafic interne au VPC et métadonnées inchangés ; suppression rejouable, l'entrée coupée ensuite.
Author
Owner

Fusionné dans main (8f1cb96). Campagne de lab 7 : 47-ip-flottante 61/61.

Fusionné dans main (8f1cb96). Campagne de lab 7 : 47-ip-flottante 61/61.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#88
No description provided.