Redirection des métadonnées en nftables : remplacer internal/iptables #90

Closed
opened 2026-10-25 18:49:56 +00:00 by nicolas.boufideline · 5 comments

Constat

Le DNAT des métadonnées (169.254.169.254:80 → interface_ip:<port metadata>) est posé par internal/iptables dans le netns du VPC, une règle par IP de VM (internal/vm/create.go, retrait dans internal/vm/delete.go). L'agent appelle la commande iptables. Sur Debian 12, elle pointe déjà vers iptables-nft : les règles finissent dans nftables, mais elles passent par la couche de compatibilité.

#76 remplace toutes les règles ebtables par nftables (décision du 2026-10-25). Ce ticket fait de même pour iptables, pour qu'il ne reste qu'un seul outil de filtrage.

Proposition

  • Remplacer internal/iptables par des règles nftables (famille ip, table nat, chaîne prerouting) dans le netns du VPC, posées et retirées aux mêmes moments qu'aujourd'hui.
  • Réutiliser le paquet nftables introduit par #76, plutôt que d'en créer un second.
  • scripts/bootstrap_kvm.sh : retirer le paquet iptables (nftables est ajouté par #76) et revoir net.bridge.bridge-nf-call-iptables = 1. Le commentaire du script dit qu'il est requis par le DNAT ; à vérifier, mesure à l'appui, s'il l'est encore une fois le DNAT passé en nftables.
  • e2e : fixture.sh (host_state lit iptables-save), 61-redemarrage-agent, 62-nettoyage-global.
  • Doc : installation.rst, vue-densemble.rst, lab.rst.

Prérequis et ordre

Après #76, dont il réutilise le paquet nftables. Il peut passer dans la même campagne de lab que #76.

Analyse de risque

  • Un changement de comportement casserait le service de métadonnées des VM (clé SSH, cloud-init) : à couvrir par les tests e2e existants sur les métadonnées.
  • VM existantes au moment de la mise à jour : leurs règles iptables restent en place. Il faut décider entre une reprise au démarrage de l'agent et une recréation des VM, et l'écrire dans les notes de mise à jour.
  • Rocky 10 : ce qu'il fournit côté iptables n'a pas été vérifié ; avec nftables seul, la question ne se pose plus.
## Constat Le DNAT des métadonnées (`169.254.169.254:80` → `interface_ip:<port metadata>`) est posé par `internal/iptables` dans le netns du VPC, une règle par IP de VM (`internal/vm/create.go`, retrait dans `internal/vm/delete.go`). L'agent appelle la commande `iptables`. Sur Debian 12, elle pointe déjà vers `iptables-nft` : les règles finissent dans nftables, mais elles passent par la couche de compatibilité. #76 remplace toutes les règles ebtables par nftables (décision du 2026-10-25). Ce ticket fait de même pour iptables, pour qu'il ne reste qu'un seul outil de filtrage. ## Proposition - Remplacer `internal/iptables` par des règles nftables (famille `ip`, table `nat`, chaîne `prerouting`) dans le netns du VPC, posées et retirées aux mêmes moments qu'aujourd'hui. - Réutiliser le paquet nftables introduit par #76, plutôt que d'en créer un second. - `scripts/bootstrap_kvm.sh` : retirer le paquet `iptables` (`nftables` est ajouté par #76) et revoir `net.bridge.bridge-nf-call-iptables = 1`. Le commentaire du script dit qu'il est requis par le DNAT ; à vérifier, mesure à l'appui, s'il l'est encore une fois le DNAT passé en nftables. - e2e : `fixture.sh` (`host_state` lit `iptables-save`), `61-redemarrage-agent`, `62-nettoyage-global`. - Doc : `installation.rst`, `vue-densemble.rst`, `lab.rst`. ## Prérequis et ordre Après #76, dont il réutilise le paquet nftables. Il peut passer dans la même campagne de lab que #76. ## Analyse de risque - Un changement de comportement casserait le service de métadonnées des VM (clé SSH, cloud-init) : à couvrir par les tests e2e existants sur les métadonnées. - VM existantes au moment de la mise à jour : leurs règles iptables restent en place. Il faut décider entre une reprise au démarrage de l'agent et une recréation des VM, et l'écrire dans les notes de mise à jour. - Rocky 10 : ce qu'il fournit côté iptables n'a pas été vérifié ; avec nftables seul, la question ne se pose plus.
Author
Owner

Périmètre élargi par #86 (plan du 2026-10-25) : la règle de DNAT par VPC des ports 53 et 123 vers 169.254.169.253 (relais two-hostsvc) est écrite dans internal/iptables, à côté de celle des métadonnées. Elle passe en nftables avec ce ticket.

Périmètre élargi par #86 (plan du 2026-10-25) : la règle de DNAT par VPC des ports 53 et 123 vers `169.254.169.253` (relais `two-hostsvc`) est écrite dans `internal/iptables`, à côté de celle des métadonnées. Elle passe en nftables avec ce ticket.
Author
Owner

Plan validé (2026-10-30)

Existant (iptables, table nat du netns du VPC)

  • Métadonnées : une règle DNAT par IP de VM, 169.254.169.254:80 → interface_ip:<port metadata>, posée par internal/vm/create.go (iptables -A) et retirée par internal/vm/delete.go (iptables -D). Une création rejouée duplique la règle ; une suppression rejouée depuis error échoue si la règle est déjà absente.
  • DNS et NTP (#86) : chaîne TWO-HOSTSVC appelée depuis PREROUTING pour les destinations locales ; br-public et l3-+ exclus, puis udp/53, tcp/53, udp/123 → 169.254.169.253. Posée à la création du VPC, contrôlée par le watchdog (HasHostSvcRedirect).

Cible : table ip two du netns

Même schéma que la passerelle NAT (#42) et l'IP flottante (#88) : une chaîne par entité, posée par add + flush, retirée par déclaration + delete, donc idempotente.

Usage Chaîne Hook Règles
DNS et NTP hostsvc prerouting, dstnat iifname "br-public" return, iifname "l3-*" return, puis fib daddr type local + 53/udp, 53/tcp, 123/udp → dnat to 169.254.169.253
Métadonnées md-<vm> prerouting, dstnat une règle par IP de la VM : ip saddr <ip> ip daddr 169.254.169.254 tcp dport 80 dnat to <interface_ip>:<port>

La traduction de l'IP flottante reste en priorité raw, avant ces chaînes.

Décisions

  1. Pas de reprise de l'existant : les VPC et VM créés avant la mise à jour gardent leurs règles iptables ; les notes 0.3.0 demandent de les recréer. La suppression tolère l'absence des chaînes nft.
  2. scripts/bootstrap_kvm.sh : retrait du paquet iptables et de net.bridge.bridge-nf-call-iptables = 1. Le DNAT vit dans le netns, où l'agent coupe déjà bridge-nf-call-* depuis #42, et la campagne 7 a passé 23-metadonnees et 29-dns-ntp dans cette configuration ; sur l'hôte, la clé ferait passer le trafic bridgé des VM par les règles iptables de l'hôte. La campagne de lab de ce ticket le mesure sur des hôtes sans la clé. Les notes signalent qu'un hôte déjà déployé la garde jusqu'à ce qu'on la retire.
  3. Exclusions de hostsvc inchangées (br-public, l3-*) : les entrées par ng-<id> et fip-<hex> sont déjà couvertes (rejet hors connexions établies dans in-ng-<id>, réécriture de la destination en raw pour l'IP flottante).

Découpage

  1. nft : chaînes hostsvc et md-<vm>, pose, retrait, contrôle, tests.
  2. vm, vpc, watchdog : branchement sur nft, contrôle du watchdog sur la chaîne hostsvc, suppression de internal/iptables.
  3. bootstrap_kvm.sh (et sa copie du lab).
  4. e2e : fixture.sh (host_state lit la table nft du netns), 29 réécrit sur la chaîne nft (dont la panne simulée pour le watchdog), 61, 62.
  5. Doc : installation.rst, dns-ntp.rst, vpc-subnet-vm.rst, diagnostic.rst, observabilite.rst, vue-densemble.rst, lab.rst, notes 0.3.0.

Lab : une seule campagne, suite complète, avec le diagnostic de #95.

## Plan validé (2026-10-30) ### Existant (iptables, table `nat` du netns du VPC) - **Métadonnées** : une règle DNAT par IP de VM, `169.254.169.254:80` → `interface_ip:<port metadata>`, posée par `internal/vm/create.go` (`iptables -A`) et retirée par `internal/vm/delete.go` (`iptables -D`). Une création rejouée duplique la règle ; une suppression rejouée depuis `error` échoue si la règle est déjà absente. - **DNS et NTP** (#86) : chaîne `TWO-HOSTSVC` appelée depuis `PREROUTING` pour les destinations locales ; `br-public` et `l3-+` exclus, puis `udp/53`, `tcp/53`, `udp/123` → `169.254.169.253`. Posée à la création du VPC, contrôlée par le watchdog (`HasHostSvcRedirect`). ### Cible : table `ip two` du netns Même schéma que la passerelle NAT (#42) et l'IP flottante (#88) : une chaîne par entité, posée par `add` + `flush`, retirée par déclaration + `delete`, donc idempotente. | Usage | Chaîne | Hook | Règles | |---|---|---|---| | DNS et NTP | `hostsvc` | prerouting, `dstnat` | `iifname "br-public" return`, `iifname "l3-*" return`, puis `fib daddr type local` + 53/udp, 53/tcp, 123/udp → `dnat to 169.254.169.253` | | Métadonnées | `md-<vm>` | prerouting, `dstnat` | une règle par IP de la VM : `ip saddr <ip> ip daddr 169.254.169.254 tcp dport 80 dnat to <interface_ip>:<port>` | La traduction de l'IP flottante reste en priorité `raw`, avant ces chaînes. ### Décisions 1. **Pas de reprise de l'existant** : les VPC et VM créés avant la mise à jour gardent leurs règles iptables ; les notes 0.3.0 demandent de les recréer. La suppression tolère l'absence des chaînes nft. 2. **`scripts/bootstrap_kvm.sh`** : retrait du paquet `iptables` et de `net.bridge.bridge-nf-call-iptables = 1`. Le DNAT vit dans le netns, où l'agent coupe déjà `bridge-nf-call-*` depuis #42, et la campagne 7 a passé 23-metadonnees et 29-dns-ntp dans cette configuration ; sur l'hôte, la clé ferait passer le trafic bridgé des VM par les règles iptables de l'hôte. La campagne de lab de ce ticket le mesure sur des hôtes sans la clé. Les notes signalent qu'un hôte déjà déployé la garde jusqu'à ce qu'on la retire. 3. **Exclusions de `hostsvc` inchangées** (`br-public`, `l3-*`) : les entrées par `ng-<id>` et `fip-<hex>` sont déjà couvertes (rejet hors connexions établies dans `in-ng-<id>`, réécriture de la destination en `raw` pour l'IP flottante). ### Découpage 1. `nft` : chaînes `hostsvc` et `md-<vm>`, pose, retrait, contrôle, tests. 2. `vm`, `vpc`, `watchdog` : branchement sur nft, contrôle du watchdog sur la chaîne `hostsvc`, suppression de `internal/iptables`. 3. `bootstrap_kvm.sh` (et sa copie du lab). 4. e2e : `fixture.sh` (`host_state` lit la table nft du netns), 29 réécrit sur la chaîne nft (dont la panne simulée pour le watchdog), 61, 62. 5. Doc : `installation.rst`, `dns-ntp.rst`, `vpc-subnet-vm.rst`, `diagnostic.rst`, `observabilite.rst`, `vue-densemble.rst`, `lab.rst`, notes 0.3.0. Lab : une seule campagne, suite complète, avec le diagnostic de #95.
Author
Owner

Décision ajoutée (2026-10-31) : br_netfilter n'est plus chargé par bootstrap_kvm.sh. Dès que le module est chargé, net.bridge.bridge-nf-call-iptables vaut 1 par défaut, y compris dans les netns (mesuré en campagne 6) : retirer la seule ligne du sysctl ne changeait donc rien. Plus rien dans two n'en a besoin : le filtrage des ponts est en nftables (famille bridge), et l'agent coupe déjà bridge-nf-call-* dans les netns. Les notes 0.3.0 signalent qu'un hyperviseur déjà déployé garde le module chargé jusqu'à son redémarrage (ou modprobe -r br_netfilter). La campagne de lab de ce ticket relèvera lsmod et les clés net.bridge.* sur les hyperviseurs.

Codé le 2026-10-31 sur feature-90 (5 commits) : chaînes hostsvc et md-<vm> dans la table ip two du netns, internal/iptables retiré, e2e (29, host_state, 61, 62) et doc. Banc nft 1.0.6 vert ; non passé au lab.

Décision ajoutée (2026-10-31) : `br_netfilter` n'est plus chargé par `bootstrap_kvm.sh`. Dès que le module est chargé, `net.bridge.bridge-nf-call-iptables` vaut 1 par défaut, y compris dans les netns (mesuré en campagne 6) : retirer la seule ligne du sysctl ne changeait donc rien. Plus rien dans two n'en a besoin : le filtrage des ponts est en nftables (famille `bridge`), et l'agent coupe déjà `bridge-nf-call-*` dans les netns. Les notes 0.3.0 signalent qu'un hyperviseur déjà déployé garde le module chargé jusqu'à son redémarrage (ou `modprobe -r br_netfilter`). La campagne de lab de ce ticket relèvera `lsmod` et les clés `net.bridge.*` sur les hyperviseurs. Codé le 2026-10-31 sur `feature-90` (5 commits) : chaînes `hostsvc` et `md-<vm>` dans la table `ip two` du netns, `internal/iptables` retiré, e2e (29, `host_state`, 61, 62) et doc. Banc nft 1.0.6 vert ; non passé au lab.
Author
Owner

Campagne 8 (2026-10-31, evpn-3hv, feature-39 qui contient feature-90)

Suite complète : 33 scénarios verts sur 35. Les scénarios touchés par #90 passent : 23-metadonnees (26/26, DNAT metadata en nftables), 29-dns-ntp (54/54, chaîne hostsvc, retrait et remise de règle par handle), 61-redemarrage-agent, 62-nettoyage-global. Les deux échecs sont sans lien : 13-hote (bug du test, #39) et 52-migration (#95).

Limite : l'absence de br_netfilter n'est pas testée par le lab

Relevé sur hv1, hv2 et hv3 : br_netfilter chargé, net.bridge.bridge-nf-call-iptables = 1, /etc/modules-load.d/two.conf présent, /etc/sysctl.d/90-two.conf avec l'ancienne ligne bridge-nf-call-iptables.

Cause : test/e2e/topologies/provision/hypervisor.sh déploie d'abord la release 0.2.0 (deploy.sh et bootstrap_kvm.sh de la release), qui charge le module. L'arbre courant ne remplace ensuite que les binaires, les unités et le segment public (kvm_public_segment) ; son kvm_kernel n'est pas joué.

Les règles nftables de #90 sont donc validées par la suite complète sur des hôtes où le module est encore chargé. Pas de résidu à craindre en production (hôte sans état, bootstrap rejoué à chaque démarrage).

Essai partiel sans le module

Sur hv1, hv2 et hv3 : kvm_kernel de l'arbre courant joué (sourcé comme kvm_public_segment par le provisionnement), /etc/modules-load.d/two.conf supprimé, modprobe -r br_netfilter. Vérifié : 90-two.conf ne contient plus que ip_forward, module absent, plus de /proc/sys/net/bridge. L'agent tolère l'absence des clés dans les netns (internal/vpc/guard.go, sysctl.SetIfPresent).

Suite relancée dans cet état, arrêtée volontairement après 7 scénarios pour libérer le serveur : 01-lab, 02-prerequis, 03-image, 11-validation, 12-etats, 13-hote, 21-dhcp-two, tous verts. Les scénarios réseau (23, 29, 3x, 4x, 5x, 6x) n'ont pas tourné sans le module.

À faire à la prochaine campagne : suite complète sans br_netfilter, idéalement avec un provisionnement qui joue le kvm_kernel de l'arbre courant plutôt que celui de la release.

## Campagne 8 (2026-10-31, evpn-3hv, `feature-39` qui contient `feature-90`) Suite complète : 33 scénarios verts sur 35. Les scénarios touchés par #90 passent : 23-metadonnees (26/26, DNAT metadata en nftables), 29-dns-ntp (54/54, chaîne `hostsvc`, retrait et remise de règle par handle), 61-redemarrage-agent, 62-nettoyage-global. Les deux échecs sont sans lien : 13-hote (bug du test, #39) et 52-migration (#95). ## Limite : l'absence de `br_netfilter` n'est pas testée par le lab Relevé sur hv1, hv2 et hv3 : `br_netfilter` chargé, `net.bridge.bridge-nf-call-iptables = 1`, `/etc/modules-load.d/two.conf` présent, `/etc/sysctl.d/90-two.conf` avec l'ancienne ligne `bridge-nf-call-iptables`. Cause : `test/e2e/topologies/provision/hypervisor.sh` déploie d'abord la release **0.2.0** (`deploy.sh` et `bootstrap_kvm.sh` de la release), qui charge le module. L'arbre courant ne remplace ensuite que les binaires, les unités et le segment public (`kvm_public_segment`) ; son `kvm_kernel` n'est pas joué. Les règles nftables de #90 sont donc validées par la suite complète sur des hôtes où le module est encore chargé. Pas de résidu à craindre en production (hôte sans état, bootstrap rejoué à chaque démarrage). ## Essai partiel sans le module Sur hv1, hv2 et hv3 : `kvm_kernel` de l'arbre courant joué (sourcé comme `kvm_public_segment` par le provisionnement), `/etc/modules-load.d/two.conf` supprimé, `modprobe -r br_netfilter`. Vérifié : `90-two.conf` ne contient plus que `ip_forward`, module absent, plus de `/proc/sys/net/bridge`. L'agent tolère l'absence des clés dans les netns (`internal/vpc/guard.go`, `sysctl.SetIfPresent`). Suite relancée dans cet état, arrêtée volontairement après 7 scénarios pour libérer le serveur : 01-lab, 02-prerequis, 03-image, 11-validation, 12-etats, 13-hote, 21-dhcp-two, tous verts. Les scénarios réseau (23, 29, 3x, 4x, 5x, 6x) n'ont pas tourné sans le module. À faire à la prochaine campagne : suite complète sans `br_netfilter`, idéalement avec un provisionnement qui joue le `kvm_kernel` de l'arbre courant plutôt que celui de la release.
Author
Owner

Campagne 9 (2026-10-31) : comportement sans br_netfilter vérifié

Avec #65, le lab joue désormais le bootstrap de l'arbre courant (plus celui de la 0.2.0). Relevé sur hv1, hv2 et hv3 :

  • agent servi depuis /opt/two/<commit>/bin/agent (déployé depuis l'arbre) ;
  • br_netfilter absent, aucune clé net.bridge.* ;
  • /etc/sysctl.d/90-two.conf = net.ipv4.ip_forward = 1 seulement ;
  • vxlan-public (VNI 1) posé par le bootstrap de l'arbre.

Suite complète (VM Debian 12) dans cet état : 34/35, le seul échec (52) venant d'un bug du correctif de #95, corrigé et validé ensuite. Les scénarios liés à #90 passent : 23-metadonnees, 29-dns-ntp, 46-passerelle-nat, 61, 62. Le point laissé ouvert dans le commentaire précédent est donc levé.

## Campagne 9 (2026-10-31) : comportement sans `br_netfilter` vérifié Avec #65, le lab joue désormais le bootstrap de l'arbre courant (plus celui de la 0.2.0). Relevé sur hv1, hv2 et hv3 : - agent servi depuis `/opt/two/<commit>/bin/agent` (déployé depuis l'arbre) ; - `br_netfilter` **absent**, aucune clé `net.bridge.*` ; - `/etc/sysctl.d/90-two.conf` = `net.ipv4.ip_forward = 1` seulement ; - `vxlan-public` (VNI 1) posé par le bootstrap de l'arbre. Suite complète (VM Debian 12) dans cet état : 34/35, le seul échec (52) venant d'un bug du correctif de #95, corrigé et validé ensuite. Les scénarios liés à #90 passent : 23-metadonnees, 29-dns-ntp, 46-passerelle-nat, 61, 62. Le point laissé ouvert dans le commentaire précédent est donc levé.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#90
No description provided.