Redirection des métadonnées en nftables : remplacer internal/iptables #90
Labels
No labels
bug fix
feature implementation
new feature
No project
No assignees
1 participant
Notifications
Due date
No due date set.
Dependencies
No dependencies set.
Reference
syonad/two#90
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Constat
Le DNAT des métadonnées (
169.254.169.254:80→interface_ip:<port metadata>) est posé parinternal/iptablesdans le netns du VPC, une règle par IP de VM (internal/vm/create.go, retrait dansinternal/vm/delete.go). L'agent appelle la commandeiptables. Sur Debian 12, elle pointe déjà versiptables-nft: les règles finissent dans nftables, mais elles passent par la couche de compatibilité.#76 remplace toutes les règles ebtables par nftables (décision du 2026-10-25). Ce ticket fait de même pour iptables, pour qu'il ne reste qu'un seul outil de filtrage.
Proposition
internal/iptablespar des règles nftables (familleip, tablenat, chaîneprerouting) dans le netns du VPC, posées et retirées aux mêmes moments qu'aujourd'hui.scripts/bootstrap_kvm.sh: retirer le paquetiptables(nftablesest ajouté par #76) et revoirnet.bridge.bridge-nf-call-iptables = 1. Le commentaire du script dit qu'il est requis par le DNAT ; à vérifier, mesure à l'appui, s'il l'est encore une fois le DNAT passé en nftables.fixture.sh(host_statelitiptables-save),61-redemarrage-agent,62-nettoyage-global.installation.rst,vue-densemble.rst,lab.rst.Prérequis et ordre
Après #76, dont il réutilise le paquet nftables. Il peut passer dans la même campagne de lab que #76.
Analyse de risque
Périmètre élargi par #86 (plan du 2026-10-25) : la règle de DNAT par VPC des ports 53 et 123 vers
169.254.169.253(relaistwo-hostsvc) est écrite dansinternal/iptables, à côté de celle des métadonnées. Elle passe en nftables avec ce ticket.Plan validé (2026-10-30)
Existant (iptables, table
natdu netns du VPC)169.254.169.254:80→interface_ip:<port metadata>, posée parinternal/vm/create.go(iptables -A) et retirée parinternal/vm/delete.go(iptables -D). Une création rejouée duplique la règle ; une suppression rejouée depuiserroréchoue si la règle est déjà absente.TWO-HOSTSVCappelée depuisPREROUTINGpour les destinations locales ;br-publicetl3-+exclus, puisudp/53,tcp/53,udp/123→169.254.169.253. Posée à la création du VPC, contrôlée par le watchdog (HasHostSvcRedirect).Cible : table
ip twodu netnsMême schéma que la passerelle NAT (#42) et l'IP flottante (#88) : une chaîne par entité, posée par
add+flush, retirée par déclaration +delete, donc idempotente.hostsvcdstnatiifname "br-public" return,iifname "l3-*" return, puisfib daddr type local+ 53/udp, 53/tcp, 123/udp →dnat to 169.254.169.253md-<vm>dstnatip saddr <ip> ip daddr 169.254.169.254 tcp dport 80 dnat to <interface_ip>:<port>La traduction de l'IP flottante reste en priorité
raw, avant ces chaînes.Décisions
scripts/bootstrap_kvm.sh: retrait du paquetiptableset denet.bridge.bridge-nf-call-iptables = 1. Le DNAT vit dans le netns, où l'agent coupe déjàbridge-nf-call-*depuis #42, et la campagne 7 a passé 23-metadonnees et 29-dns-ntp dans cette configuration ; sur l'hôte, la clé ferait passer le trafic bridgé des VM par les règles iptables de l'hôte. La campagne de lab de ce ticket le mesure sur des hôtes sans la clé. Les notes signalent qu'un hôte déjà déployé la garde jusqu'à ce qu'on la retire.hostsvcinchangées (br-public,l3-*) : les entrées parng-<id>etfip-<hex>sont déjà couvertes (rejet hors connexions établies dansin-ng-<id>, réécriture de la destination enrawpour l'IP flottante).Découpage
nft: chaîneshostsvcetmd-<vm>, pose, retrait, contrôle, tests.vm,vpc,watchdog: branchement sur nft, contrôle du watchdog sur la chaînehostsvc, suppression deinternal/iptables.bootstrap_kvm.sh(et sa copie du lab).fixture.sh(host_statelit la table nft du netns), 29 réécrit sur la chaîne nft (dont la panne simulée pour le watchdog), 61, 62.installation.rst,dns-ntp.rst,vpc-subnet-vm.rst,diagnostic.rst,observabilite.rst,vue-densemble.rst,lab.rst, notes 0.3.0.Lab : une seule campagne, suite complète, avec le diagnostic de #95.
Décision ajoutée (2026-10-31) :
br_netfiltern'est plus chargé parbootstrap_kvm.sh. Dès que le module est chargé,net.bridge.bridge-nf-call-iptablesvaut 1 par défaut, y compris dans les netns (mesuré en campagne 6) : retirer la seule ligne du sysctl ne changeait donc rien. Plus rien dans two n'en a besoin : le filtrage des ponts est en nftables (famillebridge), et l'agent coupe déjàbridge-nf-call-*dans les netns. Les notes 0.3.0 signalent qu'un hyperviseur déjà déployé garde le module chargé jusqu'à son redémarrage (oumodprobe -r br_netfilter). La campagne de lab de ce ticket relèveralsmodet les clésnet.bridge.*sur les hyperviseurs.Codé le 2026-10-31 sur
feature-90(5 commits) : chaîneshostsvcetmd-<vm>dans la tableip twodu netns,internal/iptablesretiré, e2e (29,host_state, 61, 62) et doc. Banc nft 1.0.6 vert ; non passé au lab.Campagne 8 (2026-10-31, evpn-3hv,
feature-39qui contientfeature-90)Suite complète : 33 scénarios verts sur 35. Les scénarios touchés par #90 passent : 23-metadonnees (26/26, DNAT metadata en nftables), 29-dns-ntp (54/54, chaîne
hostsvc, retrait et remise de règle par handle), 61-redemarrage-agent, 62-nettoyage-global. Les deux échecs sont sans lien : 13-hote (bug du test, #39) et 52-migration (#95).Limite : l'absence de
br_netfiltern'est pas testée par le labRelevé sur hv1, hv2 et hv3 :
br_netfilterchargé,net.bridge.bridge-nf-call-iptables = 1,/etc/modules-load.d/two.confprésent,/etc/sysctl.d/90-two.confavec l'ancienne lignebridge-nf-call-iptables.Cause :
test/e2e/topologies/provision/hypervisor.shdéploie d'abord la release 0.2.0 (deploy.shetbootstrap_kvm.shde la release), qui charge le module. L'arbre courant ne remplace ensuite que les binaires, les unités et le segment public (kvm_public_segment) ; sonkvm_kerneln'est pas joué.Les règles nftables de #90 sont donc validées par la suite complète sur des hôtes où le module est encore chargé. Pas de résidu à craindre en production (hôte sans état, bootstrap rejoué à chaque démarrage).
Essai partiel sans le module
Sur hv1, hv2 et hv3 :
kvm_kernelde l'arbre courant joué (sourcé commekvm_public_segmentpar le provisionnement),/etc/modules-load.d/two.confsupprimé,modprobe -r br_netfilter. Vérifié :90-two.confne contient plus queip_forward, module absent, plus de/proc/sys/net/bridge. L'agent tolère l'absence des clés dans les netns (internal/vpc/guard.go,sysctl.SetIfPresent).Suite relancée dans cet état, arrêtée volontairement après 7 scénarios pour libérer le serveur : 01-lab, 02-prerequis, 03-image, 11-validation, 12-etats, 13-hote, 21-dhcp-two, tous verts. Les scénarios réseau (23, 29, 3x, 4x, 5x, 6x) n'ont pas tourné sans le module.
À faire à la prochaine campagne : suite complète sans
br_netfilter, idéalement avec un provisionnement qui joue lekvm_kernelde l'arbre courant plutôt que celui de la release.Campagne 9 (2026-10-31) : comportement sans
br_netfiltervérifiéAvec #65, le lab joue désormais le bootstrap de l'arbre courant (plus celui de la 0.2.0). Relevé sur hv1, hv2 et hv3 :
/opt/two/<commit>/bin/agent(déployé depuis l'arbre) ;br_netfilterabsent, aucune clénet.bridge.*;/etc/sysctl.d/90-two.conf=net.ipv4.ip_forward = 1seulement ;vxlan-public(VNI 1) posé par le bootstrap de l'arbre.Suite complète (VM Debian 12) dans cet état : 34/35, le seul échec (52) venant d'un bug du correctif de #95, corrigé et validé ensuite. Les scénarios liés à #90 passent : 23-metadonnees, 29-dns-ntp, 46-passerelle-nat, 61, 62. Le point laissé ouvert dans le commentaire précédent est donc levé.