f-90: doc: redirections en nftables, notes 0.3.0 #90

Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
GnomeZworc 2026-10-31 14:15:22 +01:00
commit b2893c15c1
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
9 changed files with 30 additions and 22 deletions

View file

@ -16,7 +16,7 @@ bash ./deploy.sh -t 0.2.0 -i
`deploy.sh` se met à jour lui-même depuis la branche, télécharge binaires, units systemd et `deploy.sh` se met à jour lui-même depuis la branche, télécharge binaires, units systemd et
scripts depuis la release, et les vérifie contre le manifeste `SHA256SUMS`. Le drapeau `-i` scripts depuis la release, et les vérifie contre le manifeste `SHA256SUMS`. Le drapeau `-i`
prépare l'host : paquets, module `br_netfilter`, `sysctl`, et bridges. prépare l'host : paquets, `sysctl`, et bridges.
Options utiles : Options utiles :

View file

@ -50,12 +50,12 @@ Paquets
- network namespaces : create/delete/call - network namespaces : create/delete/call
* - ``internal/netif`` * - ``internal/netif``
- netlink : bridge, veth, vxlan, tap, routes, adresses - netlink : bridge, veth, vxlan, tap, routes, adresses
* - ``internal/nft``, ``internal/iptables`` * - ``internal/nft``
- wrappers dédiés ; ne pas appeler ces binaires ailleurs - wrapper dédié ; ne pas appeler ``nft`` ailleurs
* - ``internal/qemu``, ``internal/qmp`` * - ``internal/qemu``, ``internal/qmp``
- lancement de QEMU et client QMP sur socket Unix - lancement de QEMU et client QMP sur socket Unix
* - ``internal/vm`` * - ``internal/vm``
- cycle de vie d'une VM : tap, iptables, metadata, qemu - cycle de vie d'une VM : tap, nftables, metadata, qemu
* - ``internal/dhcp`` * - ``internal/dhcp``
- plan d'adressage ip → mac, et configurations dnsmasq du backend historique - plan d'adressage ip → mac, et configurations dnsmasq du backend historique
* - ``internal/dhcpbackend`` * - ``internal/dhcpbackend``

View file

@ -13,18 +13,18 @@ Chemin d'une requête
.. mermaid:: .. mermaid::
graph LR graph LR
V["VM<br/>vers interface_ip:53 ou :123"] --> N["netns du VPC<br/>chaîne TWO-HOSTSVC<br/>DNAT vers 169.254.169.253"] V["VM<br/>vers interface_ip:53 ou :123"] --> N["netns du VPC<br/>chaîne nftables hostsvc<br/>DNAT vers 169.254.169.253"]
N --> H["two-hostsvc<br/>socket dans le netns<br/>169.254.169.253 sur la dummy hostsvc"] N --> H["two-hostsvc<br/>socket dans le netns<br/>169.254.169.253 sur la dummy hostsvc"]
H -->|"depuis l'hôte"| U["serveurs amont<br/>puis résolveur ou horloge de l'hôte"] H -->|"depuis l'hôte"| U["serveurs amont<br/>puis résolveur ou horloge de l'hôte"]
À la création d'un VPC sur l'hyperviseur, l'agent pose dans son netns : À la création d'un VPC sur l'hyperviseur, l'agent pose dans son netns :
* une interface ``dummy`` ``hostsvc`` portant ``169.254.169.253/32`` ; * une interface ``dummy`` ``hostsvc`` portant ``169.254.169.253/32`` ;
* une chaîne iptables ``TWO-HOSTSVC`` (table ``nat``), appelée depuis ``PREROUTING`` pour le seul * une chaîne nftables ``hostsvc`` dans la table ``ip two``, accrochée à ``prerouting`` en
trafic à destination d'une adresse locale du netns (``addrtype LOCAL`` : les gateways des priorité ``dstnat``. Elle renvoie d'abord ce qui arrive par ``br-public`` (le segment public de
subnets, anycast compris). Elle renvoie d'abord ce qui arrive par ``br-public`` (le segment l'hôte) et par ``l3-*`` (le lien vers la VRF), puis redirige 53 en UDP et TCP et 123 en UDP vers
public de l'hôte) et par ``l3-+`` (le lien vers la VRF), puis redirige 53 en UDP et TCP et 123 ``169.254.169.253``, pour le seul trafic à destination d'une adresse locale du netns
en UDP vers ``169.254.169.253`` ; (``fib daddr type local`` : les gateways des subnets, anycast compris) ;
puis demande à ``two-hostsvc`` d'ouvrir ses sockets dans ce netns. La réponse repart par puis demande à ``two-hostsvc`` d'ouvrir ses sockets dans ce netns. La réponse repart par
conntrack, avec l'adresse de la gateway pour source. Une VM qui interroge un résolveur extérieur conntrack, avec l'adresse de la gateway pour source. Une VM qui interroge un résolveur extérieur

View file

@ -34,7 +34,7 @@ reçoivent du trafic. Il désactive aussi ``br_netfilter`` dans le netns
conntrack voit chaque trame pontée et le SNAT de la passerelle NAT ne s'applique plus. conntrack voit chaque trame pontée et le SNAT de la passerelle NAT ne s'applique plus.
Dans le netns, l'agent pose aussi la ``dummy`` ``hostsvc`` (``169.254.169.253/32``) et la chaîne Dans le netns, l'agent pose aussi la ``dummy`` ``hostsvc`` (``169.254.169.253/32``) et la chaîne
iptables ``TWO-HOSTSVC``, puis demande à ``two-hostsvc`` de servir le VPC : c'est le chemin du nftables ``hostsvc`` (table ``ip two``), puis demande à ``two-hostsvc`` de servir le VPC : c'est le chemin du
DNS et du NTP des VM (voir :doc:`dns-ntp`). Si ``two-hostsvc`` ne répond pas, la création du VPC DNS et du NTP des VM (voir :doc:`dns-ntp`). Si ``two-hostsvc`` ne répond pas, la création du VPC
échoue. échoue.

View file

@ -8,7 +8,7 @@ Prérequis
--------- ---------
Un host Linux avec KVM, sur lequel vous avez ``root``. Les opérations réseau (network Un host Linux avec KVM, sur lequel vous avez ``root``. Les opérations réseau (network
namespaces, netlink, VXLAN, nftables, iptables) et QEMU ne fonctionnent que sous Linux. namespaces, netlink, VXLAN, nftables) et QEMU ne fonctionnent que sous Linux.
Déploiement Déploiement
----------- -----------
@ -75,7 +75,7 @@ Ce que fait ``-i``
------------------ ------------------
**Paquets** — ``qemu-system-x86``, ``qemu-utils``, ``ovmf``, ``dnsmasq``, ``nftables``, **Paquets** — ``qemu-system-x86``, ``qemu-utils``, ``ovmf``, ``dnsmasq``, ``nftables``,
``iptables``, ``nfs-common``, ``jq``, ``curl``, **sans les paquets recommandés** : ceux de ``nfs-common``, ``jq``, ``curl``, **sans les paquets recommandés** : ceux de
``qemu-system-x86`` (interface graphique, gtk, gstreamer, pilotes de stockage réseau) ne servent ``qemu-system-x86`` (interface graphique, gtk, gstreamer, pilotes de stockage réseau) ne servent
pas à un hyperviseur sans écran, et l'installation passe d'environ 270 à 65 Mo — rejouée à chaque pas à un hyperviseur sans écran, et l'installation passe d'environ 270 à 65 Mo — rejouée à chaque
démarrage, la racine étant en tmpfs. ``qemu-utils`` est demandé explicitement : ``qemu-img`` sert démarrage, la racine étant en tmpfs. ``qemu-utils`` est demandé explicitement : ``qemu-img`` sert
@ -87,10 +87,11 @@ dans les netns.
aux hyperviseurs qui déclarent ``dhcp.backend: dnsmasq``, et tant qu'un hyperviseur peut revenir aux hyperviseurs qui déclarent ``dhcp.backend: dnsmasq``, et tant qu'un hyperviseur peut revenir
en arrière. Voir :doc:`/exploitation/configuration`. en arrière. Voir :doc:`/exploitation/configuration`.
**Noyau** — chargement de ``br_netfilter``, puis ``net.ipv4.ip_forward = 1`` et **Noyau** — ``net.ipv4.ip_forward = 1``. ``br_netfilter`` n'est pas chargé : le filtrage des
``net.bridge.bridge-nf-call-iptables = 1``. Cette dernière clé est **requise** par la DNAT vers ponts est en nftables (famille ``bridge``) et les redirections vers le serveur de metadata et
le serveur de metadata : sans elle, iptables ne voit pas le trafic bridgé des VM et cloud-init vers ``two-hostsvc`` sont posées dans le netns de chaque VPC, où l'agent coupe déjà
ne se provisionne pas. Contrepartie assumée : tout le trafic inter-VM traverse les tables NAT. ``bridge-nf-call-*``. Chargé, le module ferait passer tout le trafic bridgé des VM par netfilter
(``bridge-nf-call-iptables`` vaut 1 par défaut).
**Réseau** — création du bridge public, puis rattachement de l'uplink au bridge principal, **Réseau** — création du bridge public, puis rattachement de l'uplink au bridge principal,
l'adresse et la route par défaut étant déplacées de l'interface physique vers le bridge. l'adresse et la route par défaut étant déplacées de l'interface physique vers le bridge.

View file

@ -274,7 +274,7 @@ code de sortie vaut 1 si une vérification échoue **ou si aucune n'a été fait
**Tests autonomes.** Avant chaque test, le runner supprime les ressources ``tNN`` laissées par un **Tests autonomes.** Avant chaque test, le runner supprime les ressources ``tNN`` laissées par un
passage précédent, puis relève l'état de chaque hôte de l'en-tête ``# hôtes:``. Après le test, il passage précédent, puis relève l'état de chaque hôte de l'en-tête ``# hôtes:``. Après le test, il
supprime ses VM, ses subnets puis ses VPC, et vérifie que l'hôte est revenu à l'état relevé supprime ses VM, ses subnets puis ses VPC, et vérifie que l'hôte est revenu à l'état relevé
(``assert_clean`` : netns, liens, adresses, routes, règles nftables de pont et iptables, (``assert_clean`` : netns, liens, adresses, routes, règles nftables de l'hôte et de chaque netns,
configuration FRR et ``frr.conf``, fichiers de ``/run/two``, ``dnsmasq.d`` et des volumes, unités configuration FRR et ``frr.conf``, fichiers de ``/run/two``, ``dnsmasq.d`` et des volumes, unités
``two-vm-*``, processus dnsmasq et QEMU). Aucun test ne dépend d'un autre : n'importe lequel se lance seul. ``two-vm-*``, processus dnsmasq et QEMU). Aucun test ne dépend d'un autre : n'importe lequel se lance seul.

View file

@ -150,6 +150,7 @@ Depuis l'host, l'instance correspondante :
systemctl status 'metadata@<vm>' systemctl status 'metadata@<vm>'
ls -l /run/two/metadata/<vm>/ ls -l /run/two/metadata/<vm>/
ip netns exec <vpc> nft list chain ip two md-<vm> # une dnat par IP de la VM
Le user-data est servi vide Le user-data est servi vide
--------------------------- ---------------------------
@ -179,8 +180,7 @@ est redirigée vers ``two-hostsvc`` dans le netns du VPC (voir :doc:`../concepts
systemctl status two-hostsvc systemctl status two-hostsvc
cat /run/two/hostsvc/hostsvc.state # le VPC doit y figurer cat /run/two/hostsvc/hostsvc.state # le VPC doit y figurer
ip -n <vpc> -4 addr show dev hostsvc # 169.254.169.253/32 ip -n <vpc> -4 addr show dev hostsvc # 169.254.169.253/32
ip netns exec <vpc> iptables -t nat -S TWO-HOSTSVC # 2 RETURN puis 3 DNAT ip netns exec <vpc> nft list chain ip two hostsvc # 2 return puis 3 dnat
ip netns exec <vpc> iptables -t nat -L TWO-HOSTSVC -v -n # compteurs des redirections
ip netns exec <vpc> ss -lntu | grep 169.254.169.253 # 53/udp, 53/tcp, 123/udp ip netns exec <vpc> ss -lntu | grep 169.254.169.253 # 53/udp, 53/tcp, 123/udp
journalctl -u two-hostsvc -n 50 journalctl -u two-hostsvc -n 50

View file

@ -52,8 +52,8 @@ Dès qu'un VPC est ``running`` sur l'hyperviseur, il contrôle aussi le relais D
* ``two-hostsvc`` injoignable sur sa socket de contrôle : une notification, aucun VPC de * ``two-hostsvc`` injoignable sur sa socket de contrôle : une notification, aucun VPC de
l'hyperviseur n'a plus de DNS ni de NTP ; l'hyperviseur n'a plus de DNS ni de NTP ;
* pour chaque VPC ``running`` : VPC absent de la liste servie par ``two-hostsvc``, * pour chaque VPC ``running`` : VPC absent de la liste servie par ``two-hostsvc``,
``169.254.169.253`` absente de la ``dummy`` ``hostsvc``, ou chaîne ``TWO-HOSTSVC`` absente ou ``169.254.169.253`` absente de la ``dummy`` ``hostsvc``, ou chaîne ``hostsvc`` de la table
incomplète dans son netns. Un VPC créé par une version antérieure à la 0.3.0 n'a rien de tout ``ip two`` absente ou incomplète dans son netns. Un VPC créé par une version antérieure à la 0.3.0 n'a rien de tout
cela : il est signalé à chaque tick jusqu'à sa recréation. cela : il est signalé à chaque tick jusqu'à sa recréation.
Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de contrôle : Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de contrôle :

View file

@ -164,6 +164,13 @@
`nftables` à la place d'`ebtables`. Les règles ebtables des subnets existants ne sont ni `nftables` à la place d'`ebtables`. Les règles ebtables des subnets existants ne sont ni
reprises ni retirées : vider l'hyperviseur (VM, subnets, VPC) avant la mise à jour, puis les reprises ni retirées : vider l'hyperviseur (VM, subnets, VPC) avant la mise à jour, puis les
recréer recréer
- **Les redirections passent d'iptables à nftables (#90)** : celle des métadonnées (une chaîne
`md-<vm>` par VM) et celle du DNS et du NTP (chaîne `hostsvc`) sont posées dans la table
`ip two` du netns de chaque VPC. `bootstrap_kvm.sh` n'installe plus `iptables`, ne charge plus
`br_netfilter` et n'écrit plus `net.bridge.bridge-nf-call-iptables = 1`. L'agent ne reprend
pas les règles iptables des VM créées par la 0.2.0 : le vidage de l'hyperviseur demandé
ci-dessous les retire. Sur un hyperviseur déjà déployé, le module reste chargé jusqu'au
redémarrage (ou `modprobe -r br_netfilter`)
- **Une VM ne peut plus émettre depuis une adresse qui n'est pas la sienne (#76)** : une VM qui - **Une VM ne peut plus émettre depuis une adresse qui n'est pas la sienne (#76)** : une VM qui
route pour d'autres machines, porte une adresse supplémentaire ou sert le DHCP perd ce trafic. route pour d'autres machines, porte une adresse supplémentaire ou sert le DHCP perd ce trafic.
Pour un serveur DHCP, créer l'interface avec `dhcp_server: true` Pour un serveur DHCP, créer l'interface avec `dhcp_server: true`