diff --git a/README.md b/README.md index 9a1d9fa..7aa1b95 100644 --- a/README.md +++ b/README.md @@ -16,7 +16,7 @@ bash ./deploy.sh -t 0.2.0 -i `deploy.sh` se met à jour lui-même depuis la branche, télécharge binaires, units systemd et scripts depuis la release, et les vérifie contre le manifeste `SHA256SUMS`. Le drapeau `-i` -prépare l'host : paquets, module `br_netfilter`, `sysctl`, et bridges. +prépare l'host : paquets, `sysctl`, et bridges. Options utiles : diff --git a/docs/architecture/vue-densemble.rst b/docs/architecture/vue-densemble.rst index 1c06d4c..79e1efb 100644 --- a/docs/architecture/vue-densemble.rst +++ b/docs/architecture/vue-densemble.rst @@ -50,12 +50,12 @@ Paquets - network namespaces : create/delete/call * - ``internal/netif`` - netlink : bridge, veth, vxlan, tap, routes, adresses - * - ``internal/nft``, ``internal/iptables`` - - wrappers dédiés ; ne pas appeler ces binaires ailleurs + * - ``internal/nft`` + - wrapper dédié ; ne pas appeler ``nft`` ailleurs * - ``internal/qemu``, ``internal/qmp`` - lancement de QEMU et client QMP sur socket Unix * - ``internal/vm`` - - cycle de vie d'une VM : tap, iptables, metadata, qemu + - cycle de vie d'une VM : tap, nftables, metadata, qemu * - ``internal/dhcp`` - plan d'adressage ip → mac, et configurations dnsmasq du backend historique * - ``internal/dhcpbackend`` diff --git a/docs/concepts/dns-ntp.rst b/docs/concepts/dns-ntp.rst index 04b2f31..f92bbec 100644 --- a/docs/concepts/dns-ntp.rst +++ b/docs/concepts/dns-ntp.rst @@ -13,18 +13,18 @@ Chemin d'une requête .. mermaid:: graph LR - V["VM
vers interface_ip:53 ou :123"] --> N["netns du VPC
chaîne TWO-HOSTSVC
DNAT vers 169.254.169.253"] + V["VM
vers interface_ip:53 ou :123"] --> N["netns du VPC
chaîne nftables hostsvc
DNAT vers 169.254.169.253"] N --> H["two-hostsvc
socket dans le netns
169.254.169.253 sur la dummy hostsvc"] H -->|"depuis l'hôte"| U["serveurs amont
puis résolveur ou horloge de l'hôte"] À la création d'un VPC sur l'hyperviseur, l'agent pose dans son netns : * une interface ``dummy`` ``hostsvc`` portant ``169.254.169.253/32`` ; -* une chaîne iptables ``TWO-HOSTSVC`` (table ``nat``), appelée depuis ``PREROUTING`` pour le seul - trafic à destination d'une adresse locale du netns (``addrtype LOCAL`` : les gateways des - subnets, anycast compris). Elle renvoie d'abord ce qui arrive par ``br-public`` (le segment - public de l'hôte) et par ``l3-+`` (le lien vers la VRF), puis redirige 53 en UDP et TCP et 123 - en UDP vers ``169.254.169.253`` ; +* une chaîne nftables ``hostsvc`` dans la table ``ip two``, accrochée à ``prerouting`` en + priorité ``dstnat``. Elle renvoie d'abord ce qui arrive par ``br-public`` (le segment public de + l'hôte) et par ``l3-*`` (le lien vers la VRF), puis redirige 53 en UDP et TCP et 123 en UDP vers + ``169.254.169.253``, pour le seul trafic à destination d'une adresse locale du netns + (``fib daddr type local`` : les gateways des subnets, anycast compris) ; puis demande à ``two-hostsvc`` d'ouvrir ses sockets dans ce netns. La réponse repart par conntrack, avec l'adresse de la gateway pour source. Une VM qui interroge un résolveur extérieur diff --git a/docs/concepts/vpc-subnet-vm.rst b/docs/concepts/vpc-subnet-vm.rst index 856dbfb..21ad46e 100644 --- a/docs/concepts/vpc-subnet-vm.rst +++ b/docs/concepts/vpc-subnet-vm.rst @@ -34,7 +34,7 @@ reçoivent du trafic. Il désactive aussi ``br_netfilter`` dans le netns conntrack voit chaque trame pontée et le SNAT de la passerelle NAT ne s'applique plus. Dans le netns, l'agent pose aussi la ``dummy`` ``hostsvc`` (``169.254.169.253/32``) et la chaîne -iptables ``TWO-HOSTSVC``, puis demande à ``two-hostsvc`` de servir le VPC : c'est le chemin du +nftables ``hostsvc`` (table ``ip two``), puis demande à ``two-hostsvc`` de servir le VPC : c'est le chemin du DNS et du NTP des VM (voir :doc:`dns-ntp`). Si ``two-hostsvc`` ne répond pas, la création du VPC échoue. diff --git a/docs/demarrage/installation.rst b/docs/demarrage/installation.rst index 92215b0..75778d2 100644 --- a/docs/demarrage/installation.rst +++ b/docs/demarrage/installation.rst @@ -8,7 +8,7 @@ Prérequis --------- Un host Linux avec KVM, sur lequel vous avez ``root``. Les opérations réseau (network -namespaces, netlink, VXLAN, nftables, iptables) et QEMU ne fonctionnent que sous Linux. +namespaces, netlink, VXLAN, nftables) et QEMU ne fonctionnent que sous Linux. Déploiement ----------- @@ -75,7 +75,7 @@ Ce que fait ``-i`` ------------------ **Paquets** — ``qemu-system-x86``, ``qemu-utils``, ``ovmf``, ``dnsmasq``, ``nftables``, -``iptables``, ``nfs-common``, ``jq``, ``curl``, **sans les paquets recommandés** : ceux de +``nfs-common``, ``jq``, ``curl``, **sans les paquets recommandés** : ceux de ``qemu-system-x86`` (interface graphique, gtk, gstreamer, pilotes de stockage réseau) ne servent pas à un hyperviseur sans écran, et l'installation passe d'environ 270 à 65 Mo — rejouée à chaque démarrage, la racine étant en tmpfs. ``qemu-utils`` est demandé explicitement : ``qemu-img`` sert @@ -87,10 +87,11 @@ dans les netns. aux hyperviseurs qui déclarent ``dhcp.backend: dnsmasq``, et tant qu'un hyperviseur peut revenir en arrière. Voir :doc:`/exploitation/configuration`. -**Noyau** — chargement de ``br_netfilter``, puis ``net.ipv4.ip_forward = 1`` et -``net.bridge.bridge-nf-call-iptables = 1``. Cette dernière clé est **requise** par la DNAT vers -le serveur de metadata : sans elle, iptables ne voit pas le trafic bridgé des VM et cloud-init -ne se provisionne pas. Contrepartie assumée : tout le trafic inter-VM traverse les tables NAT. +**Noyau** — ``net.ipv4.ip_forward = 1``. ``br_netfilter`` n'est pas chargé : le filtrage des +ponts est en nftables (famille ``bridge``) et les redirections vers le serveur de metadata et +vers ``two-hostsvc`` sont posées dans le netns de chaque VPC, où l'agent coupe déjà +``bridge-nf-call-*``. Chargé, le module ferait passer tout le trafic bridgé des VM par netfilter +(``bridge-nf-call-iptables`` vaut 1 par défaut). **Réseau** — création du bridge public, puis rattachement de l'uplink au bridge principal, l'adresse et la route par défaut étant déplacées de l'interface physique vers le bridge. diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index f748423..893a701 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -274,7 +274,7 @@ code de sortie vaut 1 si une vérification échoue **ou si aucune n'a été fait **Tests autonomes.** Avant chaque test, le runner supprime les ressources ``tNN`` laissées par un passage précédent, puis relève l'état de chaque hôte de l'en-tête ``# hôtes:``. Après le test, il supprime ses VM, ses subnets puis ses VPC, et vérifie que l'hôte est revenu à l'état relevé -(``assert_clean`` : netns, liens, adresses, routes, règles nftables de pont et iptables, +(``assert_clean`` : netns, liens, adresses, routes, règles nftables de l'hôte et de chaque netns, configuration FRR et ``frr.conf``, fichiers de ``/run/two``, ``dnsmasq.d`` et des volumes, unités ``two-vm-*``, processus dnsmasq et QEMU). Aucun test ne dépend d'un autre : n'importe lequel se lance seul. diff --git a/docs/exploitation/diagnostic.rst b/docs/exploitation/diagnostic.rst index 1cb045f..08a79db 100644 --- a/docs/exploitation/diagnostic.rst +++ b/docs/exploitation/diagnostic.rst @@ -150,6 +150,7 @@ Depuis l'host, l'instance correspondante : systemctl status 'metadata@' ls -l /run/two/metadata// + ip netns exec nft list chain ip two md- # une dnat par IP de la VM Le user-data est servi vide --------------------------- @@ -179,8 +180,7 @@ est redirigée vers ``two-hostsvc`` dans le netns du VPC (voir :doc:`../concepts systemctl status two-hostsvc cat /run/two/hostsvc/hostsvc.state # le VPC doit y figurer ip -n -4 addr show dev hostsvc # 169.254.169.253/32 - ip netns exec iptables -t nat -S TWO-HOSTSVC # 2 RETURN puis 3 DNAT - ip netns exec iptables -t nat -L TWO-HOSTSVC -v -n # compteurs des redirections + ip netns exec nft list chain ip two hostsvc # 2 return puis 3 dnat ip netns exec ss -lntu | grep 169.254.169.253 # 53/udp, 53/tcp, 123/udp journalctl -u two-hostsvc -n 50 diff --git a/docs/exploitation/observabilite.rst b/docs/exploitation/observabilite.rst index dee3e6a..6ecb44e 100644 --- a/docs/exploitation/observabilite.rst +++ b/docs/exploitation/observabilite.rst @@ -52,8 +52,8 @@ Dès qu'un VPC est ``running`` sur l'hyperviseur, il contrôle aussi le relais D * ``two-hostsvc`` injoignable sur sa socket de contrôle : une notification, aucun VPC de l'hyperviseur n'a plus de DNS ni de NTP ; * pour chaque VPC ``running`` : VPC absent de la liste servie par ``two-hostsvc``, - ``169.254.169.253`` absente de la ``dummy`` ``hostsvc``, ou chaîne ``TWO-HOSTSVC`` absente ou - incomplète dans son netns. Un VPC créé par une version antérieure à la 0.3.0 n'a rien de tout + ``169.254.169.253`` absente de la ``dummy`` ``hostsvc``, ou chaîne ``hostsvc`` de la table + ``ip two`` absente ou incomplète dans son netns. Un VPC créé par une version antérieure à la 0.3.0 n'a rien de tout cela : il est signalé à chaque tick jusqu'à sa recréation. Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de contrôle : diff --git a/release_notes/0.3.0.md b/release_notes/0.3.0.md index 59a3223..16ba78c 100644 --- a/release_notes/0.3.0.md +++ b/release_notes/0.3.0.md @@ -164,6 +164,13 @@ `nftables` à la place d'`ebtables`. Les règles ebtables des subnets existants ne sont ni reprises ni retirées : vider l'hyperviseur (VM, subnets, VPC) avant la mise à jour, puis les recréer +- **Les redirections passent d'iptables à nftables (#90)** : celle des métadonnées (une chaîne + `md-` par VM) et celle du DNS et du NTP (chaîne `hostsvc`) sont posées dans la table + `ip two` du netns de chaque VPC. `bootstrap_kvm.sh` n'installe plus `iptables`, ne charge plus + `br_netfilter` et n'écrit plus `net.bridge.bridge-nf-call-iptables = 1`. L'agent ne reprend + pas les règles iptables des VM créées par la 0.2.0 : le vidage de l'hyperviseur demandé + ci-dessous les retire. Sur un hyperviseur déjà déployé, le module reste chargé jusqu'au + redémarrage (ou `modprobe -r br_netfilter`) - **Une VM ne peut plus émettre depuis une adresse qui n'est pas la sienne (#76)** : une VM qui route pour d'autres machines, porte une adresse supplémentaire ou sert le DHCP perd ce trafic. Pour un serveur DHCP, créer l'interface avec `dhcp_server: true`