f-90: doc: redirections en nftables, notes 0.3.0 #90
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
8bab3e2e1f
commit
b2893c15c1
9 changed files with 30 additions and 22 deletions
|
|
@ -16,7 +16,7 @@ bash ./deploy.sh -t 0.2.0 -i
|
|||
|
||||
`deploy.sh` se met à jour lui-même depuis la branche, télécharge binaires, units systemd et
|
||||
scripts depuis la release, et les vérifie contre le manifeste `SHA256SUMS`. Le drapeau `-i`
|
||||
prépare l'host : paquets, module `br_netfilter`, `sysctl`, et bridges.
|
||||
prépare l'host : paquets, `sysctl`, et bridges.
|
||||
|
||||
Options utiles :
|
||||
|
||||
|
|
|
|||
|
|
@ -50,12 +50,12 @@ Paquets
|
|||
- network namespaces : create/delete/call
|
||||
* - ``internal/netif``
|
||||
- netlink : bridge, veth, vxlan, tap, routes, adresses
|
||||
* - ``internal/nft``, ``internal/iptables``
|
||||
- wrappers dédiés ; ne pas appeler ces binaires ailleurs
|
||||
* - ``internal/nft``
|
||||
- wrapper dédié ; ne pas appeler ``nft`` ailleurs
|
||||
* - ``internal/qemu``, ``internal/qmp``
|
||||
- lancement de QEMU et client QMP sur socket Unix
|
||||
* - ``internal/vm``
|
||||
- cycle de vie d'une VM : tap, iptables, metadata, qemu
|
||||
- cycle de vie d'une VM : tap, nftables, metadata, qemu
|
||||
* - ``internal/dhcp``
|
||||
- plan d'adressage ip → mac, et configurations dnsmasq du backend historique
|
||||
* - ``internal/dhcpbackend``
|
||||
|
|
|
|||
|
|
@ -13,18 +13,18 @@ Chemin d'une requête
|
|||
.. mermaid::
|
||||
|
||||
graph LR
|
||||
V["VM<br/>vers interface_ip:53 ou :123"] --> N["netns du VPC<br/>chaîne TWO-HOSTSVC<br/>DNAT vers 169.254.169.253"]
|
||||
V["VM<br/>vers interface_ip:53 ou :123"] --> N["netns du VPC<br/>chaîne nftables hostsvc<br/>DNAT vers 169.254.169.253"]
|
||||
N --> H["two-hostsvc<br/>socket dans le netns<br/>169.254.169.253 sur la dummy hostsvc"]
|
||||
H -->|"depuis l'hôte"| U["serveurs amont<br/>puis résolveur ou horloge de l'hôte"]
|
||||
|
||||
À la création d'un VPC sur l'hyperviseur, l'agent pose dans son netns :
|
||||
|
||||
* une interface ``dummy`` ``hostsvc`` portant ``169.254.169.253/32`` ;
|
||||
* une chaîne iptables ``TWO-HOSTSVC`` (table ``nat``), appelée depuis ``PREROUTING`` pour le seul
|
||||
trafic à destination d'une adresse locale du netns (``addrtype LOCAL`` : les gateways des
|
||||
subnets, anycast compris). Elle renvoie d'abord ce qui arrive par ``br-public`` (le segment
|
||||
public de l'hôte) et par ``l3-+`` (le lien vers la VRF), puis redirige 53 en UDP et TCP et 123
|
||||
en UDP vers ``169.254.169.253`` ;
|
||||
* une chaîne nftables ``hostsvc`` dans la table ``ip two``, accrochée à ``prerouting`` en
|
||||
priorité ``dstnat``. Elle renvoie d'abord ce qui arrive par ``br-public`` (le segment public de
|
||||
l'hôte) et par ``l3-*`` (le lien vers la VRF), puis redirige 53 en UDP et TCP et 123 en UDP vers
|
||||
``169.254.169.253``, pour le seul trafic à destination d'une adresse locale du netns
|
||||
(``fib daddr type local`` : les gateways des subnets, anycast compris) ;
|
||||
|
||||
puis demande à ``two-hostsvc`` d'ouvrir ses sockets dans ce netns. La réponse repart par
|
||||
conntrack, avec l'adresse de la gateway pour source. Une VM qui interroge un résolveur extérieur
|
||||
|
|
|
|||
|
|
@ -34,7 +34,7 @@ reçoivent du trafic. Il désactive aussi ``br_netfilter`` dans le netns
|
|||
conntrack voit chaque trame pontée et le SNAT de la passerelle NAT ne s'applique plus.
|
||||
|
||||
Dans le netns, l'agent pose aussi la ``dummy`` ``hostsvc`` (``169.254.169.253/32``) et la chaîne
|
||||
iptables ``TWO-HOSTSVC``, puis demande à ``two-hostsvc`` de servir le VPC : c'est le chemin du
|
||||
nftables ``hostsvc`` (table ``ip two``), puis demande à ``two-hostsvc`` de servir le VPC : c'est le chemin du
|
||||
DNS et du NTP des VM (voir :doc:`dns-ntp`). Si ``two-hostsvc`` ne répond pas, la création du VPC
|
||||
échoue.
|
||||
|
||||
|
|
|
|||
|
|
@ -8,7 +8,7 @@ Prérequis
|
|||
---------
|
||||
|
||||
Un host Linux avec KVM, sur lequel vous avez ``root``. Les opérations réseau (network
|
||||
namespaces, netlink, VXLAN, nftables, iptables) et QEMU ne fonctionnent que sous Linux.
|
||||
namespaces, netlink, VXLAN, nftables) et QEMU ne fonctionnent que sous Linux.
|
||||
|
||||
Déploiement
|
||||
-----------
|
||||
|
|
@ -75,7 +75,7 @@ Ce que fait ``-i``
|
|||
------------------
|
||||
|
||||
**Paquets** — ``qemu-system-x86``, ``qemu-utils``, ``ovmf``, ``dnsmasq``, ``nftables``,
|
||||
``iptables``, ``nfs-common``, ``jq``, ``curl``, **sans les paquets recommandés** : ceux de
|
||||
``nfs-common``, ``jq``, ``curl``, **sans les paquets recommandés** : ceux de
|
||||
``qemu-system-x86`` (interface graphique, gtk, gstreamer, pilotes de stockage réseau) ne servent
|
||||
pas à un hyperviseur sans écran, et l'installation passe d'environ 270 à 65 Mo — rejouée à chaque
|
||||
démarrage, la racine étant en tmpfs. ``qemu-utils`` est demandé explicitement : ``qemu-img`` sert
|
||||
|
|
@ -87,10 +87,11 @@ dans les netns.
|
|||
aux hyperviseurs qui déclarent ``dhcp.backend: dnsmasq``, et tant qu'un hyperviseur peut revenir
|
||||
en arrière. Voir :doc:`/exploitation/configuration`.
|
||||
|
||||
**Noyau** — chargement de ``br_netfilter``, puis ``net.ipv4.ip_forward = 1`` et
|
||||
``net.bridge.bridge-nf-call-iptables = 1``. Cette dernière clé est **requise** par la DNAT vers
|
||||
le serveur de metadata : sans elle, iptables ne voit pas le trafic bridgé des VM et cloud-init
|
||||
ne se provisionne pas. Contrepartie assumée : tout le trafic inter-VM traverse les tables NAT.
|
||||
**Noyau** — ``net.ipv4.ip_forward = 1``. ``br_netfilter`` n'est pas chargé : le filtrage des
|
||||
ponts est en nftables (famille ``bridge``) et les redirections vers le serveur de metadata et
|
||||
vers ``two-hostsvc`` sont posées dans le netns de chaque VPC, où l'agent coupe déjà
|
||||
``bridge-nf-call-*``. Chargé, le module ferait passer tout le trafic bridgé des VM par netfilter
|
||||
(``bridge-nf-call-iptables`` vaut 1 par défaut).
|
||||
|
||||
**Réseau** — création du bridge public, puis rattachement de l'uplink au bridge principal,
|
||||
l'adresse et la route par défaut étant déplacées de l'interface physique vers le bridge.
|
||||
|
|
|
|||
|
|
@ -274,7 +274,7 @@ code de sortie vaut 1 si une vérification échoue **ou si aucune n'a été fait
|
|||
**Tests autonomes.** Avant chaque test, le runner supprime les ressources ``tNN`` laissées par un
|
||||
passage précédent, puis relève l'état de chaque hôte de l'en-tête ``# hôtes:``. Après le test, il
|
||||
supprime ses VM, ses subnets puis ses VPC, et vérifie que l'hôte est revenu à l'état relevé
|
||||
(``assert_clean`` : netns, liens, adresses, routes, règles nftables de pont et iptables,
|
||||
(``assert_clean`` : netns, liens, adresses, routes, règles nftables de l'hôte et de chaque netns,
|
||||
configuration FRR et ``frr.conf``, fichiers de ``/run/two``, ``dnsmasq.d`` et des volumes, unités
|
||||
``two-vm-*``, processus dnsmasq et QEMU). Aucun test ne dépend d'un autre : n'importe lequel se lance seul.
|
||||
|
||||
|
|
|
|||
|
|
@ -150,6 +150,7 @@ Depuis l'host, l'instance correspondante :
|
|||
|
||||
systemctl status 'metadata@<vm>'
|
||||
ls -l /run/two/metadata/<vm>/
|
||||
ip netns exec <vpc> nft list chain ip two md-<vm> # une dnat par IP de la VM
|
||||
|
||||
Le user-data est servi vide
|
||||
---------------------------
|
||||
|
|
@ -179,8 +180,7 @@ est redirigée vers ``two-hostsvc`` dans le netns du VPC (voir :doc:`../concepts
|
|||
systemctl status two-hostsvc
|
||||
cat /run/two/hostsvc/hostsvc.state # le VPC doit y figurer
|
||||
ip -n <vpc> -4 addr show dev hostsvc # 169.254.169.253/32
|
||||
ip netns exec <vpc> iptables -t nat -S TWO-HOSTSVC # 2 RETURN puis 3 DNAT
|
||||
ip netns exec <vpc> iptables -t nat -L TWO-HOSTSVC -v -n # compteurs des redirections
|
||||
ip netns exec <vpc> nft list chain ip two hostsvc # 2 return puis 3 dnat
|
||||
ip netns exec <vpc> ss -lntu | grep 169.254.169.253 # 53/udp, 53/tcp, 123/udp
|
||||
journalctl -u two-hostsvc -n 50
|
||||
|
||||
|
|
|
|||
|
|
@ -52,8 +52,8 @@ Dès qu'un VPC est ``running`` sur l'hyperviseur, il contrôle aussi le relais D
|
|||
* ``two-hostsvc`` injoignable sur sa socket de contrôle : une notification, aucun VPC de
|
||||
l'hyperviseur n'a plus de DNS ni de NTP ;
|
||||
* pour chaque VPC ``running`` : VPC absent de la liste servie par ``two-hostsvc``,
|
||||
``169.254.169.253`` absente de la ``dummy`` ``hostsvc``, ou chaîne ``TWO-HOSTSVC`` absente ou
|
||||
incomplète dans son netns. Un VPC créé par une version antérieure à la 0.3.0 n'a rien de tout
|
||||
``169.254.169.253`` absente de la ``dummy`` ``hostsvc``, ou chaîne ``hostsvc`` de la table
|
||||
``ip two`` absente ou incomplète dans son netns. Un VPC créé par une version antérieure à la 0.3.0 n'a rien de tout
|
||||
cela : il est signalé à chaque tick jusqu'à sa recréation.
|
||||
|
||||
Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de contrôle :
|
||||
|
|
|
|||
|
|
@ -164,6 +164,13 @@
|
|||
`nftables` à la place d'`ebtables`. Les règles ebtables des subnets existants ne sont ni
|
||||
reprises ni retirées : vider l'hyperviseur (VM, subnets, VPC) avant la mise à jour, puis les
|
||||
recréer
|
||||
- **Les redirections passent d'iptables à nftables (#90)** : celle des métadonnées (une chaîne
|
||||
`md-<vm>` par VM) et celle du DNS et du NTP (chaîne `hostsvc`) sont posées dans la table
|
||||
`ip two` du netns de chaque VPC. `bootstrap_kvm.sh` n'installe plus `iptables`, ne charge plus
|
||||
`br_netfilter` et n'écrit plus `net.bridge.bridge-nf-call-iptables = 1`. L'agent ne reprend
|
||||
pas les règles iptables des VM créées par la 0.2.0 : le vidage de l'hyperviseur demandé
|
||||
ci-dessous les retire. Sur un hyperviseur déjà déployé, le module reste chargé jusqu'au
|
||||
redémarrage (ou `modprobe -r br_netfilter`)
|
||||
- **Une VM ne peut plus émettre depuis une adresse qui n'est pas la sienne (#76)** : une VM qui
|
||||
route pour d'autres machines, porte une adresse supplémentaire ou sert le DHCP perd ce trafic.
|
||||
Pour un serveur DHCP, créer l'interface avec `dhcp_server: true`
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue