f-76: nft: règles de pont en nftables, ebtables retiré #76
internal/nft pose les règles d'un port en une transaction, dans une table bridge two par netns de VPC. Subnets, gateway anycast et watchdog l'utilisent, même filtrage qu'avec ebtables. bootstrap_kvm.sh et le lab installent nftables ; helpers e2e, doc et notes 0.3.0 suivent. Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
da6295baf1
commit
d98e42e0a8
27 changed files with 823 additions and 341 deletions
|
|
@ -18,7 +18,7 @@ Réseau
|
|||
* **La route vers le CIDR du VPC garde ``interface_ip`` comme next-hop** dans tous les modes sauf
|
||||
``bridge`` : sur un subnet à IP publique, le trafic interne ne doit pas sortir par la gateway
|
||||
publique.
|
||||
* **La MAC anycast d'une gateway ``vxlan`` ne sort jamais du netns** : règles ebtables sur le veth
|
||||
* **La MAC anycast d'une gateway ``vxlan`` ne sort jamais du netns** : règles nftables sur le veth
|
||||
du subnet (source anycast rejetée en entrée et en sortie) **et** entrée FDB locale dans le bridge
|
||||
du netns. Sans l'entrée FDB, que le macvlan ne crée pas, toute trame d'une VM vers sa gateway est
|
||||
inondée vers le fabric et traitée par la gateway de chaque hôte.
|
||||
|
|
|
|||
|
|
@ -50,7 +50,7 @@ Paquets
|
|||
- network namespaces : create/enter/delete/call
|
||||
* - ``internal/netif``
|
||||
- netlink : bridge, veth, vxlan, tap, routes, adresses
|
||||
* - ``internal/ebtables``, ``internal/iptables``
|
||||
* - ``internal/nft``, ``internal/iptables``
|
||||
- wrappers dédiés ; ne pas appeler ces binaires ailleurs
|
||||
* - ``internal/qemu``, ``internal/qmp``
|
||||
- lancement de QEMU et client QMP sur socket Unix
|
||||
|
|
|
|||
|
|
@ -96,8 +96,8 @@ La MAC anycast ne doit **jamais** sortir du netns : vue depuis le fabric, elle s
|
|||
EVPN par chaque hôte, détectée en double, et déplacerait l'apprentissage des bridges. Trois
|
||||
mécanismes la confinent :
|
||||
|
||||
* ebtables, sur le veth du subnet : toute trame de **source** anycast est rejetée à l'entrée
|
||||
(``nat PREROUTING``) et à la sortie (``FORWARD`` et ``OUTPUT``) ;
|
||||
* nftables, sur le veth du subnet : toute trame de **source** anycast est rejetée à l'entrée
|
||||
(``prerouting``) et à la sortie (``forward`` et ``output``) ;
|
||||
* une **entrée FDB locale** pour la MAC anycast dans le bridge du netns. Le macvlan ne la crée pas
|
||||
lui-même : sans elle, toute trame d'une VM vers sa gateway est inondée vers le fabric et les
|
||||
autres VM, et traitée par la gateway de chaque hôte ;
|
||||
|
|
@ -106,7 +106,7 @@ mécanismes la confinent :
|
|||
|
||||
IPv6 n'est pas désactivé sur le macvlan : ses trames (DAD, ND) sont arrêtées par le confinement.
|
||||
Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l'entrée FDB ; il ne relit pas les
|
||||
règles ebtables.
|
||||
règles nftables.
|
||||
|
||||
Subnets créés avant la gateway anycast
|
||||
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
|
||||
|
|
@ -124,19 +124,28 @@ VPC : le trafic sort par le bridge, et la VM est joignable depuis l'host.
|
|||
|
||||
Le même subnet peut être posé sur plusieurs hôtes raccordés au même segment. Chaque hôte porte
|
||||
alors la **même** ``interface_ip`` dans son netns, avec sa propre MAC. Pour qu'une VM ne voie que
|
||||
l'``interface_ip`` de son hôte (gateway, metadata, DHCP), l'agent pose quatre règles ebtables sur
|
||||
l'``interface_ip`` de son hôte (gateway, metadata, DHCP), l'agent pose quatre règles nftables sur
|
||||
le veth du subnet dans le netns (``v-<subnet>-i``), en sortie vers le bridge de l'host :
|
||||
|
||||
* les requêtes ARP des VM **vers** ``interface_ip`` ne quittent pas l'hôte (``FORWARD``) ;
|
||||
* les requêtes ARP des VM **vers** ``interface_ip`` ne quittent pas l'hôte (``forward``) ;
|
||||
* l'ARP émis **depuis** ``interface_ip`` par le netns, requêtes et réponses, ne sort pas
|
||||
(``OUTPUT``) : une VM d'un autre hôte n'associe jamais ``interface_ip`` à cet hôte ;
|
||||
* le DHCP émis depuis ``interface_ip`` ne sort ni en transit (``FORWARD``) ni depuis le serveur
|
||||
local lui-même (``OUTPUT``).
|
||||
(``output``) : une VM d'un autre hôte n'associe jamais ``interface_ip`` à cet hôte ;
|
||||
* le DHCP émis depuis ``interface_ip`` ne sort ni en transit (``forward``) ni depuis le serveur
|
||||
local lui-même (``output``).
|
||||
|
||||
Le trafic entre VM du subnet, sur un même hôte ou sur des hôtes différents, n'est pas concerné.
|
||||
Par conception, une VM ne joint pas le netns d'un autre hôte. Les règles sont retirées à la
|
||||
suppression du subnet ; une règle déjà absente ne fait pas échouer la suppression. Le watchdog
|
||||
signale les règles manquantes.
|
||||
signale les règles manquantes et celles qui ne sont pas de l'agent.
|
||||
|
||||
Règles de pont
|
||||
--------------
|
||||
|
||||
Dans les deux modes, les règles de couche 2 vivent dans une table nftables ``bridge two`` du netns
|
||||
du VPC. Trois chaînes de base (``prerouting``, ``forward``, ``output``) aiguillent chaque trame,
|
||||
selon l'interface d'entrée ou de sortie, vers la chaîne du port concerné (``pre-<port>``,
|
||||
``fwd-<port>``, ``out-<port>``) par les tables ``pre_ports``, ``fwd_ports`` et ``out_ports``.
|
||||
L'agent pose ou retire toutes les règles d'un port en une seule transaction.
|
||||
|
||||
.. note::
|
||||
|
||||
|
|
|
|||
|
|
@ -8,7 +8,7 @@ Prérequis
|
|||
---------
|
||||
|
||||
Un host Linux avec KVM, sur lequel vous avez ``root``. Les opérations réseau (network
|
||||
namespaces, netlink, VXLAN, ebtables, iptables) et QEMU ne fonctionnent que sous Linux.
|
||||
namespaces, netlink, VXLAN, nftables, iptables) et QEMU ne fonctionnent que sous Linux.
|
||||
|
||||
Déploiement
|
||||
-----------
|
||||
|
|
@ -71,7 +71,7 @@ Les options booléennes actives par défaut se **désactivent** par leur forme l
|
|||
Ce que fait ``-i``
|
||||
------------------
|
||||
|
||||
**Paquets** — ``qemu-system-x86``, ``qemu-utils``, ``ovmf``, ``dnsmasq``, ``ebtables``,
|
||||
**Paquets** — ``qemu-system-x86``, ``qemu-utils``, ``ovmf``, ``dnsmasq``, ``nftables``,
|
||||
``iptables``, ``nfs-common``, ``jq``, ``curl``, **sans les paquets recommandés** : ceux de
|
||||
``qemu-system-x86`` (interface graphique, gtk, gstreamer, pilotes de stockage réseau) ne servent
|
||||
pas à un hyperviseur sans écran, et l'installation passe d'environ 270 à 65 Mo — rejouée à chaque
|
||||
|
|
|
|||
|
|
@ -255,9 +255,9 @@ code de sortie vaut 1 si une vérification échoue **ou si aucune n'a été fait
|
|||
**Tests autonomes.** Avant chaque test, le runner supprime les ressources ``tNN`` laissées par un
|
||||
passage précédent, puis relève l'état de chaque hôte de l'en-tête ``# hôtes:``. Après le test, il
|
||||
supprime ses VM, ses subnets puis ses VPC, et vérifie que l'hôte est revenu à l'état relevé
|
||||
(``assert_clean`` : netns, liens, adresses, routes, règles ebtables et iptables, configuration FRR et
|
||||
``frr.conf``, fichiers de ``/run/two``, ``dnsmasq.d`` et des volumes, unités ``two-vm-*``,
|
||||
processus dnsmasq et QEMU). Aucun test ne dépend d'un autre : n'importe lequel se lance seul.
|
||||
(``assert_clean`` : netns, liens, adresses, routes, règles nftables de pont et iptables,
|
||||
configuration FRR et ``frr.conf``, fichiers de ``/run/two``, ``dnsmasq.d`` et des volumes, unités
|
||||
``two-vm-*``, processus dnsmasq et QEMU). Aucun test ne dépend d'un autre : n'importe lequel se lance seul.
|
||||
|
||||
**Plages.** Le test ``NN`` nomme ses ressources ``vp-tNN*``, ``sn-tNN*`` et ``tNN-*``, et utilise
|
||||
``10.NN.0.0/16`` et les VNI ``NN00`` à ``NN99`` : aucune collision entre tests.
|
||||
|
|
@ -286,7 +286,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
|
|||
- hv1 hv2 hv3
|
||||
- #50, #51, #54, #41
|
||||
* - ``02-prerequis``
|
||||
- hypothèses d'environnement de la suite — firmware UEFI, unités modèles de l'agent, journalctl, format de ebtables -L, br-lan, priorités VRRP lues dans FRR
|
||||
- hypothèses d'environnement de la suite — firmware UEFI, unités modèles de l'agent, journalctl, format de nft list table, br-lan, priorités VRRP lues dans FRR
|
||||
- hv1 hv2 hv3
|
||||
- #70
|
||||
* - ``03-image``
|
||||
|
|
@ -423,7 +423,6 @@ Hypothèses vérifiées en lab, à garder en tête en écrivant un test :
|
|||
* systemd-networkd **ne réécrit pas** un bail renouvelé à l'identique : un renouvellement se
|
||||
vérifie par le DHCPACK dans le journal du serveur (``lease_renewed``), pas par le fichier de bail ;
|
||||
* l'agent n'accepte **qu'un seul disque virtio** (le disque racine, ``vda``) ; les autres sont des ``xvdX`` ;
|
||||
* sur Debian 12, ``ebtables -L`` (nft) garde les zéros de tête des MAC ;
|
||||
* ``interface_ip`` est posée en ``/32`` sur le bridge du netns en mode ``bridge`` ;
|
||||
* depuis le netns d'un hôte, une VM d'un autre hôte ne répond pas : la réponse repart vers la
|
||||
gateway de son propre hôte. Une vérification entre hôtes passe par une VM.
|
||||
|
|
@ -447,7 +446,7 @@ Chaque bloc est précédé des bibliothèques de ``test/e2e/lib/`` :
|
|||
``user_data``, mot de passe), SSH, bail, métadonnées. La MAC de chaque NIC est fournie à l'API :
|
||||
``52:54:00`` suivi des trois derniers octets de l'IP (``mac_for_ip``), unique dans la suite
|
||||
puisque chaque test a sa plage ; ``--nic sn=ip=mac`` en impose une autre ;
|
||||
* ``net.sh`` : VPC, subnets, MAC anycast, trames brutes, règles ebtables, VRRP ;
|
||||
* ``net.sh`` : VPC, subnets, MAC anycast, trames brutes, règles nftables, VRRP ;
|
||||
* ``evpn.sh`` : VRF, BGP, L3VNI, watchdog ;
|
||||
* ``fixture.sh`` : nettoyage et ``assert_clean``, appelés par le runner. Le nettoyage couvre les
|
||||
ressources ``t<NN>`` de l'API, les netns ``t<NN>-*`` et les fichiers ``t<NN>-*`` / ``t<NN>.*`` de
|
||||
|
|
|
|||
|
|
@ -85,9 +85,8 @@ entry``…) disent déjà ce qui manque. À la main, dans le netns du VPC :
|
|||
# route du subnet émise depuis la gateway
|
||||
ip -n <vpc> -4 route show dev br-<subnet>
|
||||
|
||||
# confinement : source anycast rejetée sur le veth du subnet
|
||||
ip netns exec <vpc> ebtables -t nat -L PREROUTING
|
||||
ip netns exec <vpc> ebtables -L FORWARD
|
||||
# confinement : chaînes pre-, fwd- et out-v-<subnet>-i, source anycast rejetée
|
||||
ip netns exec <vpc> nft list table bridge two
|
||||
|
||||
Dans le guest, ``ip neigh show <gateway>`` doit montrer la MAC ``02:01:00:<VNI>``. Une autre MAC —
|
||||
celle d'un hôte, ``02:03:…`` — signale un subnet de l'ancien modèle (sans ``relay_ip``) ou une
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue