f-57: doc: gateway anycast (modes réseau, invariants, diagnostic), contrat d'API et notes de version 0.2.0 #57

Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
GnomeZworc 2026-10-16 10:44:45 +02:00
commit 2ce5024d91
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
6 changed files with 183 additions and 38 deletions

View file

@ -23,6 +23,17 @@ Réseau
* **La route vers le CIDR du VPC garde ``interface_ip`` comme next-hop** dans tous les modes sauf
``bridge`` : sur un subnet à IP publique, le trafic interne ne doit pas sortir par la gateway
publique.
* **La MAC anycast d'une gateway ``vxlan`` ne sort jamais du netns** : règles ebtables sur le veth
du subnet (source anycast rejetée en entrée et en sortie) **et** entrée FDB locale dans le bridge
du netns. Sans l'entrée FDB, que le macvlan ne crée pas, toute trame d'une VM vers sa gateway est
inondée vers le fabric et traitée par la gateway de chaque hôte.
* **La gateway ``vxlan`` n'est jamais sur le bridge** : ``arp_ignore=1`` sur ``br-<subnet>``, la
gateway en ``/32`` sur ``gw-<subnet>``, l'adresse d'émission seule sur le bridge. Posée sur le
bridge, la gateway répondrait aux VM avec la MAC de l'hôte et l'anycast serait contourné sans
autre symptôme.
* **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis
la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par
tous les hôtes, une réponse peut partir vers un autre hôte.
* ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur.
QEMU et VM

View file

@ -36,22 +36,85 @@ vxlan
.. mermaid::
graph LR
VM --- TAP[tap] --- BR["br-&lt;subnet&gt;<br/>interface_ip"]
BR --- VX["vxlan&lt;vni&gt;"] --- HBR["bridge host<br/>(iface_type)"] --- UP[uplink]
VM --- TAP[tap] --- BR["br-&lt;subnet&gt;<br/>adresse d'émission"]
GW["gw-&lt;subnet&gt;<br/>gateway, MAC anycast"] -. macvlan .- BR
BR --- VETH["v-&lt;subnet&gt;-i / -e"] --- VX["vxlan-&lt;vni&gt;"] --- UP[uplink]
Le subnet vit dans le netns du VPC. La VM n'est donc **pas joignable depuis l'host** sans route
explicite — point à connaître avant de câbler un outil externe dessus.
Le bridge du subnet, qui porte ``interface_ip``, a une **MAC de gateway propre à l'hôte**, calculée
depuis son VTEP — l'IPv4 primaire du ``local_iface`` : ``02:03`` suivi des quatre octets de
l'adresse (VTEP ``192.168.14.12`` → ``02:03:c0:a8:0e:0c``). Unique dans le fabric, elle est la
même pour tous les subnets d'un hôte, chacun étant un domaine L2 distinct. Elle n'est posée qu'à la
création du subnet — un subnet créé avant garde la MAC choisie par le noyau jusqu'à sa recréation.
Adressage
~~~~~~~~~
Une MAC de gateway **identique sur tous les hôtes** (anycast) a été essayée puis retirée : apprise
sur le veth du subnet, elle était annoncée en EVPN par chaque hôte et détectée en double ; et une
gateway ne pouvait plus joindre en L2 une VM d'un autre hôte, la réponse revenant à la gateway
locale de la VM. Le cache ARP d'une VM migrée à chaud est un sujet de la migration, pas du subnet.
L'agent calcule deux adresses à partir du ``cidr`` ; ``interface_ip`` n'est pas fourni par
l'appelant (refusé en 400) :
* la **gateway**, avant-dernière adresse du préfixe (``.254`` en ``/24``), exposée comme
``interface_ip`` ;
* l'**adresse d'émission**, juste avant (``.253``), exposée comme ``relay_ip``.
Le ``cidr`` doit être sans bits d'hôte et faire au plus ``/29``. Une VM ne peut prendre ni l'une
ni l'autre de ces adresses, ni l'adresse de réseau, de broadcast ou la ``gateway`` explicite du
subnet (422).
Gateway anycast
~~~~~~~~~~~~~~~
La gateway est portée par un macvlan ``gw-<subnet>`` posé sur le bridge du netns. Sa MAC est
**identique sur tous les hôtes qui portent le subnet** : ``02:01:00`` suivi de la VNI sur 24 bits
(VNI ``2911`` → ``02:01:00:00:0b:5f``). Où qu'elle tourne, une VM résout sa gateway vers l'hôte
qui l'héberge, et une entrée ARP restée en cache reste valable si la VM change d'hôte.
Le bridge ``br-<subnet>`` garde une **MAC propre à l'hôte**, ``02:03`` suivi des quatre octets du
VTEP — l'IPv4 primaire du ``local_iface`` (``192.168.14.12`` → ``02:03:c0:a8:0e:0c``) — et porte
l'adresse d'émission :
* le netns émet ses requêtes ARP depuis l'adresse d'émission (``arp_announce=2``) et le bridge ne
répond pas pour la gateway (``arp_ignore=1``). Quand un hôte relaie en L2 vers une VM d'un autre
hôte — trafic routé vers un subnet présent sur plusieurs hôtes, filet du ``/24`` d'un VPC
routé —, la VM répond à la MAC de cet hôte, sans que sa gateway change ;
* la route du subnet a la gateway pour source : le netns parle à **ses** VM depuis la gateway, et
leurs réponses reviennent à la MAC anycast, donc à l'hôte local ;
* le DHCP écoute sur ``gw-<subnet>`` et s'annonce avec la gateway comme identifiant de serveur :
un renouvellement unicast reste servi par l'hôte de la VM.
L'adresse d'émission est la même sur tous les hôtes : une VM qui reçoit la requête ARP d'un autre
hôte associe ``.253`` à la MAC de celui-ci. C'est sans effet — la VM ne parle jamais d'elle-même à
``.253`` et le netns lui parle depuis la gateway. Mesuré en lab (``s11-fenetre-arp``) : pendant
cette fenêtre, métadonnées, renouvellement DHCP et connexions depuis le netns passent sans perte.
.. note::
Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission
(``ping -I <relay_ip>``) : à la gateway, sa réponse repartirait vers son propre hôte. Le
trafic routé entre VM n'est pas concerné, il garde sa source.
Confinement de la MAC anycast
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
La MAC anycast ne doit **jamais** sortir du netns : vue depuis le fabric, elle serait annoncée en
EVPN par chaque hôte, détectée en double, et déplacerait l'apprentissage des bridges. Trois
mécanismes la confinent :
* ebtables, sur le veth du subnet : toute trame de **source** anycast est rejetée à l'entrée
(``nat PREROUTING``) et à la sortie (``FORWARD`` et ``OUTPUT``) ;
* une **entrée FDB locale** pour la MAC anycast dans le bridge du netns. Le macvlan ne la crée pas
lui-même : sans elle, toute trame d'une VM vers sa gateway est inondée vers le fabric et les
autres VM, et traitée par la gateway de chaque hôte ;
* les requêtes ARP vers la gateway ou l'adresse d'émission, et les réponses DHCP qui en viennent,
sont bloquées vers le veth, comme avant.
IPv6 n'est pas désactivé sur le macvlan : ses trames (DAD, ND) sont arrêtées par le confinement.
Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l'entrée FDB ; il ne relit pas les
règles ebtables.
Subnets créés avant la gateway anycast
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Un subnet ``vxlan`` sans ``relay_ip`` garde le modèle précédent jusqu'à sa recréation :
``interface_ip`` choisie à la création, portée par le bridge, avec la MAC propre à l'hôte. Une VM
qui reçoit alors la requête ARP d'un autre hôte associe **sa gateway** à cet hôte pendant
quelques secondes (#57).
bridge
------
@ -81,7 +144,7 @@ Une route par défaut est **toujours** annoncée. Le champ ``default_route`` ne
next-hop :
``default_route: false`` (défaut)
next-hop = ``interface_ip`` du subnet.
next-hop = ``interface_ip`` du subnet, la gateway calculée en ``vxlan``.
``default_route: true``
next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage
@ -100,7 +163,8 @@ Pourquoi la route ``/32`` vers le serveur de metadata est indispensable
Elle paraît redondante avec la route par défaut. Elle ne l'est pas.
La DNAT vers le serveur de metadata est posée dans le netns du VPC, en ``PREROUTING``. Le paquet
n'y est traité en L3 que si son next-hop est ``interface_ip``, portée par le bridge du netns.
n'y est traité en L3 que si son next-hop est ``interface_ip``, locale au netns — sur le macvlan de
la gateway en ``vxlan``, sur le bridge dans les autres modes.
Avec un autre next-hop, la trame est commutée en **L2** sans traverser ``PREROUTING`` : le
serveur de metadata devient injoignable et tout le provisionnement cloud-init échoue,
silencieusement.

View file

@ -6,7 +6,7 @@ Trois types de ressources, une hiérarchie stricte.
.. mermaid::
graph TD
VPC["VPC<br/><i>network namespace</i><br/>cidr"] --> SN1["Subnet<br/><i>bridge + VXLAN</i><br/>interface_ip, cidr"]
VPC["VPC<br/><i>network namespace</i><br/>cidr"] --> SN1["Subnet<br/><i>bridge + VXLAN</i><br/>cidr, gateway"]
VPC --> SN2["Subnet"]
SN1 --> VM1["VM<br/><i>QEMU/KVM</i>"]
SN1 --> VM2["VM"]
@ -57,8 +57,9 @@ configurée fait planter ``bgpd`` (FRR 10.7.1).
Subnet
------
Un subnet appartient à un VPC et pose, dans son netns, un bridge qui porte ``interface_ip`` — la
gateway vue par les VM. Il fournit aussi le DHCP — dnsmasq ou le serveur intégré selon
Un subnet appartient à un VPC et pose, dans son netns, un bridge et la gateway vue par les VM,
``interface_ip`` — calculée par l'agent et portée par un macvlan à MAC anycast en mode ``vxlan``,
fournie par l'appelant et portée par le bridge dans les autres modes. Il fournit aussi le DHCP — dnsmasq ou le serveur intégré selon
``dhcp.backend`` — et les routes annoncées aux guests.
``iface_type`` est une clé **logique** (``vms``, ``internet``, ``admin``…), traduite en nom de

View file

@ -63,6 +63,38 @@ diverges``. Regarder ses notifications avant de sonder à la main.
Si le serveur ne voit passer aucune requête, le problème est en amont : tap absent, bridge non
raccordé, VM dans le mauvais netns.
La VM ne joint pas sa gateway (subnet ``vxlan``)
------------------------------------------------
La gateway d'un subnet ``vxlan`` est un macvlan ``gw-<subnet>`` à MAC anycast
(:doc:`/concepts/modes-reseau`). Le watchdog contrôle sa présence, sa MAC, les adresses et l'entrée
FDB : ses notifications (``interface gw-…``, ``lacks the gateway address``, ``no local fdb
entry``…) disent déjà ce qui manque. À la main, dans le netns du VPC :
.. code-block:: bash
# macvlan actif, MAC 02:01:00:<VNI>, gateway en /32 ; adresse d'émission seule sur le bridge
ip -n <vpc> -br addr show gw-<subnet>
ip -n <vpc> -br addr show br-<subnet>
# entrée locale de la MAC anycast dans le bridge (« master br-<subnet> permanent »)
ip netns exec <vpc> bridge fdb show br br-<subnet> | grep 02:01:00
# route du subnet émise depuis la gateway
ip -n <vpc> -4 route show dev br-<subnet>
# confinement : source anycast rejetée sur le veth du subnet
ip netns exec <vpc> ebtables -t nat -L PREROUTING
ip netns exec <vpc> ebtables -L FORWARD
Dans le guest, ``ip neigh show <gateway>`` doit montrer la MAC ``02:01:00:<VNI>``. Une autre MAC —
celle d'un hôte, ``02:03:…`` — signale un subnet de l'ancien modèle (sans ``relay_ip``) ou une
gateway posée sur le bridge.
Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission :
``ip netns exec <vpc> ping -I <relay_ip> <ip>``. Un ping sans ``-I`` part de la gateway et la
réponse revient à l'hôte de la VM — ce n'est pas une panne.
La VM a une adresse mais cloud-init n'applique rien
---------------------------------------------------