f-57: doc: gateway anycast (modes réseau, invariants, diagnostic), contrat d'API et notes de version 0.2.0 #57
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
7ac57611bb
commit
2ce5024d91
6 changed files with 183 additions and 38 deletions
|
|
@ -23,6 +23,17 @@ Réseau
|
|||
* **La route vers le CIDR du VPC garde ``interface_ip`` comme next-hop** dans tous les modes sauf
|
||||
``bridge`` : sur un subnet à IP publique, le trafic interne ne doit pas sortir par la gateway
|
||||
publique.
|
||||
* **La MAC anycast d'une gateway ``vxlan`` ne sort jamais du netns** : règles ebtables sur le veth
|
||||
du subnet (source anycast rejetée en entrée et en sortie) **et** entrée FDB locale dans le bridge
|
||||
du netns. Sans l'entrée FDB, que le macvlan ne crée pas, toute trame d'une VM vers sa gateway est
|
||||
inondée vers le fabric et traitée par la gateway de chaque hôte.
|
||||
* **La gateway ``vxlan`` n'est jamais sur le bridge** : ``arp_ignore=1`` sur ``br-<subnet>``, la
|
||||
gateway en ``/32`` sur ``gw-<subnet>``, l'adresse d'émission seule sur le bridge. Posée sur le
|
||||
bridge, la gateway répondrait aux VM avec la MAC de l'hôte et l'anycast serait contourné sans
|
||||
autre symptôme.
|
||||
* **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis
|
||||
la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par
|
||||
tous les hôtes, une réponse peut partir vers un autre hôte.
|
||||
* ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur.
|
||||
|
||||
QEMU et VM
|
||||
|
|
|
|||
|
|
@ -36,22 +36,85 @@ vxlan
|
|||
.. mermaid::
|
||||
|
||||
graph LR
|
||||
VM --- TAP[tap] --- BR["br-<subnet><br/>interface_ip"]
|
||||
BR --- VX["vxlan<vni>"] --- HBR["bridge host<br/>(iface_type)"] --- UP[uplink]
|
||||
VM --- TAP[tap] --- BR["br-<subnet><br/>adresse d'émission"]
|
||||
GW["gw-<subnet><br/>gateway, MAC anycast"] -. macvlan .- BR
|
||||
BR --- VETH["v-<subnet>-i / -e"] --- VX["vxlan-<vni>"] --- UP[uplink]
|
||||
|
||||
Le subnet vit dans le netns du VPC. La VM n'est donc **pas joignable depuis l'host** sans route
|
||||
explicite — point à connaître avant de câbler un outil externe dessus.
|
||||
|
||||
Le bridge du subnet, qui porte ``interface_ip``, a une **MAC de gateway propre à l'hôte**, calculée
|
||||
depuis son VTEP — l'IPv4 primaire du ``local_iface`` : ``02:03`` suivi des quatre octets de
|
||||
l'adresse (VTEP ``192.168.14.12`` → ``02:03:c0:a8:0e:0c``). Unique dans le fabric, elle est la
|
||||
même pour tous les subnets d'un hôte, chacun étant un domaine L2 distinct. Elle n'est posée qu'à la
|
||||
création du subnet — un subnet créé avant garde la MAC choisie par le noyau jusqu'à sa recréation.
|
||||
Adressage
|
||||
~~~~~~~~~
|
||||
|
||||
Une MAC de gateway **identique sur tous les hôtes** (anycast) a été essayée puis retirée : apprise
|
||||
sur le veth du subnet, elle était annoncée en EVPN par chaque hôte et détectée en double ; et une
|
||||
gateway ne pouvait plus joindre en L2 une VM d'un autre hôte, la réponse revenant à la gateway
|
||||
locale de la VM. Le cache ARP d'une VM migrée à chaud est un sujet de la migration, pas du subnet.
|
||||
L'agent calcule deux adresses à partir du ``cidr`` ; ``interface_ip`` n'est pas fourni par
|
||||
l'appelant (refusé en 400) :
|
||||
|
||||
* la **gateway**, avant-dernière adresse du préfixe (``.254`` en ``/24``), exposée comme
|
||||
``interface_ip`` ;
|
||||
* l'**adresse d'émission**, juste avant (``.253``), exposée comme ``relay_ip``.
|
||||
|
||||
Le ``cidr`` doit être sans bits d'hôte et faire au plus ``/29``. Une VM ne peut prendre ni l'une
|
||||
ni l'autre de ces adresses, ni l'adresse de réseau, de broadcast ou la ``gateway`` explicite du
|
||||
subnet (422).
|
||||
|
||||
Gateway anycast
|
||||
~~~~~~~~~~~~~~~
|
||||
|
||||
La gateway est portée par un macvlan ``gw-<subnet>`` posé sur le bridge du netns. Sa MAC est
|
||||
**identique sur tous les hôtes qui portent le subnet** : ``02:01:00`` suivi de la VNI sur 24 bits
|
||||
(VNI ``2911`` → ``02:01:00:00:0b:5f``). Où qu'elle tourne, une VM résout sa gateway vers l'hôte
|
||||
qui l'héberge, et une entrée ARP restée en cache reste valable si la VM change d'hôte.
|
||||
|
||||
Le bridge ``br-<subnet>`` garde une **MAC propre à l'hôte**, ``02:03`` suivi des quatre octets du
|
||||
VTEP — l'IPv4 primaire du ``local_iface`` (``192.168.14.12`` → ``02:03:c0:a8:0e:0c``) — et porte
|
||||
l'adresse d'émission :
|
||||
|
||||
* le netns émet ses requêtes ARP depuis l'adresse d'émission (``arp_announce=2``) et le bridge ne
|
||||
répond pas pour la gateway (``arp_ignore=1``). Quand un hôte relaie en L2 vers une VM d'un autre
|
||||
hôte — trafic routé vers un subnet présent sur plusieurs hôtes, filet du ``/24`` d'un VPC
|
||||
routé —, la VM répond à la MAC de cet hôte, sans que sa gateway change ;
|
||||
* la route du subnet a la gateway pour source : le netns parle à **ses** VM depuis la gateway, et
|
||||
leurs réponses reviennent à la MAC anycast, donc à l'hôte local ;
|
||||
* le DHCP écoute sur ``gw-<subnet>`` et s'annonce avec la gateway comme identifiant de serveur :
|
||||
un renouvellement unicast reste servi par l'hôte de la VM.
|
||||
|
||||
L'adresse d'émission est la même sur tous les hôtes : une VM qui reçoit la requête ARP d'un autre
|
||||
hôte associe ``.253`` à la MAC de celui-ci. C'est sans effet — la VM ne parle jamais d'elle-même à
|
||||
``.253`` et le netns lui parle depuis la gateway. Mesuré en lab (``s11-fenetre-arp``) : pendant
|
||||
cette fenêtre, métadonnées, renouvellement DHCP et connexions depuis le netns passent sans perte.
|
||||
|
||||
.. note::
|
||||
|
||||
Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission
|
||||
(``ping -I <relay_ip>``) : à la gateway, sa réponse repartirait vers son propre hôte. Le
|
||||
trafic routé entre VM n'est pas concerné, il garde sa source.
|
||||
|
||||
Confinement de la MAC anycast
|
||||
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
|
||||
|
||||
La MAC anycast ne doit **jamais** sortir du netns : vue depuis le fabric, elle serait annoncée en
|
||||
EVPN par chaque hôte, détectée en double, et déplacerait l'apprentissage des bridges. Trois
|
||||
mécanismes la confinent :
|
||||
|
||||
* ebtables, sur le veth du subnet : toute trame de **source** anycast est rejetée à l'entrée
|
||||
(``nat PREROUTING``) et à la sortie (``FORWARD`` et ``OUTPUT``) ;
|
||||
* une **entrée FDB locale** pour la MAC anycast dans le bridge du netns. Le macvlan ne la crée pas
|
||||
lui-même : sans elle, toute trame d'une VM vers sa gateway est inondée vers le fabric et les
|
||||
autres VM, et traitée par la gateway de chaque hôte ;
|
||||
* les requêtes ARP vers la gateway ou l'adresse d'émission, et les réponses DHCP qui en viennent,
|
||||
sont bloquées vers le veth, comme avant.
|
||||
|
||||
IPv6 n'est pas désactivé sur le macvlan : ses trames (DAD, ND) sont arrêtées par le confinement.
|
||||
Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l'entrée FDB ; il ne relit pas les
|
||||
règles ebtables.
|
||||
|
||||
Subnets créés avant la gateway anycast
|
||||
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Un subnet ``vxlan`` sans ``relay_ip`` garde le modèle précédent jusqu'à sa recréation :
|
||||
``interface_ip`` choisie à la création, portée par le bridge, avec la MAC propre à l'hôte. Une VM
|
||||
qui reçoit alors la requête ARP d'un autre hôte associe **sa gateway** à cet hôte pendant
|
||||
quelques secondes (#57).
|
||||
|
||||
bridge
|
||||
------
|
||||
|
|
@ -81,7 +144,7 @@ Une route par défaut est **toujours** annoncée. Le champ ``default_route`` ne
|
|||
next-hop :
|
||||
|
||||
``default_route: false`` (défaut)
|
||||
next-hop = ``interface_ip`` du subnet.
|
||||
next-hop = ``interface_ip`` du subnet, la gateway calculée en ``vxlan``.
|
||||
|
||||
``default_route: true``
|
||||
next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage
|
||||
|
|
@ -100,7 +163,8 @@ Pourquoi la route ``/32`` vers le serveur de metadata est indispensable
|
|||
Elle paraît redondante avec la route par défaut. Elle ne l'est pas.
|
||||
|
||||
La DNAT vers le serveur de metadata est posée dans le netns du VPC, en ``PREROUTING``. Le paquet
|
||||
n'y est traité en L3 que si son next-hop est ``interface_ip``, portée par le bridge du netns.
|
||||
n'y est traité en L3 que si son next-hop est ``interface_ip``, locale au netns — sur le macvlan de
|
||||
la gateway en ``vxlan``, sur le bridge dans les autres modes.
|
||||
Avec un autre next-hop, la trame est commutée en **L2** sans traverser ``PREROUTING`` : le
|
||||
serveur de metadata devient injoignable et tout le provisionnement cloud-init échoue,
|
||||
silencieusement.
|
||||
|
|
|
|||
|
|
@ -6,7 +6,7 @@ Trois types de ressources, une hiérarchie stricte.
|
|||
.. mermaid::
|
||||
|
||||
graph TD
|
||||
VPC["VPC<br/><i>network namespace</i><br/>cidr"] --> SN1["Subnet<br/><i>bridge + VXLAN</i><br/>interface_ip, cidr"]
|
||||
VPC["VPC<br/><i>network namespace</i><br/>cidr"] --> SN1["Subnet<br/><i>bridge + VXLAN</i><br/>cidr, gateway"]
|
||||
VPC --> SN2["Subnet"]
|
||||
SN1 --> VM1["VM<br/><i>QEMU/KVM</i>"]
|
||||
SN1 --> VM2["VM"]
|
||||
|
|
@ -57,8 +57,9 @@ configurée fait planter ``bgpd`` (FRR 10.7.1).
|
|||
Subnet
|
||||
------
|
||||
|
||||
Un subnet appartient à un VPC et pose, dans son netns, un bridge qui porte ``interface_ip`` — la
|
||||
gateway vue par les VM. Il fournit aussi le DHCP — dnsmasq ou le serveur intégré selon
|
||||
Un subnet appartient à un VPC et pose, dans son netns, un bridge et la gateway vue par les VM,
|
||||
``interface_ip`` — calculée par l'agent et portée par un macvlan à MAC anycast en mode ``vxlan``,
|
||||
fournie par l'appelant et portée par le bridge dans les autres modes. Il fournit aussi le DHCP — dnsmasq ou le serveur intégré selon
|
||||
``dhcp.backend`` — et les routes annoncées aux guests.
|
||||
|
||||
``iface_type`` est une clé **logique** (``vms``, ``internet``, ``admin``…), traduite en nom de
|
||||
|
|
|
|||
|
|
@ -63,6 +63,38 @@ diverges``. Regarder ses notifications avant de sonder à la main.
|
|||
Si le serveur ne voit passer aucune requête, le problème est en amont : tap absent, bridge non
|
||||
raccordé, VM dans le mauvais netns.
|
||||
|
||||
La VM ne joint pas sa gateway (subnet ``vxlan``)
|
||||
------------------------------------------------
|
||||
|
||||
La gateway d'un subnet ``vxlan`` est un macvlan ``gw-<subnet>`` à MAC anycast
|
||||
(:doc:`/concepts/modes-reseau`). Le watchdog contrôle sa présence, sa MAC, les adresses et l'entrée
|
||||
FDB : ses notifications (``interface gw-…``, ``lacks the gateway address``, ``no local fdb
|
||||
entry``…) disent déjà ce qui manque. À la main, dans le netns du VPC :
|
||||
|
||||
.. code-block:: bash
|
||||
|
||||
# macvlan actif, MAC 02:01:00:<VNI>, gateway en /32 ; adresse d'émission seule sur le bridge
|
||||
ip -n <vpc> -br addr show gw-<subnet>
|
||||
ip -n <vpc> -br addr show br-<subnet>
|
||||
|
||||
# entrée locale de la MAC anycast dans le bridge (« master br-<subnet> permanent »)
|
||||
ip netns exec <vpc> bridge fdb show br br-<subnet> | grep 02:01:00
|
||||
|
||||
# route du subnet émise depuis la gateway
|
||||
ip -n <vpc> -4 route show dev br-<subnet>
|
||||
|
||||
# confinement : source anycast rejetée sur le veth du subnet
|
||||
ip netns exec <vpc> ebtables -t nat -L PREROUTING
|
||||
ip netns exec <vpc> ebtables -L FORWARD
|
||||
|
||||
Dans le guest, ``ip neigh show <gateway>`` doit montrer la MAC ``02:01:00:<VNI>``. Une autre MAC —
|
||||
celle d'un hôte, ``02:03:…`` — signale un subnet de l'ancien modèle (sans ``relay_ip``) ou une
|
||||
gateway posée sur le bridge.
|
||||
|
||||
Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission :
|
||||
``ip netns exec <vpc> ping -I <relay_ip> <ip>``. Un ping sans ``-I`` part de la gateway et la
|
||||
réponse revient à l'hôte de la VM — ce n'est pas une panne.
|
||||
|
||||
La VM a une adresse mais cloud-init n'applique rien
|
||||
---------------------------------------------------
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue