From d9d0ab3489cc03f5c116cd5209fb5729846f40ec Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Fri, 23 Oct 2026 12:10:15 +0200 Subject: [PATCH] =?UTF-8?q?f-56:=20doc:=20MTU=20unique=20du=20cluster,=20u?= =?UTF-8?q?nderlay=20=C3=A0=209000,=20section=20network,=20notes=20de=20ve?= =?UTF-8?q?rsion=20#56?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: GnomeZworc --- docs/deploiement/architecture-cluster.rst | 31 ++++++++++++++++++----- docs/deploiement/routeurs.rst | 7 ++--- docs/developpement/lab.rst | 4 +++ docs/exploitation/configuration.rst | 26 +++++++++++++++++++ release_notes/0.2.0.md | 24 +++++++++++++++--- 5 files changed, 80 insertions(+), 12 deletions(-) diff --git a/docs/deploiement/architecture-cluster.rst b/docs/deploiement/architecture-cluster.rst index 841dda3..b0957b8 100644 --- a/docs/deploiement/architecture-cluster.rst +++ b/docs/deploiement/architecture-cluster.rst @@ -117,14 +117,33 @@ les fait converger. MTU --- -.. warning:: +Le MTU est une valeur **unique pour tout le cluster** : toutes les VM, et tous les bridges, veth, +taps et interfaces VXLAN que l'agent crée, sont au MTU des VM, ``network.mtu_vm`` (1500 par +défaut, cf. :doc:`/exploitation/configuration`). Il doit être identique sur tous les +hyperviseurs : un subnet est un seul domaine L2 qui s'étend sur plusieurs hôtes, et un élément à +un MTU plus petit que les autres jette les trames en silence — un bridge ne fragmente pas et +n'émet aucun ICMP. Le symptôme est trompeur : le ping passe, les petites requêtes passent, les +transferts volumineux et les poignées de main TLS échouent. - L'agent crée bridges, veth et interfaces VXLAN avec un **MTU figé à 1500**. VXLAN ajoute 50 - octets d'encapsulation : le réseau qui relie les hyperviseurs doit donc accepter au moins - **1550 octets** de MTU, sinon les paquets pleine taille des VM sont perdus. +L'underlay, le réseau qui relie les hyperviseurs et porte le VXLAN, est attendu à **exactement +9000**. VXLAN ajoute 50 octets d'encapsulation ; 9000 laisse donc toute la marge à des VM à 1500. +L'agent refuse de créer un subnet ``vxlan`` (ou un VPC avec ``l3vni``) dont l'interface n'est +pas à 9000, sauf si ``network.allow_mtu_underlay_below_9000`` l'y autorise ; même alors, +l'underlay doit faire au moins ``network.mtu_vm`` + 50. Un underlay à 1500 impose donc des VM à +1450 au plus, et l'option ``network.allow_mtu_vm_below_1500``. - Le symptôme est trompeur : le ping passe, les petites requêtes passent, les transferts - volumineux et les poignées de main TLS échouent. +Le MTU est annoncé aux VM par deux voies : l'option DHCP 26 et ``host_mtu`` sur leur interface +virtio. Une image dont le client DHCP ignore l'option 26 s'aligne quand même. + +.. note:: + + **VM en mode bridge sur un bridge à 9000.** Un subnet ``bridge`` rattaché à ``br-000000`` + met ses VM, à 1500, sur un segment L2 à 9000 avec l'hôte et tout ce qui s'y trouve. Le + routage vers les autres subnets reste correct — un routeur renvoie un « fragmentation + needed » plutôt que de perdre en silence —, mais l'interface du routeur qui sert de gateway + à ce segment doit être à 1500 : sinon elle peut envoyer à la VM des trames plus grandes + qu'elle n'accepte. En TCP, le MSS annoncé par la VM protège l'échange ; en UDP ou en ICMP, + les gros paquets venant d'un équipement à 9000 du même segment sont perdus. Hyperviseurs sans état ---------------------- diff --git a/docs/deploiement/routeurs.rst b/docs/deploiement/routeurs.rst index fd2668a..78337ea 100644 --- a/docs/deploiement/routeurs.rst +++ b/docs/deploiement/routeurs.rst @@ -88,9 +88,10 @@ Indépendamment des choix d'équipement, deux contraintes viennent de ce que fai .. warning:: - **MTU** — l'agent crée bridges, veth et interfaces VXLAN avec un MTU figé à 1500, et VXLAN - ajoute 50 octets d'encapsulation. Les liens entre hyperviseurs doivent donc accepter au moins - **1550 octets**. Cf. :doc:`architecture-cluster`. + **MTU** — l'underlay est attendu à **9000** : l'agent refuse un subnet ``vxlan`` sur une + interface à un autre MTU, sauf option, et les VM sont à 1500 plus 50 octets d'encapsulation. + L'interface d'un routeur qui sert de gateway à un segment de VM doit être au MTU des VM + (1500). Cf. :doc:`architecture-cluster`. .. warning:: diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index 659ea24..95b7bae 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -327,6 +327,10 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé - redémarrage d'une VM depuis l'invité — même processus QEMU, même adresse, nouveau bail, user_data non rejoué - hv1 - #46 + * - ``28-mtu`` + - MTU des VM (``network.mtu_vm``, 1500) — option DHCP 26 (serveur intégré et dnsmasq), ``host_mtu`` de QEMU, tap, bridge, veth et VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000 + - hv1 hv2 + - #56 * - ``31-gateway`` - gateway d'un subnet vxlan — gateway anycast et adresse d'émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation - hv1 diff --git a/docs/exploitation/configuration.rst b/docs/exploitation/configuration.rst index d4bf8eb..4d67e98 100644 --- a/docs/exploitation/configuration.rst +++ b/docs/exploitation/configuration.rst @@ -104,6 +104,32 @@ Traduit les clés logiques ``iface_type`` de l'API vers les bridges physiques de inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur, mais c'est une source de subnets branchés au mauvais endroit sans le dire. +MTU +--- + +.. code-block:: yaml + + network: + mtu_vm: 1500 + allow_mtu_vm_below_1500: false + allow_mtu_underlay_below_9000: false + +* ``mtu_vm`` — le MTU de toutes les VM, et de tous les bridges, veth, taps et interfaces VXLAN + que l'agent crée. Il est annoncé aux VM par l'option DHCP 26 et par ``host_mtu``. **Il doit + être identique sur tous les hyperviseurs.** 1500 au plus ; en dessous, seulement avec + ``allow_mtu_vm_below_1500``, et jamais sous 1280. Une valeur hors de ces bornes fait échouer + le démarrage de l'agent. +* ``allow_mtu_underlay_below_9000`` — l'underlay est attendu à exactement 9000. Sans cette + option, un subnet ``vxlan`` dont l'interface (celle de ``iface_type``, ou + ``default_interface``) n'est pas à 9000 est refusé (422), comme un VPC avec ``l3vni`` si + ``default_interface`` ne l'est pas (409). Dans tous les cas, l'underlay doit faire au moins + ``mtu_vm`` + 50 (en-tête VXLAN). + +Un subnet ``bridge`` est refusé (422) si son bridge est sous ``mtu_vm`` ; il n'y a pas +d'encapsulation, donc pas de marge à prévoir. Les interfaces sont créées au MTU en vigueur à la +création du subnet : changer ``mtu_vm`` ne modifie pas les subnets existants, il faut les +recréer. + Plan de contrôle BGP -------------------- diff --git a/release_notes/0.2.0.md b/release_notes/0.2.0.md index 77c0798..4003d31 100644 --- a/release_notes/0.2.0.md +++ b/release_notes/0.2.0.md @@ -99,6 +99,20 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet `/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdX` - Migration au démarrage : les clés `vm//disk/sdX` deviennent `vm//disk/xvdX` +**MTU unique du cluster (#56)** + +- Nouvelle section `network` de la configuration de l'agent. `mtu_vm` (1500 par défaut, 1500 au + plus) fixe le MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN que + l'agent crée, jusque-là figé à 1500. Il doit être identique sur tous les hyperviseurs. Sous + 1500, il faut `allow_mtu_vm_below_1500`, et jamais sous 1280 ; une valeur hors bornes fait + échouer le démarrage +- Le MTU est annoncé aux VM par l'option DHCP 26 (serveur intégré et dnsmasq) et par `host_mtu` + sur leur interface virtio. `probe` l'affiche +- L'underlay est attendu à exactement 9000 : un subnet `vxlan` dont l'interface n'y est pas est + refusé (422), comme un VPC avec `l3vni` si `default_interface` n'y est pas (409), sauf avec + `allow_mtu_underlay_below_9000`. Dans tous les cas l'underlay doit porter `mtu_vm` + 50 octets + d'en-tête VXLAN. Un subnet `bridge` est refusé si son bridge est sous `mtu_vm` + **Exploitation** - Le watchdog contrôle aussi, avec une section `bgp` : les sessions vers les route reflectors ; @@ -149,8 +163,7 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent : -- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. MTU - 1500 de bout en bout (#56). Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont +- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont rejetés comme « martiens » (traceroute partiel) - Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas : au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52) @@ -176,7 +189,7 @@ bash ./deploy.sh -t 0.2.0 ``` Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à -quatre exceptions près, qui touchent les appelants de l'API : +cinq exceptions près ; les quatre premières touchent les appelants de l'API : - **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières @@ -187,6 +200,11 @@ quatre exceptions près, qui touchent les appelants de l'API : - **les disques additionnels s'appellent `xvdX`** : `sdX` est refusé (400). Les VM existantes sont migrées ; leurs disques prennent le numéro de série `xvdX` au prochain lancement, et une image qui les montait par `/dev/sdY` doit passer à `/dev/xvdX` +- **l'underlay doit être à 9000** : sur un hyperviseur dont `default_interface` (ou l'interface + d'un `iface_type`) est à un autre MTU, la création d'un subnet `vxlan` est refusée. Passer + l'underlay à 9000, ou poser `network.allow_mtu_underlay_below_9000: true` — sous 1550, il faut + aussi abaisser `network.mtu_vm` avec `allow_mtu_vm_below_1500`. Les subnets existants gardent + leurs interfaces à 1500 jusqu'à leur recréation Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le bridge) jusqu'à leur recréation.