f-56: doc: MTU unique du cluster, underlay à 9000, section network, notes de version #56

Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
GnomeZworc 2026-10-23 12:10:15 +02:00
commit c94c93b443
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
5 changed files with 80 additions and 12 deletions

View file

@ -117,14 +117,33 @@ les fait converger.
MTU
---
.. warning::
Le MTU est une valeur **unique pour tout le cluster** : toutes les VM, et tous les bridges, veth,
taps et interfaces VXLAN que l'agent crée, sont au MTU des VM, ``network.mtu_vm`` (1500 par
défaut, cf. :doc:`/exploitation/configuration`). Il doit être identique sur tous les
hyperviseurs : un subnet est un seul domaine L2 qui s'étend sur plusieurs hôtes, et un élément à
un MTU plus petit que les autres jette les trames en silence — un bridge ne fragmente pas et
n'émet aucun ICMP. Le symptôme est trompeur : le ping passe, les petites requêtes passent, les
transferts volumineux et les poignées de main TLS échouent.
L'agent crée bridges, veth et interfaces VXLAN avec un **MTU figé à 1500**. VXLAN ajoute 50
octets d'encapsulation : le réseau qui relie les hyperviseurs doit donc accepter au moins
**1550 octets** de MTU, sinon les paquets pleine taille des VM sont perdus.
L'underlay, le réseau qui relie les hyperviseurs et porte le VXLAN, est attendu à **exactement
9000**. VXLAN ajoute 50 octets d'encapsulation ; 9000 laisse donc toute la marge à des VM à 1500.
L'agent refuse de créer un subnet ``vxlan`` (ou un VPC avec ``l3vni``) dont l'interface n'est
pas à 9000, sauf si ``network.allow_mtu_underlay_below_9000`` l'y autorise ; même alors,
l'underlay doit faire au moins ``network.mtu_vm`` + 50. Un underlay à 1500 impose donc des VM à
1450 au plus, et l'option ``network.allow_mtu_vm_below_1500``.
Le symptôme est trompeur : le ping passe, les petites requêtes passent, les transferts
volumineux et les poignées de main TLS échouent.
Le MTU est annoncé aux VM par deux voies : l'option DHCP 26 et ``host_mtu`` sur leur interface
virtio. Une image dont le client DHCP ignore l'option 26 s'aligne quand même.
.. note::
**VM en mode bridge sur un bridge à 9000.** Un subnet ``bridge`` rattaché à ``br-000000``
met ses VM, à 1500, sur un segment L2 à 9000 avec l'hôte et tout ce qui s'y trouve. Le
routage vers les autres subnets reste correct — un routeur renvoie un « fragmentation
needed » plutôt que de perdre en silence —, mais l'interface du routeur qui sert de gateway
à ce segment doit être à 1500 : sinon elle peut envoyer à la VM des trames plus grandes
qu'elle n'accepte. En TCP, le MSS annoncé par la VM protège l'échange ; en UDP ou en ICMP,
les gros paquets venant d'un équipement à 9000 du même segment sont perdus.
Hyperviseurs sans état
----------------------

View file

@ -88,9 +88,10 @@ Indépendamment des choix d'équipement, deux contraintes viennent de ce que fai
.. warning::
**MTU** — l'agent crée bridges, veth et interfaces VXLAN avec un MTU figé à 1500, et VXLAN
ajoute 50 octets d'encapsulation. Les liens entre hyperviseurs doivent donc accepter au moins
**1550 octets**. Cf. :doc:`architecture-cluster`.
**MTU** — l'underlay est attendu à **9000** : l'agent refuse un subnet ``vxlan`` sur une
interface à un autre MTU, sauf option, et les VM sont à 1500 plus 50 octets d'encapsulation.
L'interface d'un routeur qui sert de gateway à un segment de VM doit être au MTU des VM
(1500). Cf. :doc:`architecture-cluster`.
.. warning::

View file

@ -327,6 +327,10 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
- redémarrage d'une VM depuis l'invité — même processus QEMU, même adresse, nouveau bail, user_data non rejoué
- hv1
- #46
* - ``28-mtu``
- MTU des VM (``network.mtu_vm``, 1500) — option DHCP 26 (serveur intégré et dnsmasq), ``host_mtu`` de QEMU, tap, bridge, veth et VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000
- hv1 hv2
- #56
* - ``31-gateway``
- gateway d'un subnet vxlan — gateway anycast et adresse d'émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation
- hv1

View file

@ -104,6 +104,32 @@ Traduit les clés logiques ``iface_type`` de l'API vers les bridges physiques de
inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur,
mais c'est une source de subnets branchés au mauvais endroit sans le dire.
MTU
---
.. code-block:: yaml
network:
mtu_vm: 1500
allow_mtu_vm_below_1500: false
allow_mtu_underlay_below_9000: false
* ``mtu_vm`` — le MTU de toutes les VM, et de tous les bridges, veth, taps et interfaces VXLAN
que l'agent crée. Il est annoncé aux VM par l'option DHCP 26 et par ``host_mtu``. **Il doit
être identique sur tous les hyperviseurs.** 1500 au plus ; en dessous, seulement avec
``allow_mtu_vm_below_1500``, et jamais sous 1280. Une valeur hors de ces bornes fait échouer
le démarrage de l'agent.
* ``allow_mtu_underlay_below_9000`` — l'underlay est attendu à exactement 9000. Sans cette
option, un subnet ``vxlan`` dont l'interface (celle de ``iface_type``, ou
``default_interface``) n'est pas à 9000 est refusé (422), comme un VPC avec ``l3vni`` si
``default_interface`` ne l'est pas (409). Dans tous les cas, l'underlay doit faire au moins
``mtu_vm`` + 50 (en-tête VXLAN).
Un subnet ``bridge`` est refusé (422) si son bridge est sous ``mtu_vm`` ; il n'y a pas
d'encapsulation, donc pas de marge à prévoir. Les interfaces sont créées au MTU en vigueur à la
création du subnet : changer ``mtu_vm`` ne modifie pas les subnets existants, il faut les
recréer.
Plan de contrôle BGP
--------------------

View file

@ -99,6 +99,20 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
`/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdX`
- Migration au démarrage : les clés `vm/<name>/disk/sdX` deviennent `vm/<name>/disk/xvdX`
**MTU unique du cluster (#56)**
- Nouvelle section `network` de la configuration de l'agent. `mtu_vm` (1500 par défaut, 1500 au
plus) fixe le MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN que
l'agent crée, jusque-là figé à 1500. Il doit être identique sur tous les hyperviseurs. Sous
1500, il faut `allow_mtu_vm_below_1500`, et jamais sous 1280 ; une valeur hors bornes fait
échouer le démarrage
- Le MTU est annoncé aux VM par l'option DHCP 26 (serveur intégré et dnsmasq) et par `host_mtu`
sur leur interface virtio. `probe` l'affiche
- L'underlay est attendu à exactement 9000 : un subnet `vxlan` dont l'interface n'y est pas est
refusé (422), comme un VPC avec `l3vni` si `default_interface` n'y est pas (409), sauf avec
`allow_mtu_underlay_below_9000`. Dans tous les cas l'underlay doit porter `mtu_vm` + 50 octets
d'en-tête VXLAN. Un subnet `bridge` est refusé si son bridge est sous `mtu_vm`
**Exploitation**
- Le watchdog contrôle aussi, avec une section `bgp` : les sessions vers les route reflectors ;
@ -157,8 +171,7 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. MTU
1500 de bout en bout (#56). Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
rejetés comme « martiens » (traceroute partiel)
- Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas :
au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52)
@ -184,7 +197,7 @@ bash ./deploy.sh -t 0.2.0
```
Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à
quatre exceptions près, qui touchent les appelants de l'API :
cinq exceptions près ; les quatre premières touchent les appelants de l'API :
- **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le
calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières
@ -195,6 +208,11 @@ quatre exceptions près, qui touchent les appelants de l'API :
- **les disques additionnels s'appellent `xvdX`** : `sdX` est refusé (400). Les VM existantes sont
migrées ; leurs disques prennent le numéro de série `xvdX` au prochain lancement, et une image
qui les montait par `/dev/sdY` doit passer à `/dev/xvdX`
- **l'underlay doit être à 9000** : sur un hyperviseur dont `default_interface` (ou l'interface
d'un `iface_type`) est à un autre MTU, la création d'un subnet `vxlan` est refusée. Passer
l'underlay à 9000, ou poser `network.allow_mtu_underlay_below_9000: true` — sous 1550, il faut
aussi abaisser `network.mtu_vm` avec `allow_mtu_vm_below_1500`. Les subnets existants gardent
leurs interfaces à 1500 jusqu'à leur recréation
Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le
bridge) jusqu'à leur recréation. Les subnets `bridge` existants restent sans le confinement de