f-56: doc: MTU unique du cluster, underlay à 9000, section network, notes de version #56

Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
GnomeZworc 2026-10-23 12:10:15 +02:00
commit d9d0ab3489
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
5 changed files with 80 additions and 12 deletions

View file

@ -117,14 +117,33 @@ les fait converger.
MTU MTU
--- ---
.. warning:: Le MTU est une valeur **unique pour tout le cluster** : toutes les VM, et tous les bridges, veth,
taps et interfaces VXLAN que l'agent crée, sont au MTU des VM, ``network.mtu_vm`` (1500 par
défaut, cf. :doc:`/exploitation/configuration`). Il doit être identique sur tous les
hyperviseurs : un subnet est un seul domaine L2 qui s'étend sur plusieurs hôtes, et un élément à
un MTU plus petit que les autres jette les trames en silence — un bridge ne fragmente pas et
n'émet aucun ICMP. Le symptôme est trompeur : le ping passe, les petites requêtes passent, les
transferts volumineux et les poignées de main TLS échouent.
L'agent crée bridges, veth et interfaces VXLAN avec un **MTU figé à 1500**. VXLAN ajoute 50 L'underlay, le réseau qui relie les hyperviseurs et porte le VXLAN, est attendu à **exactement
octets d'encapsulation : le réseau qui relie les hyperviseurs doit donc accepter au moins 9000**. VXLAN ajoute 50 octets d'encapsulation ; 9000 laisse donc toute la marge à des VM à 1500.
**1550 octets** de MTU, sinon les paquets pleine taille des VM sont perdus. L'agent refuse de créer un subnet ``vxlan`` (ou un VPC avec ``l3vni``) dont l'interface n'est
pas à 9000, sauf si ``network.allow_mtu_underlay_below_9000`` l'y autorise ; même alors,
l'underlay doit faire au moins ``network.mtu_vm`` + 50. Un underlay à 1500 impose donc des VM à
1450 au plus, et l'option ``network.allow_mtu_vm_below_1500``.
Le symptôme est trompeur : le ping passe, les petites requêtes passent, les transferts Le MTU est annoncé aux VM par deux voies : l'option DHCP 26 et ``host_mtu`` sur leur interface
volumineux et les poignées de main TLS échouent. virtio. Une image dont le client DHCP ignore l'option 26 s'aligne quand même.
.. note::
**VM en mode bridge sur un bridge à 9000.** Un subnet ``bridge`` rattaché à ``br-000000``
met ses VM, à 1500, sur un segment L2 à 9000 avec l'hôte et tout ce qui s'y trouve. Le
routage vers les autres subnets reste correct — un routeur renvoie un « fragmentation
needed » plutôt que de perdre en silence —, mais l'interface du routeur qui sert de gateway
à ce segment doit être à 1500 : sinon elle peut envoyer à la VM des trames plus grandes
qu'elle n'accepte. En TCP, le MSS annoncé par la VM protège l'échange ; en UDP ou en ICMP,
les gros paquets venant d'un équipement à 9000 du même segment sont perdus.
Hyperviseurs sans état Hyperviseurs sans état
---------------------- ----------------------

View file

@ -88,9 +88,10 @@ Indépendamment des choix d'équipement, deux contraintes viennent de ce que fai
.. warning:: .. warning::
**MTU** — l'agent crée bridges, veth et interfaces VXLAN avec un MTU figé à 1500, et VXLAN **MTU** — l'underlay est attendu à **9000** : l'agent refuse un subnet ``vxlan`` sur une
ajoute 50 octets d'encapsulation. Les liens entre hyperviseurs doivent donc accepter au moins interface à un autre MTU, sauf option, et les VM sont à 1500 plus 50 octets d'encapsulation.
**1550 octets**. Cf. :doc:`architecture-cluster`. L'interface d'un routeur qui sert de gateway à un segment de VM doit être au MTU des VM
(1500). Cf. :doc:`architecture-cluster`.
.. warning:: .. warning::

View file

@ -327,6 +327,10 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
- redémarrage d'une VM depuis l'invité — même processus QEMU, même adresse, nouveau bail, user_data non rejoué - redémarrage d'une VM depuis l'invité — même processus QEMU, même adresse, nouveau bail, user_data non rejoué
- hv1 - hv1
- #46 - #46
* - ``28-mtu``
- MTU des VM (``network.mtu_vm``, 1500) — option DHCP 26 (serveur intégré et dnsmasq), ``host_mtu`` de QEMU, tap, bridge, veth et VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000
- hv1 hv2
- #56
* - ``31-gateway`` * - ``31-gateway``
- gateway d'un subnet vxlan — gateway anycast et adresse d'émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation - gateway d'un subnet vxlan — gateway anycast et adresse d'émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation
- hv1 - hv1

View file

@ -104,6 +104,32 @@ Traduit les clés logiques ``iface_type`` de l'API vers les bridges physiques de
inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur, inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur,
mais c'est une source de subnets branchés au mauvais endroit sans le dire. mais c'est une source de subnets branchés au mauvais endroit sans le dire.
MTU
---
.. code-block:: yaml
network:
mtu_vm: 1500
allow_mtu_vm_below_1500: false
allow_mtu_underlay_below_9000: false
* ``mtu_vm`` — le MTU de toutes les VM, et de tous les bridges, veth, taps et interfaces VXLAN
que l'agent crée. Il est annoncé aux VM par l'option DHCP 26 et par ``host_mtu``. **Il doit
être identique sur tous les hyperviseurs.** 1500 au plus ; en dessous, seulement avec
``allow_mtu_vm_below_1500``, et jamais sous 1280. Une valeur hors de ces bornes fait échouer
le démarrage de l'agent.
* ``allow_mtu_underlay_below_9000`` — l'underlay est attendu à exactement 9000. Sans cette
option, un subnet ``vxlan`` dont l'interface (celle de ``iface_type``, ou
``default_interface``) n'est pas à 9000 est refusé (422), comme un VPC avec ``l3vni`` si
``default_interface`` ne l'est pas (409). Dans tous les cas, l'underlay doit faire au moins
``mtu_vm`` + 50 (en-tête VXLAN).
Un subnet ``bridge`` est refusé (422) si son bridge est sous ``mtu_vm`` ; il n'y a pas
d'encapsulation, donc pas de marge à prévoir. Les interfaces sont créées au MTU en vigueur à la
création du subnet : changer ``mtu_vm`` ne modifie pas les subnets existants, il faut les
recréer.
Plan de contrôle BGP Plan de contrôle BGP
-------------------- --------------------

View file

@ -99,6 +99,20 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
`/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdX` `/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdX`
- Migration au démarrage : les clés `vm/<name>/disk/sdX` deviennent `vm/<name>/disk/xvdX` - Migration au démarrage : les clés `vm/<name>/disk/sdX` deviennent `vm/<name>/disk/xvdX`
**MTU unique du cluster (#56)**
- Nouvelle section `network` de la configuration de l'agent. `mtu_vm` (1500 par défaut, 1500 au
plus) fixe le MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN que
l'agent crée, jusque-là figé à 1500. Il doit être identique sur tous les hyperviseurs. Sous
1500, il faut `allow_mtu_vm_below_1500`, et jamais sous 1280 ; une valeur hors bornes fait
échouer le démarrage
- Le MTU est annoncé aux VM par l'option DHCP 26 (serveur intégré et dnsmasq) et par `host_mtu`
sur leur interface virtio. `probe` l'affiche
- L'underlay est attendu à exactement 9000 : un subnet `vxlan` dont l'interface n'y est pas est
refusé (422), comme un VPC avec `l3vni` si `default_interface` n'y est pas (409), sauf avec
`allow_mtu_underlay_below_9000`. Dans tous les cas l'underlay doit porter `mtu_vm` + 50 octets
d'en-tête VXLAN. Un subnet `bridge` est refusé si son bridge est sous `mtu_vm`
**Exploitation** **Exploitation**
- Le watchdog contrôle aussi, avec une section `bgp` : les sessions vers les route reflectors ; - Le watchdog contrôle aussi, avec une section `bgp` : les sessions vers les route reflectors ;
@ -149,8 +163,7 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent : Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. MTU - **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
1500 de bout en bout (#56). Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
rejetés comme « martiens » (traceroute partiel) rejetés comme « martiens » (traceroute partiel)
- Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas : - Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas :
au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52) au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52)
@ -176,7 +189,7 @@ bash ./deploy.sh -t 0.2.0
``` ```
Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à
quatre exceptions près, qui touchent les appelants de l'API : cinq exceptions près ; les quatre premières touchent les appelants de l'API :
- **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le - **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le
calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières
@ -187,6 +200,11 @@ quatre exceptions près, qui touchent les appelants de l'API :
- **les disques additionnels s'appellent `xvdX`** : `sdX` est refusé (400). Les VM existantes sont - **les disques additionnels s'appellent `xvdX`** : `sdX` est refusé (400). Les VM existantes sont
migrées ; leurs disques prennent le numéro de série `xvdX` au prochain lancement, et une image migrées ; leurs disques prennent le numéro de série `xvdX` au prochain lancement, et une image
qui les montait par `/dev/sdY` doit passer à `/dev/xvdX` qui les montait par `/dev/sdY` doit passer à `/dev/xvdX`
- **l'underlay doit être à 9000** : sur un hyperviseur dont `default_interface` (ou l'interface
d'un `iface_type`) est à un autre MTU, la création d'un subnet `vxlan` est refusée. Passer
l'underlay à 9000, ou poser `network.allow_mtu_underlay_below_9000: true` — sous 1550, il faut
aussi abaisser `network.mtu_vm` avec `allow_mtu_vm_below_1500`. Les subnets existants gardent
leurs interfaces à 1500 jusqu'à leur recréation
Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le
bridge) jusqu'à leur recréation. bridge) jusqu'à leur recréation.