MTU de bout en bout : attribut du subnet, option DHCP 26, host_mtu, contrôle de l’underlay #56

Closed
opened 2026-10-05 21:25:51 +00:00 by nicolas.boufideline · 3 comments

Issu de la qualification de #41 (2026-10-05). Sujet à traiter plus tard ; #41 n'en dépend pas
tant que tout reste à 1500.

Problème

Le MTU n'est aujourd'hui garanti nulle part de bout en bout :

  • l'agent fige 1500 sur les bridges, veth et VXLAN de subnet (internal/subnet) ; le tap prend
    le défaut ; QEMU lance virtio-net-pci sans host_mtu ; le DHCP intégré n'envoie pas
    l'option 26 ;
  • un élément d'un segment L2 à un MTU inférieur aux autres jette les trames en silence — un
    bridge ne fragmente pas et n'émet aucun ICMP ;
  • le « Fragmentation needed » ne protège que le trafic routé, et seulement s'il revient jusqu'à
    l'émetteur — ce qui, avec un transit L3VNI identique sur tous les hôtes, n'est pas le cas
    (ICMP rejetés comme martiens, constat 3 de #41).

Décision du 2026-10-05

Le MTU est un attribut du subnet, donné par l'appelant (défaut 1500), comme cidr ou
vxlan_id. Un subnet est un seul domaine L2 qui s'étend sur plusieurs hôtes : un MTU calculé par
chaque agent d'après son underlay pourrait différer d'un hôte à l'autre pour le même subnet, et
recréer la perte silencieuse.

Proposition

Chaîne complète au MTU du subnet : tap, bridge et veth du netns, bridge et VXLAN côté hôte ;
pour #41, vxl3, brl3 et veth de transit au maximum des subnets de la VPC.

Annonce à la VM :

  • option DHCP 26 par le serveur intégré ;
  • host_mtu sur virtio-net-pci, à la même valeur : l'invité s'aligne même si son client DHCP
    ignore l'option 26 (UseMTU= de systemd-networkd, défaut à vérifier sur Debian et Rocky).

Contrôle de l'underlay par l'agent, la seule chose qu'il est seul à voir :

Underlay (local_iface) Comportement
≥ 9000 recommandé — accepté
< 9000 refusé, sauf option de configuration de l'agent l'autorisant
< MTU du subnet + 50 (en-tête VXLAN) création du subnet refusée, erreur explicite

Documentation : architecture-cluster.rst et routeurs.rst passent de « au moins 1550 » à
« 9000 recommandé ; 1550 minimum pour des VM à 1500 ; en dessous, subnets à abaisser et option à
activer sur l'agent ».

À trancher

  • nom et forme de l'option de l'agent ;
  • MTU au-delà de 1500 (jumbo pour les VM) : autorisé jusqu'à underlay − 50, ou plafonné ;
  • MSS clamping sur les gateways de subnet (TCPMSS --clamp-mss-to-pmtu) en complément ;
  • subnets existants : migration de la clé mtu (défaut 1500, comportement inchangé).

À vérifier en lab

  • tap à 1400 sans host_mtu : perte silencieuse ; avec host_mtu=1400 : la VM voit 1400 ;
  • option 26 appliquée par les images Debian et Rocky ;
  • bridge de gateway à 1400 : « Fragmentation needed » émis vers un émetteur routé, accepté avec un
    transit unique par hôte, rejeté avec le transit identique ;
  • absence de contrôle du MTU à l'entrée d'un bridge (trafic émis par la VM).

Analyse de risque

  • Disponibilité : une incohérence de MTU ne produit aucune erreur, seulement des pertes sur
    les gros paquets (SSH qui s'ouvre, transfert qui bloque) — difficile à diagnostiquer, d'où le
    contrôle à la création plutôt qu'un avertissement.
  • Compatibilité : défaut à 1500 partout, comportement actuel inchangé pour les appelants qui ne
    fournissent pas la clé.
  • Sécurité : aucune surface nouvelle.
  • Code assisté par IA : revue technique, tests et traçabilité avant intégration.
Issu de la qualification de #41 (2026-10-05). Sujet à traiter plus tard ; #41 n'en dépend pas tant que tout reste à 1500. ## Problème Le MTU n'est aujourd'hui garanti nulle part de bout en bout : - l'agent fige **1500** sur les bridges, veth et VXLAN de subnet (`internal/subnet`) ; le tap prend le défaut ; QEMU lance `virtio-net-pci` sans `host_mtu` ; le DHCP intégré n'envoie pas l'option 26 ; - un élément d'un segment L2 à un MTU inférieur aux autres **jette les trames en silence** — un bridge ne fragmente pas et n'émet aucun ICMP ; - le « Fragmentation needed » ne protège que le trafic **routé**, et seulement s'il revient jusqu'à l'émetteur — ce qui, avec un transit L3VNI identique sur tous les hôtes, n'est pas le cas (ICMP rejetés comme martiens, constat 3 de #41). ## Décision du 2026-10-05 **Le MTU est un attribut du subnet**, donné par l'appelant (défaut 1500), comme `cidr` ou `vxlan_id`. Un subnet est un seul domaine L2 qui s'étend sur plusieurs hôtes : un MTU calculé par chaque agent d'après son underlay pourrait différer d'un hôte à l'autre pour le même subnet, et recréer la perte silencieuse. ## Proposition **Chaîne complète au MTU du subnet** : tap, bridge et veth du netns, bridge et VXLAN côté hôte ; pour #41, `vxl3`, `brl3` et veth de transit au maximum des subnets de la VPC. **Annonce à la VM** : - **option DHCP 26** par le serveur intégré ; - **`host_mtu`** sur `virtio-net-pci`, à la même valeur : l'invité s'aligne même si son client DHCP ignore l'option 26 (`UseMTU=` de systemd-networkd, défaut à vérifier sur Debian et Rocky). **Contrôle de l'underlay par l'agent**, la seule chose qu'il est seul à voir : | Underlay (`local_iface`) | Comportement | |---|---| | ≥ 9000 | recommandé — accepté | | < 9000 | refusé, **sauf option de configuration de l'agent** l'autorisant | | < MTU du subnet + 50 (en-tête VXLAN) | création du subnet refusée, erreur explicite | **Documentation** : `architecture-cluster.rst` et `routeurs.rst` passent de « au moins 1550 » à « 9000 recommandé ; 1550 minimum pour des VM à 1500 ; en dessous, subnets à abaisser et option à activer sur l'agent ». ## À trancher - nom et forme de l'option de l'agent ; - MTU au-delà de 1500 (jumbo pour les VM) : autorisé jusqu'à `underlay − 50`, ou plafonné ; - MSS clamping sur les gateways de subnet (`TCPMSS --clamp-mss-to-pmtu`) en complément ; - subnets existants : migration de la clé `mtu` (défaut 1500, comportement inchangé). ## À vérifier en lab - tap à 1400 sans `host_mtu` : perte silencieuse ; avec `host_mtu=1400` : la VM voit 1400 ; - option 26 appliquée par les images Debian et Rocky ; - bridge de gateway à 1400 : « Fragmentation needed » émis vers un émetteur routé, accepté avec un transit unique par hôte, rejeté avec le transit identique ; - absence de contrôle du MTU à l'entrée d'un bridge (trafic émis par la VM). ## Analyse de risque - **Disponibilité** : une incohérence de MTU ne produit aucune erreur, seulement des pertes sur les gros paquets (SSH qui s'ouvre, transfert qui bloque) — difficile à diagnostiquer, d'où le contrôle à la création plutôt qu'un avertissement. - **Compatibilité** : défaut à 1500 partout, comportement actuel inchangé pour les appelants qui ne fournissent pas la clé. - **Sécurité** : aucune surface nouvelle. - Code assisté par IA : revue technique, tests et traçabilité avant intégration.
Author
Owner

Décision (2026-10-23) : un MTU unique pour le cluster, plus d'attribut par VPC ou subnet

Elle remplace la décision du 2026-10-05 (MTU donné par l'appelant pour chaque subnet). Le MTU est une configuration globale, identique sur tous les hyperviseurs ; l'API ne change pas.

  • network.mtu_vm (configuration de l'agent, 1500 par défaut) : MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN (y compris L3VNI) créés par l'agent. 1500 au plus. En dessous, seulement avec network.allow_mtu_vm_below_1500: true (false par défaut), et jamais sous 1280 (IPv6, #63). Une valeur hors bornes fait échouer le démarrage.
  • Underlay à exactement 9000. Un subnet vxlan dont l'interface (celle de iface_type, ou default_interface) n'est pas à 9000 est refusé (422), comme un VPC avec l3vni si default_interface n'y est pas (409), sauf avec network.allow_mtu_underlay_below_9000: true (false par défaut).
  • Dans tous les cas : underlay ≥ mtu_vm + 50 (en-tête VXLAN). Un subnet bridge est refusé (422) si son bridge est sous mtu_vm.
  • Annonce aux VM : option DHCP 26 (serveur intégré et dnsmasq) et host_mtu sur virtio-net-pci. probe affiche le MTU.
  • Pas de contrôle par le watchdog, pas de migration : les subnets existants gardent leurs interfaces jusqu'à leur recréation.
  • MSS clamping et jumbo pour les VM : hors périmètre.

Cas discuté : une VM en mode bridge sur un bridge à 9000 (br-000000) qui parle à une VM vxlan par un routeur VTEP fonctionne : chaque segment L2 a un MTU cohérent, et le routage renvoie un « fragmentation needed » plutôt que de perdre en silence. Condition : l'interface du routeur qui sert de gateway au segment bridge est à 1500. C'est documenté dans architecture-cluster.rst.

Implémentation (feature-56, partie de feature-74, non poussée)

d9d0ab3 43ba8ce 8cb5117 : agent (config network, contrôles dans Prepare, équipements, option 26, host_mtu, 21 mutants tués), e2e 28-mtu (hv1 serveur intégré, hv2 dnsmasq), doc et notes de version.

Reste avant clôture

Lab : 28-mtu et la suite complète (avec #74 et #75).

## Décision (2026-10-23) : un MTU unique pour le cluster, plus d'attribut par VPC ou subnet Elle remplace la décision du 2026-10-05 (MTU donné par l'appelant pour chaque subnet). Le MTU est une configuration **globale**, identique sur tous les hyperviseurs ; l'API ne change pas. - **`network.mtu_vm`** (configuration de l'agent, 1500 par défaut) : MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN (y compris L3VNI) créés par l'agent. **1500 au plus.** En dessous, seulement avec **`network.allow_mtu_vm_below_1500: true`** (false par défaut), et jamais sous 1280 (IPv6, #63). Une valeur hors bornes fait échouer le démarrage. - **Underlay à exactement 9000.** Un subnet `vxlan` dont l'interface (celle de `iface_type`, ou `default_interface`) n'est pas à 9000 est refusé (422), comme un VPC avec `l3vni` si `default_interface` n'y est pas (409), sauf avec **`network.allow_mtu_underlay_below_9000: true`** (false par défaut). - **Dans tous les cas** : underlay ≥ `mtu_vm` + 50 (en-tête VXLAN). Un subnet `bridge` est refusé (422) si son bridge est sous `mtu_vm`. - **Annonce aux VM** : option DHCP 26 (serveur intégré et dnsmasq) et `host_mtu` sur virtio-net-pci. `probe` affiche le MTU. - Pas de contrôle par le watchdog, pas de migration : les subnets existants gardent leurs interfaces jusqu'à leur recréation. - MSS clamping et jumbo pour les VM : hors périmètre. Cas discuté : une VM en mode `bridge` sur un bridge à 9000 (`br-000000`) qui parle à une VM `vxlan` par un routeur VTEP fonctionne : chaque segment L2 a un MTU cohérent, et le routage renvoie un « fragmentation needed » plutôt que de perdre en silence. Condition : l'interface du routeur qui sert de gateway au segment bridge est à 1500. C'est documenté dans `architecture-cluster.rst`. ### Implémentation (`feature-56`, partie de `feature-74`, non poussée) d9d0ab3 43ba8ce 8cb5117 : agent (config `network`, contrôles dans `Prepare`, équipements, option 26, `host_mtu`, 21 mutants tués), e2e `28-mtu` (hv1 serveur intégré, hv2 dnsmasq), doc et notes de version. ### Reste avant clôture Lab : `28-mtu` et la suite complète (avec #74 et #75).
Author
Owner

Lab du 2026-10-23 : 28-mtu vert

Campagne du 2026-10-23 (evpn-3hv, labctl 0.2.0) sur l'arbre combiné main + feature-56 (qui contient feature-74) + feature-75, suite complète run.sh --continue all : tout vert sauf un contrôle de 12-etats (socket monitor de t12-err restée, intermittent connu, 28/28 au rejeu).

28-mtu : 31/31.

  • L'underlay br-000000 est à 9000 ; br-lan est à 1500.
  • Un subnet vxlan sur br-lan est refusé (422), sans trace en base.
  • Hôte et netns : v-t28-e, br-t28, vxlan-2801, v-t28-i, gw-t28 et le tap de la VM sont à 1500.
  • QEMU : host_mtu=1500 sur virtio-net-pci.
  • hv1 (serveur DHCP intégré) : bail systemd-networkd avec MTU=1500 (option 26), ens3 à 1500, ping -M do de 1472 octets vers la gateway OK, 1473 refusés par la VM.
  • hv2 (dnsmasq) : dhcp-option=26,1500 dans la configuration, bail avec MTU=1500.
  • L'agent démarre avec la section network par défaut sur les trois hôtes. 51-l3vni (55/55) et 61-redemarrage-agent (41/41) sont verts.

Non couvert par le lab : un mtu_vm sous 1500 (il demanderait un autre underlay ou une autre config d'agent) ; c'est couvert par les tests unitaires.

Reste avant clôture : fusion de feature-56.

## Lab du 2026-10-23 : `28-mtu` vert Campagne du 2026-10-23 (evpn-3hv, labctl 0.2.0) sur l'arbre combiné main + feature-56 (qui contient feature-74) + feature-75, suite complète `run.sh --continue all` : tout vert sauf un contrôle de `12-etats` (socket monitor de t12-err restée, intermittent connu, 28/28 au rejeu). `28-mtu` : 31/31. - L'underlay `br-000000` est à 9000 ; `br-lan` est à 1500. - Un subnet `vxlan` sur `br-lan` est refusé (422), sans trace en base. - Hôte et netns : `v-t28-e`, `br-t28`, `vxlan-2801`, `v-t28-i`, `gw-t28` et le tap de la VM sont à 1500. - QEMU : `host_mtu=1500` sur `virtio-net-pci`. - hv1 (serveur DHCP intégré) : bail systemd-networkd avec `MTU=1500` (option 26), `ens3` à 1500, ping `-M do` de 1472 octets vers la gateway OK, 1473 refusés par la VM. - hv2 (dnsmasq) : `dhcp-option=26,1500` dans la configuration, bail avec `MTU=1500`. - L'agent démarre avec la section `network` par défaut sur les trois hôtes. `51-l3vni` (55/55) et `61-redemarrage-agent` (41/41) sont verts. Non couvert par le lab : un `mtu_vm` sous 1500 (il demanderait un autre underlay ou une autre config d'agent) ; c'est couvert par les tests unitaires. Reste avant clôture : fusion de `feature-56`.
Author
Owner

Clôture

Fusionné dans main (b2c8904), selon la décision du 2026-10-23 (1223). Validé en lab le 2026-10-23 : 28-mtu 31/31 (1230).

Livré :

  • network.mtu_vm (1500, plafond ; en dessous seulement avec allow_mtu_vm_below_1500, et jamais sous 1280) ;
  • un underlay attendu à exactement 9000, sauf avec allow_mtu_underlay_below_9000, et toujours ≥ mtu_vm + 50 ;
  • les équipements, l'option DHCP 26 (deux backends) et host_mtu ;
  • la doc et les notes de version.

Non couvert en lab : un mtu_vm sous 1500 (couvert par les tests unitaires).

## Clôture Fusionné dans `main` (`b2c8904`), selon la décision du 2026-10-23 (1223). Validé en lab le 2026-10-23 : `28-mtu` 31/31 (1230). Livré : - `network.mtu_vm` (1500, plafond ; en dessous seulement avec `allow_mtu_vm_below_1500`, et jamais sous 1280) ; - un underlay attendu à exactement 9000, sauf avec `allow_mtu_underlay_below_9000`, et toujours ≥ `mtu_vm` + 50 ; - les équipements, l'option DHCP 26 (deux backends) et `host_mtu` ; - la doc et les notes de version. Non couvert en lab : un `mtu_vm` sous 1500 (couvert par les tests unitaires).
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#56
No description provided.