f-56: doc: MTU unique du cluster, underlay à 9000, section network, notes de version #56
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
43ba8ce139
commit
d9d0ab3489
5 changed files with 80 additions and 12 deletions
|
|
@ -117,14 +117,33 @@ les fait converger.
|
|||
MTU
|
||||
---
|
||||
|
||||
.. warning::
|
||||
Le MTU est une valeur **unique pour tout le cluster** : toutes les VM, et tous les bridges, veth,
|
||||
taps et interfaces VXLAN que l'agent crée, sont au MTU des VM, ``network.mtu_vm`` (1500 par
|
||||
défaut, cf. :doc:`/exploitation/configuration`). Il doit être identique sur tous les
|
||||
hyperviseurs : un subnet est un seul domaine L2 qui s'étend sur plusieurs hôtes, et un élément à
|
||||
un MTU plus petit que les autres jette les trames en silence — un bridge ne fragmente pas et
|
||||
n'émet aucun ICMP. Le symptôme est trompeur : le ping passe, les petites requêtes passent, les
|
||||
transferts volumineux et les poignées de main TLS échouent.
|
||||
|
||||
L'agent crée bridges, veth et interfaces VXLAN avec un **MTU figé à 1500**. VXLAN ajoute 50
|
||||
octets d'encapsulation : le réseau qui relie les hyperviseurs doit donc accepter au moins
|
||||
**1550 octets** de MTU, sinon les paquets pleine taille des VM sont perdus.
|
||||
L'underlay, le réseau qui relie les hyperviseurs et porte le VXLAN, est attendu à **exactement
|
||||
9000**. VXLAN ajoute 50 octets d'encapsulation ; 9000 laisse donc toute la marge à des VM à 1500.
|
||||
L'agent refuse de créer un subnet ``vxlan`` (ou un VPC avec ``l3vni``) dont l'interface n'est
|
||||
pas à 9000, sauf si ``network.allow_mtu_underlay_below_9000`` l'y autorise ; même alors,
|
||||
l'underlay doit faire au moins ``network.mtu_vm`` + 50. Un underlay à 1500 impose donc des VM à
|
||||
1450 au plus, et l'option ``network.allow_mtu_vm_below_1500``.
|
||||
|
||||
Le symptôme est trompeur : le ping passe, les petites requêtes passent, les transferts
|
||||
volumineux et les poignées de main TLS échouent.
|
||||
Le MTU est annoncé aux VM par deux voies : l'option DHCP 26 et ``host_mtu`` sur leur interface
|
||||
virtio. Une image dont le client DHCP ignore l'option 26 s'aligne quand même.
|
||||
|
||||
.. note::
|
||||
|
||||
**VM en mode bridge sur un bridge à 9000.** Un subnet ``bridge`` rattaché à ``br-000000``
|
||||
met ses VM, à 1500, sur un segment L2 à 9000 avec l'hôte et tout ce qui s'y trouve. Le
|
||||
routage vers les autres subnets reste correct — un routeur renvoie un « fragmentation
|
||||
needed » plutôt que de perdre en silence —, mais l'interface du routeur qui sert de gateway
|
||||
à ce segment doit être à 1500 : sinon elle peut envoyer à la VM des trames plus grandes
|
||||
qu'elle n'accepte. En TCP, le MSS annoncé par la VM protège l'échange ; en UDP ou en ICMP,
|
||||
les gros paquets venant d'un équipement à 9000 du même segment sont perdus.
|
||||
|
||||
Hyperviseurs sans état
|
||||
----------------------
|
||||
|
|
|
|||
|
|
@ -88,9 +88,10 @@ Indépendamment des choix d'équipement, deux contraintes viennent de ce que fai
|
|||
|
||||
.. warning::
|
||||
|
||||
**MTU** — l'agent crée bridges, veth et interfaces VXLAN avec un MTU figé à 1500, et VXLAN
|
||||
ajoute 50 octets d'encapsulation. Les liens entre hyperviseurs doivent donc accepter au moins
|
||||
**1550 octets**. Cf. :doc:`architecture-cluster`.
|
||||
**MTU** — l'underlay est attendu à **9000** : l'agent refuse un subnet ``vxlan`` sur une
|
||||
interface à un autre MTU, sauf option, et les VM sont à 1500 plus 50 octets d'encapsulation.
|
||||
L'interface d'un routeur qui sert de gateway à un segment de VM doit être au MTU des VM
|
||||
(1500). Cf. :doc:`architecture-cluster`.
|
||||
|
||||
.. warning::
|
||||
|
||||
|
|
|
|||
|
|
@ -327,6 +327,10 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
|
|||
- redémarrage d'une VM depuis l'invité — même processus QEMU, même adresse, nouveau bail, user_data non rejoué
|
||||
- hv1
|
||||
- #46
|
||||
* - ``28-mtu``
|
||||
- MTU des VM (``network.mtu_vm``, 1500) — option DHCP 26 (serveur intégré et dnsmasq), ``host_mtu`` de QEMU, tap, bridge, veth et VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000
|
||||
- hv1 hv2
|
||||
- #56
|
||||
* - ``31-gateway``
|
||||
- gateway d'un subnet vxlan — gateway anycast et adresse d'émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation
|
||||
- hv1
|
||||
|
|
|
|||
|
|
@ -104,6 +104,32 @@ Traduit les clés logiques ``iface_type`` de l'API vers les bridges physiques de
|
|||
inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur,
|
||||
mais c'est une source de subnets branchés au mauvais endroit sans le dire.
|
||||
|
||||
MTU
|
||||
---
|
||||
|
||||
.. code-block:: yaml
|
||||
|
||||
network:
|
||||
mtu_vm: 1500
|
||||
allow_mtu_vm_below_1500: false
|
||||
allow_mtu_underlay_below_9000: false
|
||||
|
||||
* ``mtu_vm`` — le MTU de toutes les VM, et de tous les bridges, veth, taps et interfaces VXLAN
|
||||
que l'agent crée. Il est annoncé aux VM par l'option DHCP 26 et par ``host_mtu``. **Il doit
|
||||
être identique sur tous les hyperviseurs.** 1500 au plus ; en dessous, seulement avec
|
||||
``allow_mtu_vm_below_1500``, et jamais sous 1280. Une valeur hors de ces bornes fait échouer
|
||||
le démarrage de l'agent.
|
||||
* ``allow_mtu_underlay_below_9000`` — l'underlay est attendu à exactement 9000. Sans cette
|
||||
option, un subnet ``vxlan`` dont l'interface (celle de ``iface_type``, ou
|
||||
``default_interface``) n'est pas à 9000 est refusé (422), comme un VPC avec ``l3vni`` si
|
||||
``default_interface`` ne l'est pas (409). Dans tous les cas, l'underlay doit faire au moins
|
||||
``mtu_vm`` + 50 (en-tête VXLAN).
|
||||
|
||||
Un subnet ``bridge`` est refusé (422) si son bridge est sous ``mtu_vm`` ; il n'y a pas
|
||||
d'encapsulation, donc pas de marge à prévoir. Les interfaces sont créées au MTU en vigueur à la
|
||||
création du subnet : changer ``mtu_vm`` ne modifie pas les subnets existants, il faut les
|
||||
recréer.
|
||||
|
||||
Plan de contrôle BGP
|
||||
--------------------
|
||||
|
||||
|
|
|
|||
|
|
@ -99,6 +99,20 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
|
|||
`/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdX`
|
||||
- Migration au démarrage : les clés `vm/<name>/disk/sdX` deviennent `vm/<name>/disk/xvdX`
|
||||
|
||||
**MTU unique du cluster (#56)**
|
||||
|
||||
- Nouvelle section `network` de la configuration de l'agent. `mtu_vm` (1500 par défaut, 1500 au
|
||||
plus) fixe le MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN que
|
||||
l'agent crée, jusque-là figé à 1500. Il doit être identique sur tous les hyperviseurs. Sous
|
||||
1500, il faut `allow_mtu_vm_below_1500`, et jamais sous 1280 ; une valeur hors bornes fait
|
||||
échouer le démarrage
|
||||
- Le MTU est annoncé aux VM par l'option DHCP 26 (serveur intégré et dnsmasq) et par `host_mtu`
|
||||
sur leur interface virtio. `probe` l'affiche
|
||||
- L'underlay est attendu à exactement 9000 : un subnet `vxlan` dont l'interface n'y est pas est
|
||||
refusé (422), comme un VPC avec `l3vni` si `default_interface` n'y est pas (409), sauf avec
|
||||
`allow_mtu_underlay_below_9000`. Dans tous les cas l'underlay doit porter `mtu_vm` + 50 octets
|
||||
d'en-tête VXLAN. Un subnet `bridge` est refusé si son bridge est sous `mtu_vm`
|
||||
|
||||
**Exploitation**
|
||||
|
||||
- Le watchdog contrôle aussi, avec une section `bgp` : les sessions vers les route reflectors ;
|
||||
|
|
@ -149,8 +163,7 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
|
|||
|
||||
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
|
||||
|
||||
- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. MTU
|
||||
1500 de bout en bout (#56). Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
|
||||
- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
|
||||
rejetés comme « martiens » (traceroute partiel)
|
||||
- Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas :
|
||||
au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52)
|
||||
|
|
@ -176,7 +189,7 @@ bash ./deploy.sh -t 0.2.0
|
|||
```
|
||||
|
||||
Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à
|
||||
quatre exceptions près, qui touchent les appelants de l'API :
|
||||
cinq exceptions près ; les quatre premières touchent les appelants de l'API :
|
||||
|
||||
- **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le
|
||||
calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières
|
||||
|
|
@ -187,6 +200,11 @@ quatre exceptions près, qui touchent les appelants de l'API :
|
|||
- **les disques additionnels s'appellent `xvdX`** : `sdX` est refusé (400). Les VM existantes sont
|
||||
migrées ; leurs disques prennent le numéro de série `xvdX` au prochain lancement, et une image
|
||||
qui les montait par `/dev/sdY` doit passer à `/dev/xvdX`
|
||||
- **l'underlay doit être à 9000** : sur un hyperviseur dont `default_interface` (ou l'interface
|
||||
d'un `iface_type`) est à un autre MTU, la création d'un subnet `vxlan` est refusée. Passer
|
||||
l'underlay à 9000, ou poser `network.allow_mtu_underlay_below_9000: true` — sous 1550, il faut
|
||||
aussi abaisser `network.mtu_vm` avec `allow_mtu_vm_below_1500`. Les subnets existants gardent
|
||||
leurs interfaces à 1500 jusqu'à leur recréation
|
||||
|
||||
Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le
|
||||
bridge) jusqu'à leur recréation.
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue