f-56: doc: MTU unique du cluster, underlay à 9000, section network, notes de version #56
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
43ba8ce139
commit
d9d0ab3489
5 changed files with 80 additions and 12 deletions
|
|
@ -117,14 +117,33 @@ les fait converger.
|
||||||
MTU
|
MTU
|
||||||
---
|
---
|
||||||
|
|
||||||
.. warning::
|
Le MTU est une valeur **unique pour tout le cluster** : toutes les VM, et tous les bridges, veth,
|
||||||
|
taps et interfaces VXLAN que l'agent crée, sont au MTU des VM, ``network.mtu_vm`` (1500 par
|
||||||
|
défaut, cf. :doc:`/exploitation/configuration`). Il doit être identique sur tous les
|
||||||
|
hyperviseurs : un subnet est un seul domaine L2 qui s'étend sur plusieurs hôtes, et un élément à
|
||||||
|
un MTU plus petit que les autres jette les trames en silence — un bridge ne fragmente pas et
|
||||||
|
n'émet aucun ICMP. Le symptôme est trompeur : le ping passe, les petites requêtes passent, les
|
||||||
|
transferts volumineux et les poignées de main TLS échouent.
|
||||||
|
|
||||||
L'agent crée bridges, veth et interfaces VXLAN avec un **MTU figé à 1500**. VXLAN ajoute 50
|
L'underlay, le réseau qui relie les hyperviseurs et porte le VXLAN, est attendu à **exactement
|
||||||
octets d'encapsulation : le réseau qui relie les hyperviseurs doit donc accepter au moins
|
9000**. VXLAN ajoute 50 octets d'encapsulation ; 9000 laisse donc toute la marge à des VM à 1500.
|
||||||
**1550 octets** de MTU, sinon les paquets pleine taille des VM sont perdus.
|
L'agent refuse de créer un subnet ``vxlan`` (ou un VPC avec ``l3vni``) dont l'interface n'est
|
||||||
|
pas à 9000, sauf si ``network.allow_mtu_underlay_below_9000`` l'y autorise ; même alors,
|
||||||
|
l'underlay doit faire au moins ``network.mtu_vm`` + 50. Un underlay à 1500 impose donc des VM à
|
||||||
|
1450 au plus, et l'option ``network.allow_mtu_vm_below_1500``.
|
||||||
|
|
||||||
Le symptôme est trompeur : le ping passe, les petites requêtes passent, les transferts
|
Le MTU est annoncé aux VM par deux voies : l'option DHCP 26 et ``host_mtu`` sur leur interface
|
||||||
volumineux et les poignées de main TLS échouent.
|
virtio. Une image dont le client DHCP ignore l'option 26 s'aligne quand même.
|
||||||
|
|
||||||
|
.. note::
|
||||||
|
|
||||||
|
**VM en mode bridge sur un bridge à 9000.** Un subnet ``bridge`` rattaché à ``br-000000``
|
||||||
|
met ses VM, à 1500, sur un segment L2 à 9000 avec l'hôte et tout ce qui s'y trouve. Le
|
||||||
|
routage vers les autres subnets reste correct — un routeur renvoie un « fragmentation
|
||||||
|
needed » plutôt que de perdre en silence —, mais l'interface du routeur qui sert de gateway
|
||||||
|
à ce segment doit être à 1500 : sinon elle peut envoyer à la VM des trames plus grandes
|
||||||
|
qu'elle n'accepte. En TCP, le MSS annoncé par la VM protège l'échange ; en UDP ou en ICMP,
|
||||||
|
les gros paquets venant d'un équipement à 9000 du même segment sont perdus.
|
||||||
|
|
||||||
Hyperviseurs sans état
|
Hyperviseurs sans état
|
||||||
----------------------
|
----------------------
|
||||||
|
|
|
||||||
|
|
@ -88,9 +88,10 @@ Indépendamment des choix d'équipement, deux contraintes viennent de ce que fai
|
||||||
|
|
||||||
.. warning::
|
.. warning::
|
||||||
|
|
||||||
**MTU** — l'agent crée bridges, veth et interfaces VXLAN avec un MTU figé à 1500, et VXLAN
|
**MTU** — l'underlay est attendu à **9000** : l'agent refuse un subnet ``vxlan`` sur une
|
||||||
ajoute 50 octets d'encapsulation. Les liens entre hyperviseurs doivent donc accepter au moins
|
interface à un autre MTU, sauf option, et les VM sont à 1500 plus 50 octets d'encapsulation.
|
||||||
**1550 octets**. Cf. :doc:`architecture-cluster`.
|
L'interface d'un routeur qui sert de gateway à un segment de VM doit être au MTU des VM
|
||||||
|
(1500). Cf. :doc:`architecture-cluster`.
|
||||||
|
|
||||||
.. warning::
|
.. warning::
|
||||||
|
|
||||||
|
|
|
||||||
|
|
@ -327,6 +327,10 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
|
||||||
- redémarrage d'une VM depuis l'invité — même processus QEMU, même adresse, nouveau bail, user_data non rejoué
|
- redémarrage d'une VM depuis l'invité — même processus QEMU, même adresse, nouveau bail, user_data non rejoué
|
||||||
- hv1
|
- hv1
|
||||||
- #46
|
- #46
|
||||||
|
* - ``28-mtu``
|
||||||
|
- MTU des VM (``network.mtu_vm``, 1500) — option DHCP 26 (serveur intégré et dnsmasq), ``host_mtu`` de QEMU, tap, bridge, veth et VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000
|
||||||
|
- hv1 hv2
|
||||||
|
- #56
|
||||||
* - ``31-gateway``
|
* - ``31-gateway``
|
||||||
- gateway d'un subnet vxlan — gateway anycast et adresse d'émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation
|
- gateway d'un subnet vxlan — gateway anycast et adresse d'émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation
|
||||||
- hv1
|
- hv1
|
||||||
|
|
|
||||||
|
|
@ -104,6 +104,32 @@ Traduit les clés logiques ``iface_type`` de l'API vers les bridges physiques de
|
||||||
inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur,
|
inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur,
|
||||||
mais c'est une source de subnets branchés au mauvais endroit sans le dire.
|
mais c'est une source de subnets branchés au mauvais endroit sans le dire.
|
||||||
|
|
||||||
|
MTU
|
||||||
|
---
|
||||||
|
|
||||||
|
.. code-block:: yaml
|
||||||
|
|
||||||
|
network:
|
||||||
|
mtu_vm: 1500
|
||||||
|
allow_mtu_vm_below_1500: false
|
||||||
|
allow_mtu_underlay_below_9000: false
|
||||||
|
|
||||||
|
* ``mtu_vm`` — le MTU de toutes les VM, et de tous les bridges, veth, taps et interfaces VXLAN
|
||||||
|
que l'agent crée. Il est annoncé aux VM par l'option DHCP 26 et par ``host_mtu``. **Il doit
|
||||||
|
être identique sur tous les hyperviseurs.** 1500 au plus ; en dessous, seulement avec
|
||||||
|
``allow_mtu_vm_below_1500``, et jamais sous 1280. Une valeur hors de ces bornes fait échouer
|
||||||
|
le démarrage de l'agent.
|
||||||
|
* ``allow_mtu_underlay_below_9000`` — l'underlay est attendu à exactement 9000. Sans cette
|
||||||
|
option, un subnet ``vxlan`` dont l'interface (celle de ``iface_type``, ou
|
||||||
|
``default_interface``) n'est pas à 9000 est refusé (422), comme un VPC avec ``l3vni`` si
|
||||||
|
``default_interface`` ne l'est pas (409). Dans tous les cas, l'underlay doit faire au moins
|
||||||
|
``mtu_vm`` + 50 (en-tête VXLAN).
|
||||||
|
|
||||||
|
Un subnet ``bridge`` est refusé (422) si son bridge est sous ``mtu_vm`` ; il n'y a pas
|
||||||
|
d'encapsulation, donc pas de marge à prévoir. Les interfaces sont créées au MTU en vigueur à la
|
||||||
|
création du subnet : changer ``mtu_vm`` ne modifie pas les subnets existants, il faut les
|
||||||
|
recréer.
|
||||||
|
|
||||||
Plan de contrôle BGP
|
Plan de contrôle BGP
|
||||||
--------------------
|
--------------------
|
||||||
|
|
||||||
|
|
|
||||||
|
|
@ -99,6 +99,20 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
|
||||||
`/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdX`
|
`/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdX`
|
||||||
- Migration au démarrage : les clés `vm/<name>/disk/sdX` deviennent `vm/<name>/disk/xvdX`
|
- Migration au démarrage : les clés `vm/<name>/disk/sdX` deviennent `vm/<name>/disk/xvdX`
|
||||||
|
|
||||||
|
**MTU unique du cluster (#56)**
|
||||||
|
|
||||||
|
- Nouvelle section `network` de la configuration de l'agent. `mtu_vm` (1500 par défaut, 1500 au
|
||||||
|
plus) fixe le MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN que
|
||||||
|
l'agent crée, jusque-là figé à 1500. Il doit être identique sur tous les hyperviseurs. Sous
|
||||||
|
1500, il faut `allow_mtu_vm_below_1500`, et jamais sous 1280 ; une valeur hors bornes fait
|
||||||
|
échouer le démarrage
|
||||||
|
- Le MTU est annoncé aux VM par l'option DHCP 26 (serveur intégré et dnsmasq) et par `host_mtu`
|
||||||
|
sur leur interface virtio. `probe` l'affiche
|
||||||
|
- L'underlay est attendu à exactement 9000 : un subnet `vxlan` dont l'interface n'y est pas est
|
||||||
|
refusé (422), comme un VPC avec `l3vni` si `default_interface` n'y est pas (409), sauf avec
|
||||||
|
`allow_mtu_underlay_below_9000`. Dans tous les cas l'underlay doit porter `mtu_vm` + 50 octets
|
||||||
|
d'en-tête VXLAN. Un subnet `bridge` est refusé si son bridge est sous `mtu_vm`
|
||||||
|
|
||||||
**Exploitation**
|
**Exploitation**
|
||||||
|
|
||||||
- Le watchdog contrôle aussi, avec une section `bgp` : les sessions vers les route reflectors ;
|
- Le watchdog contrôle aussi, avec une section `bgp` : les sessions vers les route reflectors ;
|
||||||
|
|
@ -149,8 +163,7 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
|
||||||
|
|
||||||
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
|
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
|
||||||
|
|
||||||
- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. MTU
|
- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
|
||||||
1500 de bout en bout (#56). Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
|
|
||||||
rejetés comme « martiens » (traceroute partiel)
|
rejetés comme « martiens » (traceroute partiel)
|
||||||
- Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas :
|
- Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas :
|
||||||
au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52)
|
au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52)
|
||||||
|
|
@ -176,7 +189,7 @@ bash ./deploy.sh -t 0.2.0
|
||||||
```
|
```
|
||||||
|
|
||||||
Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à
|
Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à
|
||||||
quatre exceptions près, qui touchent les appelants de l'API :
|
cinq exceptions près ; les quatre premières touchent les appelants de l'API :
|
||||||
|
|
||||||
- **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le
|
- **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le
|
||||||
calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières
|
calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières
|
||||||
|
|
@ -187,6 +200,11 @@ quatre exceptions près, qui touchent les appelants de l'API :
|
||||||
- **les disques additionnels s'appellent `xvdX`** : `sdX` est refusé (400). Les VM existantes sont
|
- **les disques additionnels s'appellent `xvdX`** : `sdX` est refusé (400). Les VM existantes sont
|
||||||
migrées ; leurs disques prennent le numéro de série `xvdX` au prochain lancement, et une image
|
migrées ; leurs disques prennent le numéro de série `xvdX` au prochain lancement, et une image
|
||||||
qui les montait par `/dev/sdY` doit passer à `/dev/xvdX`
|
qui les montait par `/dev/sdY` doit passer à `/dev/xvdX`
|
||||||
|
- **l'underlay doit être à 9000** : sur un hyperviseur dont `default_interface` (ou l'interface
|
||||||
|
d'un `iface_type`) est à un autre MTU, la création d'un subnet `vxlan` est refusée. Passer
|
||||||
|
l'underlay à 9000, ou poser `network.allow_mtu_underlay_below_9000: true` — sous 1550, il faut
|
||||||
|
aussi abaisser `network.mtu_vm` avec `allow_mtu_vm_below_1500`. Les subnets existants gardent
|
||||||
|
leurs interfaces à 1500 jusqu'à leur recréation
|
||||||
|
|
||||||
Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le
|
Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le
|
||||||
bridge) jusqu'à leur recréation.
|
bridge) jusqu'à leur recréation.
|
||||||
|
|
|
||||||
Loading…
Add table
Add a link
Reference in a new issue