diff --git a/main/deploiement/architecture-cluster.html b/main/deploiement/architecture-cluster.html index 9a78cd4..a65d844 100644 --- a/main/deploiement/architecture-cluster.html +++ b/main/deploiement/architecture-cluster.html @@ -468,13 +468,30 @@ les fait converger.

MTU#

-
-

Avertissement

-

L’agent crée bridges, veth et interfaces VXLAN avec un MTU figé à 1500. VXLAN ajoute 50 -octets d’encapsulation : le réseau qui relie les hyperviseurs doit donc accepter au moins -1550 octets de MTU, sinon les paquets pleine taille des VM sont perdus.

-

Le symptôme est trompeur : le ping passe, les petites requêtes passent, les transferts -volumineux et les poignées de main TLS échouent.

+

Le MTU est une valeur unique pour tout le cluster : toutes les VM, et tous les bridges, veth, +taps et interfaces VXLAN que l’agent crée, sont au MTU des VM, network.mtu_vm (1500 par +défaut, cf. Configuration). Il doit être identique sur tous les +hyperviseurs : un subnet est un seul domaine L2 qui s’étend sur plusieurs hôtes, et un élément à +un MTU plus petit que les autres jette les trames en silence — un bridge ne fragmente pas et +n’émet aucun ICMP. Le symptôme est trompeur : le ping passe, les petites requêtes passent, les +transferts volumineux et les poignées de main TLS échouent.

+

L’underlay, le réseau qui relie les hyperviseurs et porte le VXLAN, est attendu à exactement +9000. VXLAN ajoute 50 octets d’encapsulation ; 9000 laisse donc toute la marge à des VM à 1500. +L’agent refuse de créer un subnet vxlan (ou un VPC avec l3vni) dont l’interface n’est +pas à 9000, sauf si network.allow_mtu_underlay_below_9000 l’y autorise ; même alors, +l’underlay doit faire au moins network.mtu_vm + 50. Un underlay à 1500 impose donc des VM à +1450 au plus, et l’option network.allow_mtu_vm_below_1500.

+

Le MTU est annoncé aux VM par deux voies : l’option DHCP 26 et host_mtu sur leur interface +virtio. Une image dont le client DHCP ignore l’option 26 s’aligne quand même.

+
+

Note

+

VM en mode bridge sur un bridge à 9000. Un subnet bridge rattaché à br-000000 +met ses VM, à 1500, sur un segment L2 à 9000 avec l’hôte et tout ce qui s’y trouve. Le +routage vers les autres subnets reste correct — un routeur renvoie un « fragmentation +needed » plutôt que de perdre en silence —, mais l’interface du routeur qui sert de gateway +à ce segment doit être à 1500 : sinon elle peut envoyer à la VM des trames plus grandes +qu’elle n’accepte. En TCP, le MSS annoncé par la VM protège l’échange ; en UDP ou en ICMP, +les gros paquets venant d’un équipement à 9000 du même segment sont perdus.

diff --git a/main/deploiement/routeurs.html b/main/deploiement/routeurs.html index 1d9bb6b..6ddd0ad 100644 --- a/main/deploiement/routeurs.html +++ b/main/deploiement/routeurs.html @@ -485,9 +485,10 @@ hyperviseur.

Indépendamment des choix d’équipement, deux contraintes viennent de ce que fait l’agent.

Avertissement

-

MTU — l’agent crée bridges, veth et interfaces VXLAN avec un MTU figé à 1500, et VXLAN -ajoute 50 octets d’encapsulation. Les liens entre hyperviseurs doivent donc accepter au moins -1550 octets. Cf. Architecture du cluster.

+

MTU — l’underlay est attendu à 9000 : l’agent refuse un subnet vxlan sur une +interface à un autre MTU, sauf option, et les VM sont à 1500 plus 50 octets d’encapsulation. +L’interface d’un routeur qui sert de gateway à un segment de VM doit être au MTU des VM +(1500). Cf. Architecture du cluster.

Avertissement

diff --git a/main/developpement/lab.html b/main/developpement/lab.html index 23b9337..f161c18 100644 --- a/main/developpement/lab.html +++ b/main/developpement/lab.html @@ -796,82 +796,87 @@ fait en fermant le ticket. Chaque ticket concerné liste ses marqueurs en commen

hv1

#46

-

31-gateway

+

28-mtu

+

MTU des VM (network.mtu_vm, 1500) — option DHCP 26 (serveur intégré et dnsmasq), host_mtu de QEMU, tap, bridge, veth et VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n’est pas à 9000

+

hv1 hv2

+

#56

+ +

31-gateway

gateway d’un subnet vxlan — gateway anycast et adresse d’émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation

hv1

#57, #43

-

32-vxlan-local

+

32-vxlan-local

routage entre deux subnets vxlan d’un même VPC sur un même hôte, sans et avec l3vni — ICMP, TCP, saut unique par la gateway

hv1

#57, #41

-

33-bridge

+

33-bridge

subnet en mode bridge rattaché au bridge br-lan de l’hôte — un hôte, puis le même subnet sur deux hôtes (interface_ip confinée à son hôte : une seule réponse ARP, métadonnées servies par l’hôte de la VM, ni ARP ni DHCP de la gateway sur le segment, règles surveillées par le watchdog)

hv1 hv2

#70, #75

-

34-isolation-locale

+

34-isolation-locale

isolation entre deux VPC sur un même hôte — ni ICMP ni TCP d’un VPC à l’autre

hv1

#50

-

35-filtrage-port

+

35-filtrage-port

filtrage au port — en sortie vers le fabric (v-<id>-i) : ARP vers la gateway et l’adresse d’émission, DHCP émis depuis ces adresses, MAC anycast confinée dans les deux sens ; entre VM d’un même hôte : faux serveur DHCP et usurpation ARP de la gateway (comportement attendu, non filtré à ce jour)

hv1

#57

-

41-evpn-l2

+

41-evpn-l2

subnet vxlan étendu entre deux hôtes par EVPN — VTEP local, VTEP distant et inondation appris, MAC des VM en type 2, trafic ICMP et TCP, MTU 1500 de bout en bout

hv1 hv2

#50, #51

-

42-isolation-evpn

+

42-isolation-evpn

isolation entre VPC à travers EVPN — deux VPC sur la même plage, la VM d’un VPC ne joint pas celle de l’autre sur un hôte distant

hv1 hv2

#50, #51

-

43-subnets-partages

+

43-subnets-partages

subnets vxlan partagés par deux hôtes, deux VM par hôte, dans un VPC avec et un VPC sans l3vni — toutes les paires, gateway anycast vue par chaque VM et absente d’EVPN, aucune MAC en double

hv2 hv3

#57, #41

-

44-fenetre-arp

+

44-fenetre-arp

fenêtre ARP de la gateway anycast entre deux hôtes — relais L2 depuis l’adresse d’émission d’un hôte, gateway de la VM inchangée, métadonnées, renouvellement DHCP et TCP local sans perte pendant la fenêtre

hv1 hv2

#57

-

51-l3vni

+

51-l3vni

routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d’un VPC routé

hv1 hv2

#41

-

52-migration

+

52-migration

migration d’une adresse de VM entre hôtes d’un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu’une VM l’utilise, MAC anycast hors EVPN

hv1 hv2 hv3

#41, #57

-

53-watchdog-l3

+

53-watchdog-l3

watchdog d’un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais

hv1 hv3

#41

-

61-redemarrage-agent

+

61-redemarrage-agent

redémarrage de l’agent avec des VM en marche — rien ne disparaît ni n’est recréé, trafic routé sans perte, DHCP et métadonnées servis, base BGP réappliquée à l’identique, ressources toujours gérées

hv1 hv2

#41, #46

-

62-nettoyage-global

+

62-nettoyage-global

nettoyage global en fin de suite — aucun hôte ne garde de ressource : API vide, ni netns, tap, VRF, unité, instance DHCP ou de métadonnées, processus QEMU, règle de port, volume ; FRR réduit à la base BGP

#70

-

71-perte-rr

+

71-perte-rr

perte d’un route reflector — l’autre garde la session EVPN, le VTEP distant reste connu, le trafic L2 entre hôtes passe sans perte mesurable, retour du RR arrêté

hv1 hv2

#54

-

72-perte-switch

+

72-perte-switch

perte d’un switch de la passerelle VRRP — bascule vers l’autre en moins de 5 s, sessions EVPN jamais coupées ; au retour, le plus prioritaire redevient maître, seconde bascule mesurée

#54, #69

diff --git a/main/exploitation/configuration.html b/main/exploitation/configuration.html index b2bf502..af27890 100644 --- a/main/exploitation/configuration.html +++ b/main/exploitation/configuration.html @@ -346,6 +346,7 @@
  • Serveurs
  • Exécution des commandes
  • Correspondance des interfaces
  • +
  • MTU
  • Plan de contrôle BGP
  • Metadata et QEMU
  • Backend DHCP
  • +
    +

    MTU#

    +
    network:
    +  mtu_vm: 1500
    +  allow_mtu_vm_below_1500: false
    +  allow_mtu_underlay_below_9000: false
    +
    +
    + +

    Un subnet bridge est refusé (422) si son bridge est sous mtu_vm ; il n’y a pas +d’encapsulation, donc pas de marge à prévoir. Les interfaces sont créées au MTU en vigueur à la +création du subnet : changer mtu_vm ne modifie pas les subnets existants, il faut les +recréer.

    +

    Plan de contrôle BGP#

    bgp:
    @@ -643,6 +669,7 @@ l’autre.

  • Serveurs
  • Exécution des commandes
  • Correspondance des interfaces
  • +
  • MTU
  • Plan de contrôle BGP
  • Metadata et QEMU
  • Backend DHCP +

    MTU unique du cluster (#56)

    +
      +
    • Nouvelle section network de la configuration de l’agent. mtu_vm (1500 par défaut, 1500 au +plus) fixe le MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN que +l’agent crée, jusque-là figé à 1500. Il doit être identique sur tous les hyperviseurs. Sous +1500, il faut allow_mtu_vm_below_1500, et jamais sous 1280 ; une valeur hors bornes fait +échouer le démarrage

    • +
    • Le MTU est annoncé aux VM par l’option DHCP 26 (serveur intégré et dnsmasq) et par host_mtu +sur leur interface virtio. probe l’affiche

    • +
    • L’underlay est attendu à exactement 9000 : un subnet vxlan dont l’interface n’y est pas est +refusé (422), comme un VPC avec l3vni si default_interface n’y est pas (409), sauf avec +allow_mtu_underlay_below_9000. Dans tous les cas l’underlay doit porter mtu_vm + 50 octets +d’en-tête VXLAN. Un subnet bridge est refusé si son bridge est sous mtu_vm

    • +

    Exploitation

    • Le watchdog contrôle aussi, avec une section bgp : les sessions vers les route reflectors ; @@ -520,8 +534,7 @@ d’état, dans un

      Périmètre et limites connues#

      Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S’y ajoutent :

        -
      • L3VNI : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. MTU -1500 de bout en bout (#56). Le transit 169.254.0.0/30 étant identique sur tous les hôtes, les ICMP des sauts distants sont +

      • L3VNI : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. Le transit 169.254.0.0/30 étant identique sur tous les hôtes, les ICMP des sauts distants sont rejetés comme « martiens » (traceroute partiel)

      • Avec une section bgp, l’agent ne démarre pas sans FRR et agent.service ne le relance pas : au démarrage, l’ordre est migration réseau, puis FRR, puis l’agent (#52)

      • @@ -547,7 +560,7 @@ bash ./deploy.sh -t
  • Sans dhcp.backend ni bgp dans /etc/two/agent.yml, le comportement est celui de la 0.1.0, à -quatre exceptions près, qui touchent les appelants de l’API :

    +cinq exceptions près ; les quatre premières touchent les appelants de l’API :

    Les subnets vxlan existants gardent leur adressage et le modèle précédent (gateway sur le bridge) jusqu’à leur recréation. Les subnets bridge existants restent sans le confinement de