Merge branch 'feature-56'
All checks were successful
Documentation / publish (push) Successful in 1m30s

This commit is contained in:
GnomeZworc 2026-10-23 23:59:40 +02:00
commit b2c89043b2
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
43 changed files with 638 additions and 36 deletions

View file

@ -35,6 +35,18 @@ interfaces:
internet: br-000000 internet: br-000000
admin: br-000000 admin: br-000000
# MTU, identical on every hypervisor.
# mtu_vm: MTU of the VMs and of every bridge, veth, tap and VXLAN the agent creates,
# announced by DHCP option 26 and QEMU host_mtu. 1500 at most; below 1500 only with
# allow_mtu_vm_below_1500, never below 1280.
# allow_mtu_underlay_below_9000: a vxlan subnet (or a VPC with l3vni) is refused when
# its underlay is not at exactly 9000, unless this is true. The underlay must always
# carry mtu_vm plus 50 bytes of VXLAN header.
network:
mtu_vm: 1500
allow_mtu_vm_below_1500: false
allow_mtu_underlay_below_9000: false
# BGP control plane of the hypervisor (optional). # BGP control plane of the hypervisor (optional).
# Absent: the agent leaves FRR alone. Present: at every start, before serving its # Absent: the agent leaves FRR alone. Present: at every start, before serving its
# API, the agent applies the base BGP configuration through vtysh (router-id = the # API, the agent applies the base BGP configuration through vtysh (router-id = the

View file

@ -117,14 +117,33 @@ les fait converger.
MTU MTU
--- ---
.. warning:: Le MTU est une valeur **unique pour tout le cluster** : toutes les VM, et tous les bridges, veth,
taps et interfaces VXLAN que l'agent crée, sont au MTU des VM, ``network.mtu_vm`` (1500 par
défaut, cf. :doc:`/exploitation/configuration`). Il doit être identique sur tous les
hyperviseurs : un subnet est un seul domaine L2 qui s'étend sur plusieurs hôtes, et un élément à
un MTU plus petit que les autres jette les trames en silence — un bridge ne fragmente pas et
n'émet aucun ICMP. Le symptôme est trompeur : le ping passe, les petites requêtes passent, les
transferts volumineux et les poignées de main TLS échouent.
L'agent crée bridges, veth et interfaces VXLAN avec un **MTU figé à 1500**. VXLAN ajoute 50 L'underlay, le réseau qui relie les hyperviseurs et porte le VXLAN, est attendu à **exactement
octets d'encapsulation : le réseau qui relie les hyperviseurs doit donc accepter au moins 9000**. VXLAN ajoute 50 octets d'encapsulation ; 9000 laisse donc toute la marge à des VM à 1500.
**1550 octets** de MTU, sinon les paquets pleine taille des VM sont perdus. L'agent refuse de créer un subnet ``vxlan`` (ou un VPC avec ``l3vni``) dont l'interface n'est
pas à 9000, sauf si ``network.allow_mtu_underlay_below_9000`` l'y autorise ; même alors,
l'underlay doit faire au moins ``network.mtu_vm`` + 50. Un underlay à 1500 impose donc des VM à
1450 au plus, et l'option ``network.allow_mtu_vm_below_1500``.
Le symptôme est trompeur : le ping passe, les petites requêtes passent, les transferts Le MTU est annoncé aux VM par deux voies : l'option DHCP 26 et ``host_mtu`` sur leur interface
volumineux et les poignées de main TLS échouent. virtio. Une image dont le client DHCP ignore l'option 26 s'aligne quand même.
.. note::
**VM en mode bridge sur un bridge à 9000.** Un subnet ``bridge`` rattaché à ``br-000000``
met ses VM, à 1500, sur un segment L2 à 9000 avec l'hôte et tout ce qui s'y trouve. Le
routage vers les autres subnets reste correct — un routeur renvoie un « fragmentation
needed » plutôt que de perdre en silence —, mais l'interface du routeur qui sert de gateway
à ce segment doit être à 1500 : sinon elle peut envoyer à la VM des trames plus grandes
qu'elle n'accepte. En TCP, le MSS annoncé par la VM protège l'échange ; en UDP ou en ICMP,
les gros paquets venant d'un équipement à 9000 du même segment sont perdus.
Hyperviseurs sans état Hyperviseurs sans état
---------------------- ----------------------

View file

@ -88,9 +88,10 @@ Indépendamment des choix d'équipement, deux contraintes viennent de ce que fai
.. warning:: .. warning::
**MTU** — l'agent crée bridges, veth et interfaces VXLAN avec un MTU figé à 1500, et VXLAN **MTU** — l'underlay est attendu à **9000** : l'agent refuse un subnet ``vxlan`` sur une
ajoute 50 octets d'encapsulation. Les liens entre hyperviseurs doivent donc accepter au moins interface à un autre MTU, sauf option, et les VM sont à 1500 plus 50 octets d'encapsulation.
**1550 octets**. Cf. :doc:`architecture-cluster`. L'interface d'un routeur qui sert de gateway à un segment de VM doit être au MTU des VM
(1500). Cf. :doc:`architecture-cluster`.
.. warning:: .. warning::

View file

@ -327,6 +327,10 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
- redémarrage d'une VM depuis l'invité — même processus QEMU, même adresse, nouveau bail, user_data non rejoué - redémarrage d'une VM depuis l'invité — même processus QEMU, même adresse, nouveau bail, user_data non rejoué
- hv1 - hv1
- #46 - #46
* - ``28-mtu``
- MTU des VM (``network.mtu_vm``, 1500) — option DHCP 26 (serveur intégré et dnsmasq), ``host_mtu`` de QEMU, tap, bridge, veth et VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000
- hv1 hv2
- #56
* - ``31-gateway`` * - ``31-gateway``
- gateway d'un subnet vxlan — gateway anycast et adresse d'émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation - gateway d'un subnet vxlan — gateway anycast et adresse d'émission calculées, default_route et gateway explicite, routes DHCP, macvlan gw-, FDB locale, sysctls ARP, règles de confinement, suppression et recréation
- hv1 - hv1

View file

@ -104,6 +104,32 @@ Traduit les clés logiques ``iface_type`` de l'API vers les bridges physiques de
inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur, inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur,
mais c'est une source de subnets branchés au mauvais endroit sans le dire. mais c'est une source de subnets branchés au mauvais endroit sans le dire.
MTU
---
.. code-block:: yaml
network:
mtu_vm: 1500
allow_mtu_vm_below_1500: false
allow_mtu_underlay_below_9000: false
* ``mtu_vm`` — le MTU de toutes les VM, et de tous les bridges, veth, taps et interfaces VXLAN
que l'agent crée. Il est annoncé aux VM par l'option DHCP 26 et par ``host_mtu``. **Il doit
être identique sur tous les hyperviseurs.** 1500 au plus ; en dessous, seulement avec
``allow_mtu_vm_below_1500``, et jamais sous 1280. Une valeur hors de ces bornes fait échouer
le démarrage de l'agent.
* ``allow_mtu_underlay_below_9000`` — l'underlay est attendu à exactement 9000. Sans cette
option, un subnet ``vxlan`` dont l'interface (celle de ``iface_type``, ou
``default_interface``) n'est pas à 9000 est refusé (422), comme un VPC avec ``l3vni`` si
``default_interface`` ne l'est pas (409). Dans tous les cas, l'underlay doit faire au moins
``mtu_vm`` + 50 (en-tête VXLAN).
Un subnet ``bridge`` est refusé (422) si son bridge est sous ``mtu_vm`` ; il n'y a pas
d'encapsulation, donc pas de marge à prévoir. Les interfaces sont créées au MTU en vigueur à la
création du subnet : changer ``mtu_vm`` ne modifie pas les subnets existants, il faut les
recréer.
Plan de contrôle BGP Plan de contrôle BGP
-------------------- --------------------

View file

@ -29,3 +29,7 @@ func newTestServerWith(t *testing.T, cfg *configuration.Config) (*Server, *badge
d := dispatcher.New(q, db, cfg, logger) d := dispatcher.New(q, db, cfg, logger)
return New(d, db, logger, "127.0.0.1:0"), db return New(d, db, logger, "127.0.0.1:0"), db
} }
func init() {
dispatcher.LinkMTU = func(string) (int, error) { return 9000, nil }
}

View file

@ -17,7 +17,7 @@ func (s Subnet) toConfig() (dhcpd.SubnetConfig, error) {
return dhcpd.SubnetConfig{}, fmt.Errorf("invalid interface ip %q", s.InterfaceIP) return dhcpd.SubnetConfig{}, fmt.Errorf("invalid interface ip %q", s.InterfaceIP)
} }
c := dhcpd.SubnetConfig{Network: network, InterfaceIP: interfaceIP} c := dhcpd.SubnetConfig{Network: network, InterfaceIP: interfaceIP, MTU: s.MTU}
if s.VPCRoute != "" { if s.VPCRoute != "" {
if _, c.VPCRoute, err = net.ParseCIDR(s.VPCRoute); err != nil { if _, c.VPCRoute, err = net.ParseCIDR(s.VPCRoute); err != nil {
@ -48,6 +48,7 @@ func subnetFromConfig(c dhcpd.SubnetConfig) Subnet {
s := Subnet{ s := Subnet{
Network: c.Network.String(), Network: c.Network.String(),
InterfaceIP: c.InterfaceIP.String(), InterfaceIP: c.InterfaceIP.String(),
MTU: c.MTU,
} }
if c.VPCRoute != nil { if c.VPCRoute != nil {
s.VPCRoute = c.VPCRoute.String() s.VPCRoute = c.VPCRoute.String()

View file

@ -47,7 +47,7 @@ func CanonicalSubnet(s Subnet) (Subnet, error) {
return Subnet{}, err return Subnet{}, err
} }
out := Subnet{Network: network, InterfaceIP: interfaceIP} out := Subnet{Network: network, InterfaceIP: interfaceIP, MTU: s.MTU}
if s.VPCRoute != "" { if s.VPCRoute != "" {
if out.VPCRoute, err = canonicalCIDR(s.VPCRoute); err != nil { if out.VPCRoute, err = canonicalCIDR(s.VPCRoute); err != nil {

View file

@ -17,6 +17,7 @@ type Subnet struct {
InterfaceIP string `json:"interface_ip"` InterfaceIP string `json:"interface_ip"`
VPCRoute string `json:"vpc_route,omitempty"` VPCRoute string `json:"vpc_route,omitempty"`
DefaultGateway string `json:"default_gateway,omitempty"` DefaultGateway string `json:"default_gateway,omitempty"`
MTU int `json:"mtu,omitempty"`
} }
type Host struct { type Host struct {
@ -38,6 +39,7 @@ type Lease struct {
Router string `json:"router,omitempty"` Router string `json:"router,omitempty"`
DNS []string `json:"dns"` DNS []string `json:"dns"`
Routes []string `json:"routes"` Routes []string `json:"routes"`
MTU uint16 `json:"mtu,omitempty"`
LeaseSeconds uint32 `json:"lease_seconds"` LeaseSeconds uint32 `json:"lease_seconds"`
} }

View file

@ -0,0 +1,44 @@
package dhcpapi
import (
"net"
"testing"
"git.g3e.fr/syonad/two/internal/dhcpd"
"github.com/insomniacslk/dhcp/dhcpv4"
)
func TestSubnet_MTUSurvivesTheConversions(t *testing.T) {
c, err := Subnet{Network: "10.0.5.0/24", InterfaceIP: "10.0.5.1", MTU: 1450}.toConfig()
if err != nil {
t.Fatalf("toConfig : %v", err)
}
if c.MTU != 1450 {
t.Errorf("toConfig : mtu %d", c.MTU)
}
if got := subnetFromConfig(c).MTU; got != 1450 {
t.Errorf("subnetFromConfig : mtu %d", got)
}
canonical, err := CanonicalSubnet(Subnet{Network: "10.0.5.0/24", InterfaceIP: "10.0.5.1", MTU: 1450})
if err != nil || canonical.MTU != 1450 {
t.Errorf("CanonicalSubnet : %+v, %v", canonical, err)
}
}
func TestLeaseFromReply_ShowsTheMTU(t *testing.T) {
_, network, _ := net.ParseCIDR("10.0.5.0/24")
mac, _ := net.ParseMAC("00:22:33:00:00:0a")
c := dhcpd.SubnetConfig{Network: network, InterfaceIP: net.ParseIP("10.0.5.1"), MTU: 1450}
h := dhcpd.Host{MAC: mac, IP: net.ParseIP("10.0.5.10")}
req, err := dhcpv4.New(dhcpv4.WithMessageType(dhcpv4.MessageTypeRequest), dhcpv4.WithHwAddr(mac))
if err != nil {
t.Fatal(err)
}
reply, err := dhcpd.BuildReply(c, h, req)
if err != nil {
t.Fatalf("BuildReply : %v", err)
}
if got := leaseFromReply(mac, reply).MTU; got != 1450 {
t.Errorf("lease.MTU = %d, attendu 1450", got)
}
}

View file

@ -186,5 +186,8 @@ func leaseFromReply(mac net.HardwareAddr, reply *dhcpv4.DHCPv4) *Lease {
for _, route := range reply.ClasslessStaticRoute() { for _, route := range reply.ClasslessStaticRoute() {
lease.Routes = append(lease.Routes, route.Dest.String()+" via "+route.Router.String()) lease.Routes = append(lease.Routes, route.Dest.String()+" via "+route.Router.String())
} }
if mtu, err := dhcpv4.GetUint16(dhcpv4.OptionInterfaceMTU, reply.Options); err == nil {
lease.MTU = mtu
}
return lease return lease
} }

View file

@ -0,0 +1,52 @@
package configuration
import "fmt"
const (
MTUVM = 1500
MinMTUVM = 1280
MTUUnderlay = 9000
VXLANOverhead = 50
)
type Network struct {
MTUVM int `mapstructure:"mtu_vm"`
AllowMTUVMBelow1500 bool `mapstructure:"allow_mtu_vm_below_1500"`
AllowMTUUnderlayBelow9000 bool `mapstructure:"allow_mtu_underlay_below_9000"`
}
func (n Network) VM() int {
if n.MTUVM == 0 {
return MTUVM
}
return n.MTUVM
}
func (n Network) Validate() error {
switch {
case n.MTUVM > MTUVM:
return fmt.Errorf("network.mtu_vm %d is above %d", n.MTUVM, MTUVM)
case n.MTUVM < MinMTUVM:
return fmt.Errorf("network.mtu_vm %d is below the minimum %d", n.MTUVM, MinMTUVM)
case n.MTUVM < MTUVM && !n.AllowMTUVMBelow1500:
return fmt.Errorf("network.mtu_vm %d is below %d: set network.allow_mtu_vm_below_1500 to allow it", n.MTUVM, MTUVM)
}
return nil
}
func (n Network) CheckUnderlay(iface string, mtu int) error {
if mtu != MTUUnderlay && !n.AllowMTUUnderlayBelow9000 {
return fmt.Errorf("underlay %s has mtu %d, %d expected: set network.allow_mtu_underlay_below_9000 to allow another value", iface, mtu, MTUUnderlay)
}
if mtu < n.VM()+VXLANOverhead {
return fmt.Errorf("underlay %s has mtu %d, below network.mtu_vm %d plus %d bytes of vxlan header", iface, mtu, n.VM(), VXLANOverhead)
}
return nil
}
func (n Network) CheckBridge(iface string, mtu int) error {
if mtu < n.VM() {
return fmt.Errorf("bridge %s has mtu %d, below network.mtu_vm %d", iface, mtu, n.VM())
}
return nil
}

View file

@ -0,0 +1,98 @@
package configuration
import (
"strings"
"testing"
)
func TestLoadConfig_NetworkDefauts(t *testing.T) {
cfg, err := LoadConfig(writeYAML(t, ""))
if err != nil {
t.Fatalf("LoadConfig a échoué : %v", err)
}
if cfg.Network.MTUVM != 1500 || cfg.Network.AllowMTUVMBelow1500 || cfg.Network.AllowMTUUnderlayBelow9000 {
t.Errorf("network par défaut : %+v", cfg.Network)
}
}
func TestLoadConfig_MTUVMRefuseSansOption(t *testing.T) {
if _, err := LoadConfig(writeYAML(t, "network:\n mtu_vm: 1450\n")); err == nil || !strings.Contains(err.Error(), "allow_mtu_vm_below_1500") {
t.Errorf("mtu_vm 1450 sans option : %v", err)
}
cfg, err := LoadConfig(writeYAML(t, "network:\n mtu_vm: 1450\n allow_mtu_vm_below_1500: true\n"))
if err != nil || cfg.Network.MTUVM != 1450 {
t.Errorf("mtu_vm 1450 avec option : %v, %+v", err, cfg)
}
}
func TestNetworkValidate(t *testing.T) {
cases := []struct {
n Network
ok bool
}{
{Network{MTUVM: 1500}, true},
{Network{MTUVM: 1501}, false},
{Network{MTUVM: 9000, AllowMTUVMBelow1500: true}, false},
{Network{MTUVM: 1499}, false},
{Network{MTUVM: 1499, AllowMTUVMBelow1500: true}, true},
{Network{MTUVM: 1280, AllowMTUVMBelow1500: true}, true},
{Network{MTUVM: 1279, AllowMTUVMBelow1500: true}, false},
{Network{MTUVM: 0, AllowMTUVMBelow1500: true}, false},
}
for _, c := range cases {
if err := c.n.Validate(); (err == nil) != c.ok {
t.Errorf("Validate(%+v) = %v", c.n, err)
}
}
}
func TestNetworkCheckUnderlay(t *testing.T) {
n := Network{MTUVM: 1500}
if err := n.CheckUnderlay("br-000000", 9000); err != nil {
t.Errorf("9000 : %v", err)
}
for _, m := range []int{9216, 8999, 1550} {
if err := n.CheckUnderlay("br-000000", m); err == nil || !strings.Contains(err.Error(), "allow_mtu_underlay_below_9000") {
t.Errorf("%d sans option : %v", m, err)
}
}
n.AllowMTUUnderlayBelow9000 = true
if err := n.CheckUnderlay("br-000000", 1550); err != nil {
t.Errorf("1550 avec option : %v", err)
}
if err := n.CheckUnderlay("br-000000", 1549); err == nil || !strings.Contains(err.Error(), "vxlan header") {
t.Errorf("1549 avec option, mtu_vm 1500 : %v", err)
}
n.MTUVM = 1400
if err := n.CheckUnderlay("br-000000", 1450); err != nil {
t.Errorf("1450 pour mtu_vm 1400 : %v", err)
}
if err := (Network{MTUVM: 8960}).CheckUnderlay("br-000000", 9000); err == nil {
t.Error("mtu_vm 8960 + 50 dépasse 9000")
}
}
func TestNetworkVMIs1500WhenUnset(t *testing.T) {
if got := (Network{}).VM(); got != 1500 {
t.Errorf("VM() d'une section vide = %d", got)
}
if got := (Network{MTUVM: 1400}).VM(); got != 1400 {
t.Errorf("VM() = %d, attendu 1400", got)
}
if err := (Network{}).CheckUnderlay("br-000000", 1549); err == nil {
t.Error("section vide : 1549 doit être refusé (mtu_vm 1500 + 50)")
}
}
func TestNetworkCheckBridge(t *testing.T) {
n := Network{MTUVM: 1500}
if err := n.CheckBridge("br-lan", 1500); err != nil {
t.Errorf("1500 : %v", err)
}
if err := n.CheckBridge("br-000000", 9000); err != nil {
t.Errorf("9000 : %v", err)
}
if err := n.CheckBridge("br-lan", 1499); err == nil || !strings.Contains(err.Error(), "br-lan") {
t.Errorf("1499 : %v", err)
}
}

View file

@ -55,6 +55,7 @@ type Config struct {
Enabled bool `mapstructure:"enabled"` Enabled bool `mapstructure:"enabled"`
IntervalSeconds int `mapstructure:"interval_seconds"` IntervalSeconds int `mapstructure:"interval_seconds"`
} `mapstructure:"watchdog"` } `mapstructure:"watchdog"`
Network Network `mapstructure:"network"`
BGP BGP `mapstructure:"bgp"` BGP BGP `mapstructure:"bgp"`
DefaultInterface string `mapstructure:"default_interface"` DefaultInterface string `mapstructure:"default_interface"`
Interfaces map[string]string `mapstructure:"interfaces"` Interfaces map[string]string `mapstructure:"interfaces"`
@ -90,6 +91,9 @@ func LoadConfig(path string) (*Config, error) {
v.SetDefault("default_interface", "br-000000") v.SetDefault("default_interface", "br-000000")
v.SetDefault("logger.level", "info") v.SetDefault("logger.level", "info")
v.SetDefault("logger.debug", false) v.SetDefault("logger.debug", false)
v.SetDefault("network.mtu_vm", MTUVM)
v.SetDefault("network.allow_mtu_vm_below_1500", false)
v.SetDefault("network.allow_mtu_underlay_below_9000", false)
if err := v.ReadInConfig(); err != nil && !errors.Is(err, os.ErrNotExist) { if err := v.ReadInConfig(); err != nil && !errors.Is(err, os.ErrNotExist) {
return nil, fmt.Errorf("read %s: %w", path, err) return nil, fmt.Errorf("read %s: %w", path, err)
@ -99,6 +103,9 @@ func LoadConfig(path string) (*Config, error) {
if err := v.Unmarshal(&cfg); err != nil { if err := v.Unmarshal(&cfg); err != nil {
return nil, err return nil, err
} }
if err := cfg.Network.Validate(); err != nil {
return nil, fmt.Errorf("%s: %w", path, err)
}
return &cfg, nil return &cfg, nil
} }

View file

@ -31,6 +31,7 @@ func GenerateConfig(c Config) (string, error) {
fmt.Fprintf(&sb, "dhcp-option=3\n") fmt.Fprintf(&sb, "dhcp-option=3\n")
} }
fmt.Fprintf(&sb, "dhcp-option=6,1.1.1.1,8.8.8.8\n") fmt.Fprintf(&sb, "dhcp-option=6,1.1.1.1,8.8.8.8\n")
fmt.Fprintf(&sb, "dhcp-option=26,%d\n", c.interfaceMTU())
fmt.Fprintf(&sb, "dhcp-hostsdir=%s\n", HostsDir(c.ConfDir, c.Name)) fmt.Fprintf(&sb, "dhcp-hostsdir=%s\n", HostsDir(c.ConfDir, c.Name))
fmt.Fprintf(&sb, "dhcp-optsdir=%s\n", OptsDir(c.ConfDir, c.Name)) fmt.Fprintf(&sb, "dhcp-optsdir=%s\n", OptsDir(c.ConfDir, c.Name))
@ -44,6 +45,13 @@ func GenerateConfig(c Config) (string, error) {
return outPath, os.WriteFile(outPath, []byte(sb.String()), 0644) return outPath, os.WriteFile(outPath, []byte(sb.String()), 0644)
} }
func (c Config) interfaceMTU() int {
if c.MTU == 0 {
return 1500
}
return c.MTU
}
func classlessRoutes(c Config) []string { func classlessRoutes(c Config) []string {
nextHop := c.InterfaceIP.String() nextHop := c.InterfaceIP.String()

20
internal/dhcp/mtu_test.go Normal file
View file

@ -0,0 +1,20 @@
package dhcp
import (
"strings"
"testing"
)
func TestGenerateConfig_CarriesTheInterfaceMTU(t *testing.T) {
c := newConf(t, "192.168.1.0/29")
c.MTU = 1450
if content := confLines(t, c); !strings.Contains(content, "dhcp-option=26,1450\n") {
t.Errorf("option 26 absente :\n%s", content)
}
}
func TestGenerateConfig_InterfaceMTUIs1500WhenUnset(t *testing.T) {
if content := confLines(t, newConf(t, "192.168.1.0/29")); !strings.Contains(content, "dhcp-option=26,1500\n") {
t.Errorf("option 26 absente :\n%s", content)
}
}

View file

@ -15,4 +15,5 @@ type Config struct {
ConfDir string ConfDir string
Listen string Listen string
Except string Except string
MTU int
} }

View file

@ -16,6 +16,7 @@ type Subnet struct {
InterfaceIP net.IP InterfaceIP net.IP
VPCRoute *net.IPNet VPCRoute *net.IPNet
DefaultGateway net.IP DefaultGateway net.IP
MTU int
} }
func (s Subnet) Instance() string { func (s Subnet) Instance() string {

View file

@ -35,6 +35,7 @@ func (b Dnsmasq) config(s Subnet) dhcp.Config {
InterfaceIP: s.InterfaceIP, InterfaceIP: s.InterfaceIP,
VPCRoute: s.VPCRoute, VPCRoute: s.VPCRoute,
DefaultGateway: s.DefaultGateway, DefaultGateway: s.DefaultGateway,
MTU: s.MTU,
} }
if s.Listen != "" && s.Listen != s.Bridge { if s.Listen != "" && s.Listen != s.Bridge {
c.Listen = s.Listen c.Listen = s.Listen

View file

@ -112,6 +112,12 @@ func TestDnsmasqSetVM_RejectsAVMWithoutReservation(t *testing.T) {
} }
} }
func TestDnsmasqConfig_CarriesTheMTU(t *testing.T) {
if c := (Dnsmasq{}).config(Subnet{VPC: "vp-s9", Bridge: "br-s9r1", MTU: 1450}); c.MTU != 1450 {
t.Errorf("mtu = %d, want 1450", c.MTU)
}
}
func TestDnsmasqConfig_ListenOnGatewayExcludesTheBridge(t *testing.T) { func TestDnsmasqConfig_ListenOnGatewayExcludesTheBridge(t *testing.T) {
c := Dnsmasq{}.config(Subnet{VPC: "vp-s9", Bridge: "br-s9r1", Listen: "gw-s9r1"}) c := Dnsmasq{}.config(Subnet{VPC: "vp-s9", Bridge: "br-s9r1", Listen: "gw-s9r1"})
if c.Listen != "gw-s9r1" || c.Except != "br-s9r1" { if c.Listen != "gw-s9r1" || c.Except != "br-s9r1" {

View file

@ -79,6 +79,7 @@ func (b Two) pushSubnet(s Subnet) error {
subnet := dhcpapi.Subnet{ subnet := dhcpapi.Subnet{
Network: s.Network.String(), Network: s.Network.String(),
InterfaceIP: s.InterfaceIP.String(), InterfaceIP: s.InterfaceIP.String(),
MTU: s.MTU,
} }
if s.VPCRoute != nil { if s.VPCRoute != nil {
subnet.VPCRoute = s.VPCRoute.String() subnet.VPCRoute = s.VPCRoute.String()

View file

@ -93,6 +93,18 @@ func TestTwoPushSubnet_ReachesTheStore(t *testing.T) {
} }
} }
func TestTwoPushSubnet_CarriesTheMTU(t *testing.T) {
b, s, store := twoBackend(t)
s.MTU = 1450
if err := b.pushSubnet(s); err != nil {
t.Fatalf("pushSubnet: %v", err)
}
if got, _ := store.Subnet(); got.MTU != 1450 {
t.Errorf("mtu = %d, want 1450", got.MTU)
}
}
func TestTwoPushSubnet_OmitsAnAbsentVPCRouteAndGateway(t *testing.T) { func TestTwoPushSubnet_OmitsAnAbsentVPCRouteAndGateway(t *testing.T) {
b, s, store := twoBackend(t) b, s, store := twoBackend(t)
s.VPCRoute = nil s.VPCRoute = nil

View file

@ -19,6 +19,14 @@ type SubnetConfig struct {
InterfaceIP net.IP InterfaceIP net.IP
VPCRoute *net.IPNet VPCRoute *net.IPNet
DefaultGateway net.IP DefaultGateway net.IP
MTU int
}
func (c SubnetConfig) InterfaceMTU() int {
if c.MTU == 0 {
return 1500
}
return c.MTU
} }
type Host struct { type Host struct {

View file

@ -0,0 +1,68 @@
package dhcpd
import (
"os"
"testing"
"github.com/insomniacslk/dhcp/dhcpv4"
)
func replyMTU(t *testing.T, c SubnetConfig) uint16 {
t.Helper()
h := testHost(t)
reply, err := BuildReply(c, h, request(t, dhcpv4.MessageTypeRequest, h.MAC))
if err != nil {
t.Fatalf("BuildReply: %v", err)
}
m, err := dhcpv4.GetUint16(dhcpv4.OptionInterfaceMTU, reply.Options)
if err != nil {
t.Fatalf("option 26 absente : %v", err)
}
return m
}
func TestBuildReply_CarriesTheInterfaceMTU(t *testing.T) {
c := testConfig(t)
c.MTU = 1450
if got := replyMTU(t, c); got != 1450 {
t.Errorf("option 26 = %d, attendu 1450", got)
}
}
func TestBuildReply_InterfaceMTUIs1500WhenUnset(t *testing.T) {
if got := replyMTU(t, testConfig(t)); got != 1500 {
t.Errorf("option 26 = %d, attendu 1500", got)
}
}
func TestStore_MTUIsPersisted(t *testing.T) {
s, path := loadedStore(t)
c := fullConfig(t)
c.MTU = 1450
if err := s.SetSubnet(c); err != nil {
t.Fatalf("SetSubnet: %v", err)
}
reloaded := NewStore(path)
if err := reloaded.Load(); err != nil {
t.Fatalf("Load: %v", err)
}
if got, _ := reloaded.Subnet(); got.MTU != 1450 {
t.Errorf("mtu relu = %d, attendu 1450", got.MTU)
}
}
func TestStore_StateWithoutMTUIsServedAt1500(t *testing.T) {
path := statePath(t)
legacy := `{"subnet":{"network":"10.0.5.0/24","interface_ip":"10.0.5.1"},"hosts":[]}`
if err := os.WriteFile(path, []byte(legacy), 0600); err != nil {
t.Fatal(err)
}
s := NewStore(path)
if err := s.Load(); err != nil {
t.Fatalf("Load: %v", err)
}
c, _ := s.Subnet()
if got := replyMTU(t, c); got != 1500 {
t.Errorf("ancien état sans mtu : option 26 = %d, attendu 1500", got)
}
}

View file

@ -88,6 +88,7 @@ func BuildReply(c SubnetConfig, h Host, req *dhcpv4.DHCPv4) (*dhcpv4.DHCPv4, err
dhcpv4.WithOption(dhcpv4.OptServerIdentifier(c.InterfaceIP)), dhcpv4.WithOption(dhcpv4.OptServerIdentifier(c.InterfaceIP)),
dhcpv4.WithOption(dhcpv4.OptDNS(DNSServers()...)), dhcpv4.WithOption(dhcpv4.OptDNS(DNSServers()...)),
dhcpv4.WithOption(dhcpv4.OptClasslessStaticRoute(routes...)), dhcpv4.WithOption(dhcpv4.OptClasslessStaticRoute(routes...)),
dhcpv4.WithOption(dhcpv4.OptGeneric(dhcpv4.OptionInterfaceMTU, dhcpv4.Uint16(c.InterfaceMTU()).ToBytes())),
} }
if h.DefaultRoute && c.DefaultGateway != nil { if h.DefaultRoute && c.DefaultGateway != nil {
mods = append(mods, dhcpv4.WithOption(dhcpv4.OptRouter(c.DefaultGateway))) mods = append(mods, dhcpv4.WithOption(dhcpv4.OptRouter(c.DefaultGateway)))

View file

@ -20,6 +20,7 @@ type diskSubnet struct {
InterfaceIP string `json:"interface_ip"` InterfaceIP string `json:"interface_ip"`
VPCRoute string `json:"vpc_route,omitempty"` VPCRoute string `json:"vpc_route,omitempty"`
DefaultGateway string `json:"default_gateway,omitempty"` DefaultGateway string `json:"default_gateway,omitempty"`
MTU int `json:"mtu,omitempty"`
} }
type diskHost struct { type diskHost struct {
@ -98,7 +99,7 @@ func subnetFromDisk(d diskSubnet) (SubnetConfig, error) {
return SubnetConfig{}, ErrNoInterfaceIP return SubnetConfig{}, ErrNoInterfaceIP
} }
c := SubnetConfig{Network: network, InterfaceIP: interfaceIP} c := SubnetConfig{Network: network, InterfaceIP: interfaceIP, MTU: d.MTU}
if d.VPCRoute != "" { if d.VPCRoute != "" {
if _, c.VPCRoute, err = net.ParseCIDR(d.VPCRoute); err != nil { if _, c.VPCRoute, err = net.ParseCIDR(d.VPCRoute); err != nil {
@ -232,6 +233,7 @@ func (s *Store) persist() error {
sub := diskSubnet{ sub := diskSubnet{
Network: s.subnet.Network.String(), Network: s.subnet.Network.String(),
InterfaceIP: s.subnet.InterfaceIP.String(), InterfaceIP: s.subnet.InterfaceIP.String(),
MTU: s.subnet.MTU,
} }
if s.subnet.VPCRoute != nil { if s.subnet.VPCRoute != nil {
sub.VPCRoute = s.subnet.VPCRoute.String() sub.VPCRoute = s.subnet.VPCRoute.String()

View file

@ -45,3 +45,7 @@ func (m mockCmd) Prepare(db *badger.DB, cfg *configuration.Config) error {
func (m mockCmd) Execute(db *badger.DB, cfg *configuration.Config) error { func (m mockCmd) Execute(db *badger.DB, cfg *configuration.Config) error {
return m.executeFn(db, cfg) return m.executeFn(db, cfg)
} }
func init() {
LinkMTU = func(string) (int, error) { return 9000, nil }
}

View file

@ -0,0 +1,88 @@
package dispatcher
import (
"strings"
"testing"
"git.g3e.fr/syonad/two/pkg/db/kv"
)
func withLinkMTU(t *testing.T, mtus map[string]int) {
t.Helper()
previous := LinkMTU
LinkMTU = func(name string) (int, error) { return mtus[name], nil }
t.Cleanup(func() { LinkMTU = previous })
}
func TestCreateSubnetCommand_Prepare_VxlanRefusesAnUnderlayOtherThan9000(t *testing.T) {
withLinkMTU(t, map[string]int{"br-vms": 1500, "br-default": 9000})
_, db := newTestDispatcher(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
cmd := CreateSubnetCommand{Name: "sn-1", VPC: "vpc-1", VxlanID: 100, IfaceType: "vms", CIDR: "10.0.0.0/24"}
err := cmd.Prepare(db, testCfg())
if err == nil || !strings.Contains(err.Error(), "underlay br-vms has mtu 1500") {
t.Fatalf("underlay br-vms à 1500 : %v", err)
}
if _, err := kv.GetFromDB(db, "subnet/sn-1/state"); err == nil {
t.Error("aucune clé ne doit être écrite après un refus")
}
cmd.IfaceType = ""
if err := cmd.Prepare(db, testCfg()); err != nil {
t.Errorf("default_interface à 9000 : %v", err)
}
}
func TestCreateSubnetCommand_Prepare_VxlanUnderlayBelow9000WithTheOption(t *testing.T) {
withLinkMTU(t, map[string]int{"br-vms": 1549})
cfg := testCfg()
cfg.Network.AllowMTUUnderlayBelow9000 = true
_, db := newTestDispatcher(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
cmd := CreateSubnetCommand{Name: "sn-1", VPC: "vpc-1", VxlanID: 100, IfaceType: "vms", CIDR: "10.0.0.0/24"}
if err := cmd.Prepare(db, cfg); err == nil || !strings.Contains(err.Error(), "vxlan header") {
t.Fatalf("1549 pour mtu_vm 1500 : %v", err)
}
cfg.Network.MTUVM = 1499
if err := cmd.Prepare(db, cfg); err != nil {
t.Errorf("1549 pour mtu_vm 1499 : %v", err)
}
}
func TestCreateSubnetCommand_Prepare_BridgeChecksTheBridgeWithoutVxlanHeader(t *testing.T) {
withLinkMTU(t, map[string]int{"br-vms": 1500, "br-default": 1499})
_, db := newTestDispatcher(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
ok := CreateSubnetCommand{Name: "sn-1", VPC: "vpc-1", Mode: "bridge", IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24"}
if err := ok.Prepare(db, testCfg()); err != nil {
t.Errorf("bridge br-vms à 1500 : %v", err)
}
small := CreateSubnetCommand{Name: "sn-2", VPC: "vpc-1", Mode: "bridge", InterfaceIP: "10.0.1.1", CIDR: "10.0.1.0/24"}
if err := small.Prepare(db, testCfg()); err == nil || !strings.Contains(err.Error(), "bridge br-default has mtu 1499") {
t.Errorf("bridge br-default à 1499 : %v", err)
}
if _, err := kv.GetFromDB(db, "subnet/sn-2/state"); err == nil {
t.Error("aucune clé ne doit être écrite après un refus")
}
}
func TestCreateVPCCommand_Prepare_L3VNIChecksTheUnderlay(t *testing.T) {
cfg := bgpConfig()
cfg.DefaultInterface = "br-000000"
withLinkMTU(t, map[string]int{"br-000000": 1500})
_, db := newTestDispatcher(t)
err := (CreateVPCCommand{Name: "vpc-1", CIDR: "10.0.0.0/16", L3VNI: 4001}).Prepare(db, cfg)
if err == nil || !strings.Contains(err.Error(), "underlay br-000000") {
t.Fatalf("underlay br-000000 à 1500 : %v", err)
}
if _, err := kv.GetFromDB(db, "vpc/vpc-1/state"); err == nil {
t.Error("aucune clé ne doit être écrite après un refus")
}
if err := (CreateVPCCommand{Name: "vpc-2", CIDR: "10.0.0.0/16"}).Prepare(db, cfg); err != nil {
t.Errorf("un VPC sans l3vni ne contrôle pas l'underlay : %v", err)
}
}

View file

@ -63,6 +63,16 @@ func (c CreateSubnetCommand) Prepare(db *badger.DB, cfg *configuration.Config) e
if !ok { if !ok {
localIface = cfg.DefaultInterface localIface = cfg.DefaultInterface
} }
switch c.Mode {
case subnet.ModeVxlan:
if err := checkUnderlay(cfg, localIface); err != nil {
return err
}
case subnet.ModeBridge:
if err := checkBridge(cfg, localIface); err != nil {
return err
}
}
state.Set(db, c.Key(), state.Creating) state.Set(db, c.Key(), state.Creating)
kv.AddInDB(db, "subnet/"+c.Name+"/vpc", c.VPC) kv.AddInDB(db, "subnet/"+c.Name+"/vpc", c.VPC)
kv.AddInDB(db, "subnet/"+c.Name+"/mode", c.Mode) kv.AddInDB(db, "subnet/"+c.Name+"/mode", c.Mode)

View file

@ -9,6 +9,7 @@ import (
configuration "git.g3e.fr/syonad/two/internal/config/agent" configuration "git.g3e.fr/syonad/two/internal/config/agent"
"git.g3e.fr/syonad/two/internal/l3vni" "git.g3e.fr/syonad/two/internal/l3vni"
"git.g3e.fr/syonad/two/internal/netif"
"git.g3e.fr/syonad/two/internal/state" "git.g3e.fr/syonad/two/internal/state"
"git.g3e.fr/syonad/two/internal/vpc" "git.g3e.fr/syonad/two/internal/vpc"
"git.g3e.fr/syonad/two/pkg/db/kv" "git.g3e.fr/syonad/two/pkg/db/kv"
@ -34,6 +35,9 @@ func (c CreateVPCCommand) Prepare(db *badger.DB, cfg *configuration.Config) erro
if err := c.checkL3VNI(db, cfg); err != nil { if err := c.checkL3VNI(db, cfg); err != nil {
return err return err
} }
if err := checkUnderlay(cfg, cfg.DefaultInterface); err != nil {
return err
}
} }
if err := kv.AddInDB(db, "vpc/"+c.Name+"/cidr", c.CIDR); err != nil { if err := kv.AddInDB(db, "vpc/"+c.Name+"/cidr", c.CIDR); err != nil {
return err return err
@ -46,6 +50,24 @@ func (c CreateVPCCommand) Prepare(db *badger.DB, cfg *configuration.Config) erro
return state.Set(db, c.Key(), state.Creating) return state.Set(db, c.Key(), state.Creating)
} }
var LinkMTU = netif.LinkMTU
func checkUnderlay(cfg *configuration.Config, iface string) error {
m, err := LinkMTU(iface)
if err != nil {
return fmt.Errorf("read mtu of underlay %s: %w", iface, err)
}
return cfg.Network.CheckUnderlay(iface, m)
}
func checkBridge(cfg *configuration.Config, iface string) error {
m, err := LinkMTU(iface)
if err != nil {
return fmt.Errorf("read mtu of bridge %s: %w", iface, err)
}
return cfg.Network.CheckBridge(iface, m)
}
func (c CreateVPCCommand) checkL3VNI(db *badger.DB, cfg *configuration.Config) error { func (c CreateVPCCommand) checkL3VNI(db *badger.DB, cfg *configuration.Config) error {
if err := l3vni.Valid(c.L3VNI); err != nil { if err := l3vni.Valid(c.L3VNI); err != nil {
return err return err

View file

@ -14,8 +14,6 @@ import (
"github.com/dgraph-io/badger/v4" "github.com/dgraph-io/badger/v4"
) )
const l3MTU = 1500
var ( var (
transitHost = &net.IPNet{IP: net.IPv4(169, 254, 0, 1).To4(), Mask: net.CIDRMask(30, 32)} transitHost = &net.IPNet{IP: net.IPv4(169, 254, 0, 1).To4(), Mask: net.CIDRMask(30, 32)}
transitNetns = &net.IPNet{IP: net.IPv4(169, 254, 0, 2).To4(), Mask: net.CIDRMask(30, 32)} transitNetns = &net.IPNet{IP: net.IPv4(169, 254, 0, 2).To4(), Mask: net.CIDRMask(30, 32)}
@ -76,6 +74,7 @@ func createL3(h host, cfg *configuration.Config, v l3VPC) error {
if err != nil { if err != nil {
return fmt.Errorf("vtep: %w", err) return fmt.Errorf("vtep: %w", err)
} }
mtu := cfg.Network.VM()
rmac, err := RouterMAC(vtep) rmac, err := RouterMAC(vtep)
if err != nil { if err != nil {
return err return err
@ -85,12 +84,12 @@ func createL3(h host, cfg *configuration.Config, v l3VPC) error {
run func() error run func() error
}{ }{
{"create " + v.vrf(), func() error { return h.CreateVRF(v.vrf(), v.vni) }}, {"create " + v.vrf(), func() error { return h.CreateVRF(v.vrf(), v.vni) }},
{"create " + v.bridge(), func() error { return h.CreateBridge(v.bridge(), l3MTU, rmac) }}, {"create " + v.bridge(), func() error { return h.CreateBridge(v.bridge(), mtu, rmac) }},
{"attach " + v.bridge(), func() error { return h.SetMaster(v.bridge(), v.vrf()) }}, {"attach " + v.bridge(), func() error { return h.SetMaster(v.bridge(), v.vrf()) }},
{"create " + v.vxlan(), func() error { return h.CreateVxlan(v.vxlan(), int(v.vni), cfg.DefaultInterface, l3MTU) }}, {"create " + v.vxlan(), func() error { return h.CreateVxlan(v.vxlan(), int(v.vni), cfg.DefaultInterface, mtu) }},
{"attach " + v.vxlan(), func() error { return h.SetMaster(v.vxlan(), v.bridge()) }}, {"attach " + v.vxlan(), func() error { return h.SetMaster(v.vxlan(), v.bridge()) }},
{"set up " + v.vxlan(), func() error { return h.LinkUp("", v.vxlan()) }}, {"set up " + v.vxlan(), func() error { return h.LinkUp("", v.vxlan()) }},
{"create " + v.vethHost(), func() error { return h.CreateVeth(v.vethHost(), v.vethNetns(), v.netns, l3MTU) }}, {"create " + v.vethHost(), func() error { return h.CreateVeth(v.vethHost(), v.vethNetns(), v.netns, mtu) }},
{"attach " + v.vethHost(), func() error { return h.SetMaster(v.vethHost(), v.vrf()) }}, {"attach " + v.vethHost(), func() error { return h.SetMaster(v.vethHost(), v.vrf()) }},
{"address " + v.vethHost(), func() error { return h.AddrAdd("", v.vethHost(), transitHost) }}, {"address " + v.vethHost(), func() error { return h.AddrAdd("", v.vethHost(), transitHost) }},
{"set up " + v.vethHost(), func() error { return h.LinkUp("", v.vethHost()) }}, {"set up " + v.vethHost(), func() error { return h.LinkUp("", v.vethHost()) }},

View file

@ -113,18 +113,20 @@ func labL3(t *testing.T) l3VPC {
func TestCreateL3FollowsTheLabRecipe(t *testing.T) { func TestCreateL3FollowsTheLabRecipe(t *testing.T) {
f := &fakeHost{} f := &fakeHost{}
if err := createL3(f, bgpConfig(), labL3(t)); err != nil { cfg := bgpConfig()
cfg.Network.MTUVM = 1450
if err := createL3(f, cfg, labL3(t)); err != nil {
t.Fatal(err) t.Fatal(err)
} }
want := []string{ want := []string{
"vtep br-000000", "vtep br-000000",
"vrf vrf-s7 table 2700", "vrf vrf-s7 table 2700",
"bridge brl3-s7 mtu 1500 mac 02:02:c0:a8:0e:0b", "bridge brl3-s7 mtu 1450 mac 02:02:c0:a8:0e:0b",
"master brl3-s7 vrf-s7", "master brl3-s7 vrf-s7",
"vxlan vxl3-s7 id 2700 dev br-000000 mtu 1500", "vxlan vxl3-s7 id 2700 dev br-000000 mtu 1450",
"master vxl3-s7 brl3-s7", "master vxl3-s7 brl3-s7",
"up [] vxl3-s7", "up [] vxl3-s7",
"veth l3-s7-o peer l3-s7-i netns vp-s7 mtu 1500", "veth l3-s7-o peer l3-s7-i netns vp-s7 mtu 1450",
"master l3-s7-o vrf-s7", "master l3-s7-o vrf-s7",
"addr [] l3-s7-o 169.254.0.1/30", "addr [] l3-s7-o 169.254.0.1/30",
"up [] l3-s7-o", "up [] l3-s7-o",

View file

@ -38,3 +38,11 @@ func LinkIPv4(name string) ([]net.IP, error) {
} }
return ips, nil return ips, nil
} }
func LinkMTU(name string) (int, error) {
link, err := netlink.LinkByName(name)
if err != nil {
return 0, err
}
return link.Attrs().MTU, nil
}

View file

@ -9,12 +9,12 @@ import (
"github.com/vishvananda/netlink" "github.com/vishvananda/netlink"
) )
func CreateTap(tapID int, bridgeName, vpcName string) error { func CreateTap(tapID int, bridgeName, vpcName string, mtu int) error {
name := fmt.Sprintf("tap%d", tapID) name := fmt.Sprintf("tap%d", tapID)
return netns.Call(vpcName, func() error { return netns.Call(vpcName, func() error {
tap := &netlink.Tuntap{ tap := &netlink.Tuntap{
LinkAttrs: netlink.LinkAttrs{Name: name}, LinkAttrs: netlink.LinkAttrs{Name: name, MTU: mtu},
Mode: netlink.TUNTAP_MODE_TAP, Mode: netlink.TUNTAP_MODE_TAP,
} }
if err := netlink.LinkAdd(tap); err != nil { if err := netlink.LinkAdd(tap); err != nil {

View file

@ -4,7 +4,7 @@ package netif
import "errors" import "errors"
func CreateTap(_ int, _, _ string) error { func CreateTap(_ int, _, _ string, _ int) error {
return errors.New("netif: tap not supported on this platform") return errors.New("netif: tap not supported on this platform")
} }

View file

@ -102,9 +102,13 @@ func buildArgs(cfg Config) ([]string, error) {
return nil, fmt.Errorf("vm %s has %d interfaces, the pci map holds %d", cfg.Name, len(cfg.NICs), maxNICs) return nil, fmt.Errorf("vm %s has %d interfaces, the pci map holds %d", cfg.Name, len(cfg.NICs), maxNICs)
} }
for i, n := range cfg.NICs { for i, n := range cfg.NICs {
device := fmt.Sprintf("virtio-net-pci,netdev=net%d,mac=%s,bus=pci.0,addr=0x%02x", i, n.Mac, firstNICSlot+i)
if n.MTU > 0 {
device += fmt.Sprintf(",host_mtu=%d", n.MTU)
}
args = append(args, args = append(args,
"-netdev", fmt.Sprintf("tap,id=net%d,ifname=tap%d,script=no,downscript=no", i, n.TapID), "-netdev", fmt.Sprintf("tap,id=net%d,ifname=tap%d,script=no,downscript=no", i, n.TapID),
"-device", fmt.Sprintf("virtio-net-pci,netdev=net%d,mac=%s,bus=pci.0,addr=0x%02x", i, n.Mac, firstNICSlot+i), "-device", device,
) )
} }

View file

@ -17,7 +17,7 @@ func devicesOf(args []string) []string {
func TestBuildArgs_DiskSerialIsDeclaredDev(t *testing.T) { func TestBuildArgs_DiskSerialIsDeclaredDev(t *testing.T) {
args, err := buildArgs(Config{ args, err := buildArgs(Config{
Name: "vm1", Name: "vm1",
NICs: []NICConfig{{TapID: 1, Mac: "52:54:00:00:00:01"}}, NICs: []NICConfig{{TapID: 1, Mac: "52:54:00:00:00:01", MTU: 1450}, {TapID: 2, Mac: "52:54:00:00:00:02"}},
Disks: []DiskConfig{ Disks: []DiskConfig{
{Path: "/v/b.qcow2", Dev: "xvdb"}, {Path: "/v/b.qcow2", Dev: "xvdb"},
{Path: "/v/root.qcow2", Dev: "vda"}, {Path: "/v/root.qcow2", Dev: "vda"},
@ -33,7 +33,8 @@ func TestBuildArgs_DiskSerialIsDeclaredDev(t *testing.T) {
"virtio-blk-pci,drive=vda,bus=pci.0,addr=0x1f,bootindex=1,serial=vda", "virtio-blk-pci,drive=vda,bus=pci.0,addr=0x1f,bootindex=1,serial=vda",
"scsi-hd,drive=xvda,bus=scsi0.0,scsi-id=0,bootindex=2,serial=xvda", "scsi-hd,drive=xvda,bus=scsi0.0,scsi-id=0,bootindex=2,serial=xvda",
"scsi-hd,drive=xvdb,bus=scsi0.0,scsi-id=1,bootindex=3,serial=xvdb", "scsi-hd,drive=xvdb,bus=scsi0.0,scsi-id=1,bootindex=3,serial=xvdb",
"virtio-net-pci,netdev=net0,mac=52:54:00:00:00:01,bus=pci.0,addr=0x03", "virtio-net-pci,netdev=net0,mac=52:54:00:00:00:01,bus=pci.0,addr=0x03,host_mtu=1450",
"virtio-net-pci,netdev=net1,mac=52:54:00:00:00:02,bus=pci.0,addr=0x04",
} }
got := devicesOf(args) got := devicesOf(args)
if len(got) != len(want) { if len(got) != len(want) {

View file

@ -14,6 +14,7 @@ type DiskConfig struct {
type NICConfig struct { type NICConfig struct {
TapID int TapID int
Mac string Mac string
MTU int
} }
type Config struct { type Config struct {

View file

@ -28,6 +28,7 @@ func CreateSubnet(db *badger.DB, subnetName string, cfg *configuration.Config) e
if err != nil { if err != nil {
return err return err
} }
d.mtu = cfg.Network.VM()
backend, err := dhcpbackend.New(cfg) backend, err := dhcpbackend.New(cfg)
if err != nil { if err != nil {
@ -51,7 +52,7 @@ func createSubnet(db *badger.DB, subnetName string, d subnetData, backend dhcpba
vethE := "v-" + d.subnetID + "-e" vethE := "v-" + d.subnetID + "-e"
vethI := "v-" + d.subnetID + "-i" vethI := "v-" + d.subnetID + "-i"
if err := netif.CreateVethToNetns(vethE, vethI, "/var/run/netns/"+d.vpc, 1500); err != nil { if err := netif.CreateVethToNetns(vethE, vethI, "/var/run/netns/"+d.vpc, d.mtu); err != nil {
return fmt.Errorf("create veth: %w", err) return fmt.Errorf("create veth: %w", err)
} }
@ -85,7 +86,7 @@ func createSubnet(db *badger.DB, subnetName string, d subnetData, backend dhcpba
} }
if err := netns.Call(d.vpc, func() error { if err := netns.Call(d.vpc, func() error {
if err := netif.CreateBridge(d.bridge, 1500, gatewayMAC); err != nil { if err := netif.CreateBridge(d.bridge, d.mtu, gatewayMAC); err != nil {
return fmt.Errorf("create bridge: %w", err) return fmt.Errorf("create bridge: %w", err)
} }
return netif.BridgeSetMaster(vethI, d.bridge) return netif.BridgeSetMaster(vethI, d.bridge)
@ -144,10 +145,10 @@ func createSubnet(db *badger.DB, subnetName string, d subnetData, backend dhcpba
func setupVxlanHost(d subnetData, vethE string) error { func setupVxlanHost(d subnetData, vethE string) error {
vxlanIface := fmt.Sprintf("vxlan-%d", d.vxlanID) vxlanIface := fmt.Sprintf("vxlan-%d", d.vxlanID)
if err := netif.CreateBridge(d.bridge, 1500, nil); err != nil { if err := netif.CreateBridge(d.bridge, d.mtu, nil); err != nil {
return fmt.Errorf("create bridge: %w", err) return fmt.Errorf("create bridge: %w", err)
} }
if err := netif.CreateVxlan(vxlanIface, d.vxlanID, d.localIface, 1500); err != nil { if err := netif.CreateVxlan(vxlanIface, d.vxlanID, d.localIface, d.mtu); err != nil {
return fmt.Errorf("create vxlan: %w", err) return fmt.Errorf("create vxlan: %w", err)
} }
if err := netif.BridgeSetMaster(vethE, d.bridge); err != nil { if err := netif.BridgeSetMaster(vethE, d.bridge); err != nil {
@ -183,5 +184,6 @@ func startDHCP(subnetName string, d subnetData, backend dhcpbackend.Backend) err
InterfaceIP: d.interfaceIP, InterfaceIP: d.interfaceIP,
VPCRoute: vpcRoute, VPCRoute: vpcRoute,
DefaultGateway: defaultGateway, DefaultGateway: defaultGateway,
MTU: d.mtu,
}) })
} }

View file

@ -23,6 +23,7 @@ type subnetData struct {
vpcCIDR *net.IPNet vpcCIDR *net.IPNet
defaultRoute bool defaultRoute bool
gateway net.IP gateway net.IP
mtu int
} }
func loadSubnet(db *badger.DB, name string) (subnetData, error) { func loadSubnet(db *badger.DB, name string) (subnetData, error) {

View file

@ -42,7 +42,7 @@ func StartVM(db *badger.DB, name string, cfg *configuration.Config) error {
} }
for _, n := range d.nics { for _, n := range d.nics {
if err := netif.CreateTap(n.tapID, n.bridge, n.vpcName); err != nil { if err := netif.CreateTap(n.tapID, n.bridge, n.vpcName, cfg.Network.VM()); err != nil {
return fmt.Errorf("create tap of interface %d: %w", n.index, err) return fmt.Errorf("create tap of interface %d: %w", n.index, err)
} }
} }
@ -85,7 +85,7 @@ func StartVM(db *badger.DB, name string, cfg *configuration.Config) error {
qNICs := make([]qemu.NICConfig, len(d.nics)) qNICs := make([]qemu.NICConfig, len(d.nics))
for i, n := range d.nics { for i, n := range d.nics {
qNICs[i] = qemu.NICConfig{TapID: n.tapID, Mac: n.mac} qNICs[i] = qemu.NICConfig{TapID: n.tapID, Mac: n.mac, MTU: cfg.Network.VM()}
} }
qcfg := qemu.Config{ qcfg := qemu.Config{

View file

@ -99,6 +99,20 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
`/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdX` `/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdX`
- Migration au démarrage : les clés `vm/<name>/disk/sdX` deviennent `vm/<name>/disk/xvdX` - Migration au démarrage : les clés `vm/<name>/disk/sdX` deviennent `vm/<name>/disk/xvdX`
**MTU unique du cluster (#56)**
- Nouvelle section `network` de la configuration de l'agent. `mtu_vm` (1500 par défaut, 1500 au
plus) fixe le MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN que
l'agent crée, jusque-là figé à 1500. Il doit être identique sur tous les hyperviseurs. Sous
1500, il faut `allow_mtu_vm_below_1500`, et jamais sous 1280 ; une valeur hors bornes fait
échouer le démarrage
- Le MTU est annoncé aux VM par l'option DHCP 26 (serveur intégré et dnsmasq) et par `host_mtu`
sur leur interface virtio. `probe` l'affiche
- L'underlay est attendu à exactement 9000 : un subnet `vxlan` dont l'interface n'y est pas est
refusé (422), comme un VPC avec `l3vni` si `default_interface` n'y est pas (409), sauf avec
`allow_mtu_underlay_below_9000`. Dans tous les cas l'underlay doit porter `mtu_vm` + 50 octets
d'en-tête VXLAN. Un subnet `bridge` est refusé si son bridge est sous `mtu_vm`
**Exploitation** **Exploitation**
- Le watchdog contrôle aussi, avec une section `bgp` : les sessions vers les route reflectors ; - Le watchdog contrôle aussi, avec une section `bgp` : les sessions vers les route reflectors ;
@ -157,8 +171,7 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent : Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. MTU - **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
1500 de bout en bout (#56). Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
rejetés comme « martiens » (traceroute partiel) rejetés comme « martiens » (traceroute partiel)
- Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas : - Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas :
au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52) au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52)
@ -184,7 +197,7 @@ bash ./deploy.sh -t 0.2.0
``` ```
Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à
quatre exceptions près, qui touchent les appelants de l'API : cinq exceptions près ; les quatre premières touchent les appelants de l'API :
- **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le - **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le
calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières
@ -195,6 +208,11 @@ quatre exceptions près, qui touchent les appelants de l'API :
- **les disques additionnels s'appellent `xvdX`** : `sdX` est refusé (400). Les VM existantes sont - **les disques additionnels s'appellent `xvdX`** : `sdX` est refusé (400). Les VM existantes sont
migrées ; leurs disques prennent le numéro de série `xvdX` au prochain lancement, et une image migrées ; leurs disques prennent le numéro de série `xvdX` au prochain lancement, et une image
qui les montait par `/dev/sdY` doit passer à `/dev/xvdX` qui les montait par `/dev/sdY` doit passer à `/dev/xvdX`
- **l'underlay doit être à 9000** : sur un hyperviseur dont `default_interface` (ou l'interface
d'un `iface_type`) est à un autre MTU, la création d'un subnet `vxlan` est refusée. Passer
l'underlay à 9000, ou poser `network.allow_mtu_underlay_below_9000: true` — sous 1550, il faut
aussi abaisser `network.mtu_vm` avec `allow_mtu_vm_below_1500`. Les subnets existants gardent
leurs interfaces à 1500 jusqu'à leur recréation
Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le
bridge) jusqu'à leur recréation. Les subnets `bridge` existants restent sans le confinement de bridge) jusqu'à leur recréation. Les subnets `bridge` existants restent sans le confinement de

40
test/e2e/suite/28-mtu.sh Normal file
View file

@ -0,0 +1,40 @@
# fonctionnalité: MTU des VM (network.mtu_vm, 1500 par défaut) — annoncé par le DHCP (option 26, serveur intégré sur hv1, dnsmasq sur hv2) et par QEMU (host_mtu), porté par le tap, le bridge, le veth et le VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000
# hôtes: hv1 hv2
# tickets: #56
on hv1 <<'NODE'
KEY=$(vm_key)
link_mtu () { cat "/sys/class/net/${1}/mtu"; }
check "prérequis : underlay br-000000 à 9000" test "$(link_mtu br-000000)" -eq 9000
check "prérequis : br-lan à 1500" test "$(link_mtu br-lan)" -eq 1500
check "VPC vp-t28" vpc_create vp-t28 10.28.0.0/16
check "subnet vxlan sur br-lan (1500, pas 9000) refusé, 422" expect_code 422 api_post_code subnets '{"name":"sn-t28x","vpc":"vp-t28","mode":"vxlan","vxlan_id":2809,"iface_type":"lan","cidr":"10.28.9.0/24"}'
check "subnet refusé : aucune trace de sn-t28x" expect_code 404 api_code GET subnets/sn-t28x
check "subnet sn-t28 sur br-000000" subnet_create sn-t28 vp-t28 2801 10.28.1.0/24
for iface in v-t28-e br-t28 vxlan-2801; do
check "hôte : ${iface} à 1500" test "$(link_mtu "${iface}")" -eq 1500
done
for iface in v-t28-i br-t28 gw-t28; do
check "netns vp-t28 : ${iface} à 1500" test "$(ip netns exec vp-t28 cat "/sys/class/net/${iface}/mtu")" -eq 1500
done
check "VM t28-m" vm_launch t28-m --nic sn-t28=10.28.1.10 --sshkey "${KEY}"
check "t28-m joignable" vm_wait vp-t28 10.28.1.10
info "t28-m : taps du netns : $(ip -n vp-t28 -o link show | awk -F': ' '/: tap/ {print $2}' | tr '\n' ' ')"
check "netns vp-t28 : tap de t28-m à 1500" sh -c "ip -n vp-t28 -o link show | grep ': tap' | grep -q ' mtu 1500 '"
check "QEMU : host_mtu=1500 sur virtio-net-pci" sh -c "ps -eo args | grep '[q]emu.*t28-m' | grep -q 'virtio-net-pci,[^ ]*host_mtu=1500'"
check "t28-m : bail DHCP avec MTU=1500 (option 26)" test "$(vm_lease vp-t28 10.28.1.10 MTU)" = 1500
check "t28-m : ens3 à 1500" vm_grep vp-t28 10.28.1.10 'cat /sys/class/net/ens3/mtu' '^1500$'
check "t28-m : ping de 1472 octets sans fragmentation vers la gateway" vm_ssh vp-t28 10.28.1.10 'ping -n -c 2 -W 2 -M do -s 1472 10.28.1.254'
check "t28-m : 1473 octets sans fragmentation refusés par la VM elle-même (témoin)" vm_grep vp-t28 10.28.1.10 'ping -n -c 1 -W 2 -M do -s 1473 10.28.1.254' 'too long'
NODE
on hv2 <<'NODE'
KEY=$(vm_key)
check "hv2 : VPC vp-t28" vpc_create vp-t28 10.28.0.0/16
check "hv2 : subnet sn-t28" subnet_create sn-t28 vp-t28 2801 10.28.1.0/24
check "hv2 : dnsmasq annonce l'option 26" sh -c "grep -rqx 'dhcp-option=26,1500' /etc/dnsmasq.d/"
check "hv2 : VM t28-d" vm_launch t28-d --nic sn-t28=10.28.1.20 --sshkey "${KEY}"
check "t28-d joignable" vm_wait vp-t28 10.28.1.20
check "t28-d : bail DHCP (dnsmasq) avec MTU=1500 (option 26)" test "$(vm_lease vp-t28 10.28.1.20 MTU)" = 1500
check "t28-d : ens3 à 1500" vm_grep vp-t28 10.28.1.20 'cat /sys/class/net/ens3/mtu' '^1500$'
NODE