diff --git a/README.md b/README.md index 20627f4..9382e13 100644 --- a/README.md +++ b/README.md @@ -50,7 +50,7 @@ curl -X POST http://127.0.0.1:8080/vpcs \ # Un subnet en VXLAN dans ce VPC curl -X POST http://127.0.0.1:8080/subnets \ -d '{"name": "sn-000001", "vpc": "vp-admin", "mode": "vxlan", "vxlan_id": 1, - "iface_type": "vms", "interface_ip": "10.1.1.1", "cidr": "10.1.0.0/23"}' + "iface_type": "vms", "cidr": "10.1.0.0/23"}' # Une VM, avec une clé SSH et un user-data cloud-init en base64 curl -X POST http://127.0.0.1:8080/vms \ diff --git a/api/agent.yaml b/api/agent.yaml index 714b8f6..0f034c3 100644 --- a/api/agent.yaml +++ b/api/agent.yaml @@ -146,7 +146,10 @@ paths: schema: $ref: "#/components/schemas/Error" "422": - description: Subnet not found, or not in creating/running state + description: > + Subnet not found, or not in creating/running state; or an interface IP outside the + subnet CIDR, equal to its network or broadcast address, or reserved by the subnet + (interface_ip, relay_ip, gateway) content: application/json: schema: @@ -229,7 +232,9 @@ paths: schema: $ref: "#/components/schemas/Subnet" "400": - description: Missing required field or unknown iface_type + description: > + Missing required field; interface_ip missing on a bridge or public_ip subnet, or + supplied on a vxlan subnet (it is computed) content: application/json: schema: @@ -241,7 +246,9 @@ paths: schema: $ref: "#/components/schemas/Error" "422": - description: Parent VPC does not exist or is not ready + description: > + Unknown mode; parent VPC does not exist or is not ready; invalid CIDR, or a vxlan + CIDR smaller than /29 content: application/json: schema: @@ -349,7 +356,7 @@ components: SubnetCreateRequest: type: object - required: [name, vpc, interface_ip, cidr] + required: [name, vpc, cidr] properties: name: type: string @@ -381,11 +388,16 @@ components: interface_ip: type: string format: ipv4 - description: Gateway IP for the subnet + description: > + Gateway IP for the subnet. Required in bridge and public_ip modes. Rejected in vxlan + mode (400): the agent computes it as the last usable address of the CIDR + (broadcast - 1), carried by an anycast gateway identical on every host. example: "10.10.10.1" cidr: type: string - description: Subnet CIDR block + description: > + Subnet CIDR block. In vxlan mode, without host bits and at most /29: the last two + usable addresses are reserved for the gateway and the relay address. example: "10.10.10.0/24" default_route: type: boolean @@ -403,7 +415,7 @@ components: Optional next-hop for the default route. Only used when default_route is true; supplied with default_route false, it is ignored. Not validated by the agent: reachability and coherence with the subnet CIDR are the caller's responsibility. - example: "10.10.10.254" + example: "10.10.10.1" Subnet: type: object @@ -432,7 +444,14 @@ components: example: br-000000 interface_ip: type: string - example: "10.10.10.1" + description: Subnet gateway. In vxlan mode, computed by the agent (broadcast - 1). + example: "10.10.10.254" + relay_ip: + type: string + description: > + vxlan mode only (broadcast - 2): address the subnet uses to reach guests on other + hosts, carried by the bridge of each host. Absent on subnets created before it existed. + example: "10.10.10.253" cidr: type: string example: "10.10.10.0/24" @@ -441,7 +460,7 @@ components: example: false gateway: type: string - example: "10.10.10.254" + example: "10.10.10.1" VMCreateRequest: type: object diff --git a/cmd/dhcp/listen_test.go b/cmd/dhcp/listen_test.go new file mode 100644 index 0000000..a7be0f7 --- /dev/null +++ b/cmd/dhcp/listen_test.go @@ -0,0 +1,32 @@ +package main + +import "testing" + +func TestListenInterface(t *testing.T) { + present := func(names ...string) func(string) bool { + return func(name string) bool { + for _, n := range names { + if n == name { + return true + } + } + return false + } + } + cases := []struct { + label string + bridge string + exists func(string) bool + want string + }{ + {"gateway anycast présente", "br-s9r1", present("br-s9r1", "gw-s9r1"), "gw-s9r1"}, + {"ancien modèle, pas de gateway", "br-s9r1", present("br-s9r1"), "br-s9r1"}, + {"gateway d'un autre subnet", "br-s9r1", present("br-s9r1", "gw-s9r2"), "br-s9r1"}, + {"bridge sans préfixe br-", "vpc1br0", present("gw-vpc1br0"), "vpc1br0"}, + } + for _, c := range cases { + if got := listenInterface(c.bridge, c.exists); got != c.want { + t.Errorf("%s : %s, %s attendu", c.label, got, c.want) + } + } +} diff --git a/cmd/dhcp/main.go b/cmd/dhcp/main.go index ab5b7fb..59059d9 100644 --- a/cmd/dhcp/main.go +++ b/cmd/dhcp/main.go @@ -5,6 +5,7 @@ import ( "fmt" "net" "os" + "strings" dhcpapi "git.g3e.fr/syonad/two/internal/api/dhcp" configuration "git.g3e.fr/syonad/two/internal/config/agent" @@ -66,13 +67,30 @@ func run() error { } }() - conn, err := server4.NewIPv4UDPConn(*iface, &net.UDPAddr{Port: dhcpv4.ServerPort}) + listen := listenInterface(*iface, interfaceExists) + conn, err := server4.NewIPv4UDPConn(listen, &net.UDPAddr{Port: dhcpv4.ServerPort}) if err != nil { - return fmt.Errorf("bind udp/%d on %s: %w", dhcpv4.ServerPort, *iface, err) + return fmt.Errorf("bind udp/%d on %s: %w", dhcpv4.ServerPort, listen, err) } defer conn.Close() - log.Info("dhcp server started", "state", store.Path(), "socket", control.Addr()) + log.Info("dhcp server started", "listen", listen, "state", store.Path(), "socket", control.Addr()) return store.Serve(conn, log) } + +func interfaceExists(name string) bool { + _, err := net.InterfaceByName(name) + return err == nil +} + +func listenInterface(bridge string, exists func(string) bool) string { + id, ok := strings.CutPrefix(bridge, "br-") + if !ok { + return bridge + } + if gateway := "gw-" + id; exists(gateway) { + return gateway + } + return bridge +} diff --git a/docs/architecture/contraintes.rst b/docs/architecture/contraintes.rst index 698cf4a..c83fec6 100644 --- a/docs/architecture/contraintes.rst +++ b/docs/architecture/contraintes.rst @@ -23,6 +23,17 @@ Réseau * **La route vers le CIDR du VPC garde ``interface_ip`` comme next-hop** dans tous les modes sauf ``bridge`` : sur un subnet à IP publique, le trafic interne ne doit pas sortir par la gateway publique. +* **La MAC anycast d'une gateway ``vxlan`` ne sort jamais du netns** : règles ebtables sur le veth + du subnet (source anycast rejetée en entrée et en sortie) **et** entrée FDB locale dans le bridge + du netns. Sans l'entrée FDB, que le macvlan ne crée pas, toute trame d'une VM vers sa gateway est + inondée vers le fabric et traitée par la gateway de chaque hôte. +* **La gateway ``vxlan`` n'est jamais sur le bridge** : ``arp_ignore=1`` sur ``br-``, la + gateway en ``/32`` sur ``gw-``, l'adresse d'émission seule sur le bridge. Posée sur le + bridge, la gateway répondrait aux VM avec la MAC de l'hôte et l'anycast serait contourné sans + autre symptôme. +* **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis + la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par + tous les hôtes, une réponse peut partir vers un autre hôte. * ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur. QEMU et VM diff --git a/docs/architecture/stockage.rst b/docs/architecture/stockage.rst index 6da14d4..fcea89b 100644 --- a/docs/architecture/stockage.rst +++ b/docs/architecture/stockage.rst @@ -15,7 +15,8 @@ de sérialisation structurée. subnet//mode → vxlan | bridge | public_ip subnet//vxlan_id → (mode vxlan uniquement) subnet//cidr → - subnet//interface_ip → (gateway, portée par br-) + subnet//interface_ip → (gateway ; calculée en vxlan : broadcast-1) + subnet//relay_ip → (mode vxlan, calculée : broadcast-2) subnet//local_iface → subnet//default_route → "true" | "false" subnet//gateway → (optionnel) diff --git a/docs/concepts/modes-reseau.rst b/docs/concepts/modes-reseau.rst index 6204e2c..265ef60 100644 --- a/docs/concepts/modes-reseau.rst +++ b/docs/concepts/modes-reseau.rst @@ -36,22 +36,85 @@ vxlan .. mermaid:: graph LR - VM --- TAP[tap] --- BR["br-<subnet>
interface_ip"] - BR --- VX["vxlan<vni>"] --- HBR["bridge host
(iface_type)"] --- UP[uplink] + VM --- TAP[tap] --- BR["br-<subnet>
adresse d'émission"] + GW["gw-<subnet>
gateway, MAC anycast"] -. macvlan .- BR + BR --- VETH["v-<subnet>-i / -e"] --- VX["vxlan-<vni>"] --- UP[uplink] Le subnet vit dans le netns du VPC. La VM n'est donc **pas joignable depuis l'host** sans route explicite — point à connaître avant de câbler un outil externe dessus. -Le bridge du subnet, qui porte ``interface_ip``, a une **MAC de gateway propre à l'hôte**, calculée -depuis son VTEP — l'IPv4 primaire du ``local_iface`` : ``02:03`` suivi des quatre octets de -l'adresse (VTEP ``192.168.14.12`` → ``02:03:c0:a8:0e:0c``). Unique dans le fabric, elle est la -même pour tous les subnets d'un hôte, chacun étant un domaine L2 distinct. Elle n'est posée qu'à la -création du subnet — un subnet créé avant garde la MAC choisie par le noyau jusqu'à sa recréation. +Adressage +~~~~~~~~~ -Une MAC de gateway **identique sur tous les hôtes** (anycast) a été essayée puis retirée : apprise -sur le veth du subnet, elle était annoncée en EVPN par chaque hôte et détectée en double ; et une -gateway ne pouvait plus joindre en L2 une VM d'un autre hôte, la réponse revenant à la gateway -locale de la VM. Le cache ARP d'une VM migrée à chaud est un sujet de la migration, pas du subnet. +L'agent calcule deux adresses à partir du ``cidr`` ; ``interface_ip`` n'est pas fourni par +l'appelant (refusé en 400) : + +* la **gateway**, avant-dernière adresse du préfixe (``.254`` en ``/24``), exposée comme + ``interface_ip`` ; +* l'**adresse d'émission**, juste avant (``.253``), exposée comme ``relay_ip``. + +Le ``cidr`` doit être sans bits d'hôte et faire au plus ``/29``. Une VM ne peut prendre ni l'une +ni l'autre de ces adresses, ni l'adresse de réseau, de broadcast ou la ``gateway`` explicite du +subnet (422). + +Gateway anycast +~~~~~~~~~~~~~~~ + +La gateway est portée par un macvlan ``gw-`` posé sur le bridge du netns. Sa MAC est +**identique sur tous les hôtes qui portent le subnet** : ``02:01:00`` suivi de la VNI sur 24 bits +(VNI ``2911`` → ``02:01:00:00:0b:5f``). Où qu'elle tourne, une VM résout sa gateway vers l'hôte +qui l'héberge, et une entrée ARP restée en cache reste valable si la VM change d'hôte. + +Le bridge ``br-`` garde une **MAC propre à l'hôte**, ``02:03`` suivi des quatre octets du +VTEP — l'IPv4 primaire du ``local_iface`` (``192.168.14.12`` → ``02:03:c0:a8:0e:0c``) — et porte +l'adresse d'émission : + +* le netns émet ses requêtes ARP depuis l'adresse d'émission (``arp_announce=2``) et le bridge ne + répond pas pour la gateway (``arp_ignore=1``). Quand un hôte relaie en L2 vers une VM d'un autre + hôte — trafic routé vers un subnet présent sur plusieurs hôtes, filet du ``/24`` d'un VPC + routé —, la VM répond à la MAC de cet hôte, sans que sa gateway change ; +* la route du subnet a la gateway pour source : le netns parle à **ses** VM depuis la gateway, et + leurs réponses reviennent à la MAC anycast, donc à l'hôte local ; +* le DHCP écoute sur ``gw-`` et s'annonce avec la gateway comme identifiant de serveur : + un renouvellement unicast reste servi par l'hôte de la VM. + +L'adresse d'émission est la même sur tous les hôtes : une VM qui reçoit la requête ARP d'un autre +hôte associe ``.253`` à la MAC de celui-ci. C'est sans effet — la VM ne parle jamais d'elle-même à +``.253`` et le netns lui parle depuis la gateway. Mesuré en lab (``s11-fenetre-arp``) : pendant +cette fenêtre, métadonnées, renouvellement DHCP et connexions depuis le netns passent sans perte. + +.. note:: + + Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission + (``ping -I ``) : à la gateway, sa réponse repartirait vers son propre hôte. Le + trafic routé entre VM n'est pas concerné, il garde sa source. + +Confinement de la MAC anycast +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +La MAC anycast ne doit **jamais** sortir du netns : vue depuis le fabric, elle serait annoncée en +EVPN par chaque hôte, détectée en double, et déplacerait l'apprentissage des bridges. Trois +mécanismes la confinent : + +* ebtables, sur le veth du subnet : toute trame de **source** anycast est rejetée à l'entrée + (``nat PREROUTING``) et à la sortie (``FORWARD`` et ``OUTPUT``) ; +* une **entrée FDB locale** pour la MAC anycast dans le bridge du netns. Le macvlan ne la crée pas + lui-même : sans elle, toute trame d'une VM vers sa gateway est inondée vers le fabric et les + autres VM, et traitée par la gateway de chaque hôte ; +* les requêtes ARP vers la gateway ou l'adresse d'émission, et les réponses DHCP qui en viennent, + sont bloquées vers le veth, comme avant. + +IPv6 n'est pas désactivé sur le macvlan : ses trames (DAD, ND) sont arrêtées par le confinement. +Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l'entrée FDB ; il ne relit pas les +règles ebtables. + +Subnets créés avant la gateway anycast +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +Un subnet ``vxlan`` sans ``relay_ip`` garde le modèle précédent jusqu'à sa recréation : +``interface_ip`` choisie à la création, portée par le bridge, avec la MAC propre à l'hôte. Une VM +qui reçoit alors la requête ARP d'un autre hôte associe **sa gateway** à cet hôte pendant +quelques secondes (#57). bridge ------ @@ -81,7 +144,7 @@ Une route par défaut est **toujours** annoncée. Le champ ``default_route`` ne next-hop : ``default_route: false`` (défaut) - next-hop = ``interface_ip`` du subnet. + next-hop = ``interface_ip`` du subnet, la gateway calculée en ``vxlan``. ``default_route: true`` next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage @@ -100,7 +163,8 @@ Pourquoi la route ``/32`` vers le serveur de metadata est indispensable Elle paraît redondante avec la route par défaut. Elle ne l'est pas. La DNAT vers le serveur de metadata est posée dans le netns du VPC, en ``PREROUTING``. Le paquet -n'y est traité en L3 que si son next-hop est ``interface_ip``, portée par le bridge du netns. +n'y est traité en L3 que si son next-hop est ``interface_ip``, locale au netns — sur le macvlan de +la gateway en ``vxlan``, sur le bridge dans les autres modes. Avec un autre next-hop, la trame est commutée en **L2** sans traverser ``PREROUTING`` : le serveur de metadata devient injoignable et tout le provisionnement cloud-init échoue, silencieusement. diff --git a/docs/concepts/vpc-subnet-vm.rst b/docs/concepts/vpc-subnet-vm.rst index 8269149..0095c6b 100644 --- a/docs/concepts/vpc-subnet-vm.rst +++ b/docs/concepts/vpc-subnet-vm.rst @@ -6,7 +6,7 @@ Trois types de ressources, une hiérarchie stricte. .. mermaid:: graph TD - VPC["VPC
network namespace
cidr"] --> SN1["Subnet
bridge + VXLAN
interface_ip, cidr"] + VPC["VPC
network namespace
cidr"] --> SN1["Subnet
bridge + VXLAN
cidr, gateway"] VPC --> SN2["Subnet"] SN1 --> VM1["VM
QEMU/KVM"] SN1 --> VM2["VM"] @@ -57,8 +57,9 @@ configurée fait planter ``bgpd`` (FRR 10.7.1). Subnet ------ -Un subnet appartient à un VPC et pose, dans son netns, un bridge qui porte ``interface_ip`` — la -gateway vue par les VM. Il fournit aussi le DHCP — dnsmasq ou le serveur intégré selon +Un subnet appartient à un VPC et pose, dans son netns, un bridge et la gateway vue par les VM, +``interface_ip`` — calculée par l'agent et portée par un macvlan à MAC anycast en mode ``vxlan``, +fournie par l'appelant et portée par le bridge dans les autres modes. Il fournit aussi le DHCP — dnsmasq ou le serveur intégré selon ``dhcp.backend`` — et les routes annoncées aux guests. ``iface_type`` est une clé **logique** (``vms``, ``internet``, ``admin``…), traduite en nom de diff --git a/docs/demarrage/premier-vpc.rst b/docs/demarrage/premier-vpc.rst index e5e67dc..2a1f96d 100644 --- a/docs/demarrage/premier-vpc.rst +++ b/docs/demarrage/premier-vpc.rst @@ -14,7 +14,7 @@ Ce que l'on construit graph LR subgraph netns vp-admin - BR["br-sn000001
10.1.1.1"] + BR["br-sn000001
10.1.1.254"] MD["metadata@i-web
169.254.169.254"] end VM["VM i-web
10.1.1.2"] --- BR @@ -58,13 +58,18 @@ prêt est refusé en **422**. Le modèle d'attente est décrit dans :doc:`/explo "mode": "vxlan", "vxlan_id": 1, "iface_type": "vms", - "interface_ip": "10.1.1.1", "cidr": "10.1.0.0/23"}' ``iface_type`` est une clé **logique** résolue dans la configuration de l'agent (section ``interfaces``) vers un bridge physique de l'host ; une clé inconnue retombe sur -``default_interface``. ``interface_ip`` est la gateway du subnet, portée par le bridge créé dans -le netns. +``default_interface``. + +En mode ``vxlan``, les adresses de la gateway sont **calculées** et ne se fournissent pas (un +``interface_ip`` est refusé) : la gateway vue par les VM est l'avant-dernière adresse du CIDR +(``interface_ip`` = ``10.1.1.254`` ici), l'adresse d'émission propre au netns la précédente +(``relay_ip`` = ``10.1.1.253``) ; le CIDR doit valoir au plus ``/29``. Aucune VM ne peut prendre +ces deux adresses, ni celles du réseau et du broadcast. En mode ``bridge``, ``interface_ip`` reste +obligatoire. Les modes disponibles et leurs conséquences sur le routage sont détaillés dans :doc:`/concepts/modes-reseau`. diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index f643bac..17817e9 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -217,12 +217,14 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**. - backend DHCP ``two``, une VPC et deux subnets : chaque VM reçoit l'adresse de **son** subnet, démarrée seule ou en même temps qu'une autre ; le bail est tenu par systemd-networkd ; route par défaut, route vers la VPC et ``/32`` vers les métadonnées - via ``interface_ip`` ; l'état de chaque serveur DHCP ne connaît que les MAC de son subnet - (#46) + via la gateway calculée (``.254``) ; l'état de chaque serveur DHCP ne connaît que les MAC de + son subnet (#46) - hv1 * - ``s2-gateway`` - - route par défaut via ``interface_ip``, ou via ``gateway`` avec ``default_route`` ; route - vers la VPC toujours via ``interface_ip`` ; même résultat après recréation du subnet (#31) + - gateway (``.254``) et adresse d'émission (``.253``) calculées par l'agent, refusées pour + une VM ; ``interface_ip`` refusé sur un subnet ``vxlan`` (#57) ; route par défaut via la + gateway, ou via ``gateway`` avec ``default_route`` ; route vers la VPC toujours via la + gateway du subnet ; macvlan retiré à la suppression, même résultat après recréation (#31) - hv1 * - ``s3-isolation-local`` - deux VPC sur le même hyperviseur ne se joignent pas, en ICMP comme en TCP ; chaque VM @@ -257,15 +259,16 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**. - suite de ``s7``, topologie ``evpn-3hv.yml`` : migration d'une VM de hv1 vers hv2 par l'API, observée depuis hv3 qui n'a pas le subnet : migration simple (VM supprimée puis recréée, ``/24`` comme filet), séquence orchestrée (deux VM de même IP, deux ``/32`` en ECMP, 40 - sources sur 40) ; l'ancien « pire cas » devient un refus (409) ; MAC de gateway propre à - chaque hôte, sans doublon EVPN ; watchdog : ``/32`` orphelin signalé comme trou noir, ``/32`` manquant + sources sur 40) ; l'ancien « pire cas » devient un refus (409) ; MAC anycast de la gateway + absente d'EVPN (aucune route de type 2 sur rr1, absente de la table de hv1), sans doublon + (#57) ; watchdog : ``/32`` orphelin signalé comme trou noir, ``/32`` manquant signalé - hv1, hv2, hv3, rr1 * - ``s9-subnets-partages`` - deux VPC, avec et sans ``l3vni``, chacune avec deux subnets présents sur **les deux** hyperviseurs et une VM par subnet et par hôte : ping entre toutes les paires (même subnet ou - non, même hôte ou non) ; chaque VM voit la MAC de gateway de son propre hôte ; aucune MAC en - double sur les quatre VNI + non, même hôte ou non) ; chaque VM voit la MAC anycast de sa gateway ; aucune MAC en + double et aucune MAC anycast dans EVPN sur les quatre VNI (#57) - hv2, hv3, rr1 * - ``s10-switch-loss`` - un seul switch maître VRRP de la passerelle (lu par ``show vrrp``, pas supposé) ; interface @@ -275,6 +278,14 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**. silence sous 5 s ; interface rétablie : ses sessions eBGP reviennent et il **reste en attente**, sans reprendre la passerelle (#54) - hv1, sw1, sw2 + * - ``s11-fenetre-arp`` + - fenêtre ARP de #57 : sur hv1, entrées ARP du netns retirées, puis une VM de hv1 joint une VM + de hv2 dans l'autre subnet (relais L2 depuis l'adresse d'émission de hv1). La VM de hv2 + associe alors ``.253`` à la MAC de hv1 (fenêtre ouverte, vérifiée), mais sa gateway reste + la MAC anycast ; pendant la fenêtre, métadonnées servies, bail DHCP renouvelé auprès de + ``.254``, et **aucune** des 80 connexions TCP du netns de hv2 vers sa VM n'est perdue ; MAC + anycast inscrite dans la FDB du bridge du netns + - hv1, hv2 ``s6`` réutilise les VM de ``s4`` : le lancer après. diff --git a/docs/exploitation/diagnostic.rst b/docs/exploitation/diagnostic.rst index b60200c..6c2a29f 100644 --- a/docs/exploitation/diagnostic.rst +++ b/docs/exploitation/diagnostic.rst @@ -63,6 +63,38 @@ diverges``. Regarder ses notifications avant de sonder à la main. Si le serveur ne voit passer aucune requête, le problème est en amont : tap absent, bridge non raccordé, VM dans le mauvais netns. +La VM ne joint pas sa gateway (subnet ``vxlan``) +------------------------------------------------ + +La gateway d'un subnet ``vxlan`` est un macvlan ``gw-`` à MAC anycast +(:doc:`/concepts/modes-reseau`). Le watchdog contrôle sa présence, sa MAC, les adresses et l'entrée +FDB : ses notifications (``interface gw-…``, ``lacks the gateway address``, ``no local fdb +entry``…) disent déjà ce qui manque. À la main, dans le netns du VPC : + +.. code-block:: bash + + # macvlan actif, MAC 02:01:00:, gateway en /32 ; adresse d'émission seule sur le bridge + ip -n -br addr show gw- + ip -n -br addr show br- + + # entrée locale de la MAC anycast dans le bridge (« master br- permanent ») + ip netns exec bridge fdb show br br- | grep 02:01:00 + + # route du subnet émise depuis la gateway + ip -n -4 route show dev br- + + # confinement : source anycast rejetée sur le veth du subnet + ip netns exec ebtables -t nat -L PREROUTING + ip netns exec ebtables -L FORWARD + +Dans le guest, ``ip neigh show `` doit montrer la MAC ``02:01:00:``. Une autre MAC — +celle d'un hôte, ``02:03:…`` — signale un subnet de l'ancien modèle (sans ``relay_ip``) ou une +gateway posée sur le bridge. + +Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission : +``ip netns exec ping -I ``. Un ping sans ``-I`` part de la gateway et la +réponse revient à l'hôte de la VM — ce n'est pas une panne. + La VM a une adresse mais cloud-init n'applique rien --------------------------------------------------- diff --git a/internal/api/agent/models.go b/internal/api/agent/models.go index de01684..045e8fd 100644 --- a/internal/api/agent/models.go +++ b/internal/api/agent/models.go @@ -33,6 +33,7 @@ type Subnet struct { VxlanID int `json:"vxlan_id"` LocalIface string `json:"local_iface"` InterfaceIP string `json:"interface_ip"` + RelayIP string `json:"relay_ip,omitempty"` CIDR string `json:"cidr"` DefaultRoute bool `json:"default_route"` Gateway string `json:"gateway"` diff --git a/internal/api/agent/subnet.go b/internal/api/agent/subnet.go index 4473489..99e4137 100644 --- a/internal/api/agent/subnet.go +++ b/internal/api/agent/subnet.go @@ -55,6 +55,8 @@ func (s *Server) getSubnet(w http.ResponseWriter, _ *http.Request, name string) sub.LocalIface = value case "interface_ip": sub.InterfaceIP = value + case "relay_ip": + sub.RelayIP = value case "cidr": sub.CIDR = value case "default_route": diff --git a/internal/api/agent/subnet_test.go b/internal/api/agent/subnet_test.go index 6cf4176..bf24986 100644 --- a/internal/api/agent/subnet_test.go +++ b/internal/api/agent/subnet_test.go @@ -5,6 +5,7 @@ import ( "encoding/json" "net/http" "net/http/httptest" + "strings" "testing" "git.g3e.fr/syonad/two/pkg/db/kv" @@ -57,11 +58,10 @@ func TestPostSubnet_Created(t *testing.T) { s, db := newTestServer(t) kv.AddInDB(db, "vpc/vpc-1/state", "running") req := SubnetCreateRequest{ - Name: "sn-new", - VPC: "vpc-1", - IfaceType: "vms", - InterfaceIP: "10.0.0.1", - CIDR: "10.0.0.0/24", + Name: "sn-new", + VPC: "vpc-1", + IfaceType: "vms", + CIDR: "10.0.0.0/24", } body, _ := json.Marshal(req) w := httptest.NewRecorder() @@ -93,10 +93,9 @@ func TestPostSubnet_IfaceTypeOptional(t *testing.T) { s, db := newTestServer(t) kv.AddInDB(db, "vpc/vpc-1/state", "running") req := SubnetCreateRequest{ - Name: "sn-opt", - VPC: "vpc-1", - InterfaceIP: "10.0.0.1", - CIDR: "10.0.0.0/24", + Name: "sn-opt", + VPC: "vpc-1", + CIDR: "10.0.0.0/24", // IfaceType omis — doit utiliser default_interface } body, _ := json.Marshal(req) @@ -110,11 +109,10 @@ func TestPostSubnet_IfaceTypeOptional(t *testing.T) { func TestPostSubnet_VPCNotFound(t *testing.T) { s, _ := newTestServer(t) req := SubnetCreateRequest{ - Name: "sn-1", - VPC: "vpc-inexistant", - IfaceType: "vms", - InterfaceIP: "10.0.0.1", - CIDR: "10.0.0.0/24", + Name: "sn-1", + VPC: "vpc-inexistant", + IfaceType: "vms", + CIDR: "10.0.0.0/24", } body, _ := json.Marshal(req) w := httptest.NewRecorder() @@ -129,11 +127,10 @@ func TestPostSubnet_Duplicate(t *testing.T) { kv.AddInDB(db, "vpc/vpc-1/state", "running") kv.AddInDB(db, "subnet/sn-exist/state", "running") req := SubnetCreateRequest{ - Name: "sn-exist", - VPC: "vpc-1", - IfaceType: "vms", - InterfaceIP: "10.0.0.1", - CIDR: "10.0.0.0/24", + Name: "sn-exist", + VPC: "vpc-1", + IfaceType: "vms", + CIDR: "10.0.0.0/24", } body, _ := json.Marshal(req) w := httptest.NewRecorder() @@ -147,11 +144,10 @@ func TestPostSubnet_VPCDeleting(t *testing.T) { s, db := newTestServer(t) kv.AddInDB(db, "vpc/vpc-dying/state", "deleting") req := SubnetCreateRequest{ - Name: "sn-1", - VPC: "vpc-dying", - IfaceType: "vms", - InterfaceIP: "10.0.0.1", - CIDR: "10.0.0.0/24", + Name: "sn-1", + VPC: "vpc-dying", + IfaceType: "vms", + CIDR: "10.0.0.0/24", } body, _ := json.Marshal(req) w := httptest.NewRecorder() @@ -206,6 +202,17 @@ func TestPostSubnet_UnknownMode(t *testing.T) { } } +func TestPostSubnet_UnknownModeWithoutInterfaceIP(t *testing.T) { + s, db := newTestServer(t) + kv.AddInDB(db, "vpc/vpc-1/state", "running") + body, _ := json.Marshal(SubnetCreateRequest{Name: "sn-1", VPC: "vpc-1", Mode: "vlan", CIDR: "10.0.0.0/24"}) + w := httptest.NewRecorder() + s.SubnetsHandler(w, httptest.NewRequest(http.MethodPost, "/subnets", bytes.NewReader(body))) + if w.Code != http.StatusUnprocessableEntity || !strings.Contains(w.Body.String(), "unknown subnet mode") { + t.Errorf("attendu 422 mode inconnu, obtenu %d : %s", w.Code, w.Body.String()) + } +} + func TestPostSubnet_InvalidBody(t *testing.T) { s, _ := newTestServer(t) w := httptest.NewRecorder() @@ -337,3 +344,99 @@ func TestCreateSubnet_GatewayRoundTrip(t *testing.T) { t.Errorf("gateway absente de la réponse GET : %+v", got) } } + +func postSubnetRequest(t *testing.T, s *Server, req SubnetCreateRequest) *httptest.ResponseRecorder { + t.Helper() + body, _ := json.Marshal(req) + w := httptest.NewRecorder() + s.SubnetsHandler(w, httptest.NewRequest(http.MethodPost, "/subnets", bytes.NewReader(body))) + return w +} + +func TestPostSubnet_VxlanRejectsInterfaceIP(t *testing.T) { + for _, mode := range []string{"", "vxlan"} { + s, db := newTestServer(t) + kv.AddInDB(db, "vpc/vpc-1/state", "running") + w := postSubnetRequest(t, s, SubnetCreateRequest{ + Name: "sn-1", VPC: "vpc-1", Mode: mode, + InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + }) + if w.Code != http.StatusBadRequest { + t.Errorf("mode %q : attendu 400, obtenu %d : %s", mode, w.Code, w.Body.String()) + } + if _, err := kv.GetFromDB(db, "subnet/sn-1/state"); err == nil { + t.Errorf("mode %q : aucun subnet ne doit être créé", mode) + } + } +} + +func TestPostSubnet_BridgeRequiresInterfaceIP(t *testing.T) { + s, db := newTestServer(t) + kv.AddInDB(db, "vpc/vpc-1/state", "running") + w := postSubnetRequest(t, s, SubnetCreateRequest{ + Name: "sn-br", VPC: "vpc-1", Mode: "bridge", CIDR: "10.0.0.0/24", + }) + if w.Code != http.StatusBadRequest { + t.Errorf("attendu 400, obtenu %d : %s", w.Code, w.Body.String()) + } +} + +func TestPostSubnet_VxlanReturnsComputedAddresses(t *testing.T) { + s, db := newTestServer(t) + kv.AddInDB(db, "vpc/vpc-1/state", "running") + w := postSubnetRequest(t, s, SubnetCreateRequest{ + Name: "sn-vx", VPC: "vpc-1", Mode: "vxlan", CIDR: "10.0.0.0/24", + }) + if w.Code != http.StatusAccepted { + t.Fatalf("attendu 202, obtenu %d : %s", w.Code, w.Body.String()) + } + var got Subnet + json.NewDecoder(w.Body).Decode(&got) + if got.InterfaceIP != "10.0.0.254" { + t.Errorf("interface_ip attendue 10.0.0.254, obtenu %q", got.InterfaceIP) + } + if got.RelayIP != "10.0.0.253" { + t.Errorf("relay_ip attendu 10.0.0.253, obtenu %q", got.RelayIP) + } +} + +func TestGetSubnet_RelayIPOnlyForVxlan(t *testing.T) { + s, db := newTestServer(t) + kv.AddInDB(db, "vpc/vpc-1/state", "running") + if w := postSubnetRequest(t, s, SubnetCreateRequest{ + Name: "sn-vx", VPC: "vpc-1", CIDR: "10.0.0.0/24", + }); w.Code != http.StatusAccepted { + t.Fatalf("vxlan : attendu 202, obtenu %d : %s", w.Code, w.Body.String()) + } + if w := postSubnetRequest(t, s, SubnetCreateRequest{ + Name: "sn-br", VPC: "vpc-1", Mode: "bridge", InterfaceIP: "10.1.0.1", CIDR: "10.1.0.0/24", + }); w.Code != http.StatusAccepted { + t.Fatalf("bridge : attendu 202, obtenu %d : %s", w.Code, w.Body.String()) + } + + w := httptest.NewRecorder() + s.SubnetByNameHandler(w, httptest.NewRequest(http.MethodGet, "/subnets/sn-vx", nil)) + var vx Subnet + json.NewDecoder(w.Body).Decode(&vx) + if vx.RelayIP != "10.0.0.253" { + t.Errorf("relay_ip attendu 10.0.0.253, obtenu %q", vx.RelayIP) + } + + w = httptest.NewRecorder() + s.SubnetByNameHandler(w, httptest.NewRequest(http.MethodGet, "/subnets/sn-br", nil)) + if strings.Contains(w.Body.String(), "relay_ip") { + t.Errorf("relay_ip ne doit pas apparaître pour un subnet bridge : %s", w.Body.String()) + } + + w = httptest.NewRecorder() + s.SubnetsHandler(w, httptest.NewRequest(http.MethodGet, "/subnets", nil)) + var list []Subnet + json.NewDecoder(w.Body).Decode(&list) + relays := map[string]string{} + for _, sub := range list { + relays[sub.Name] = sub.RelayIP + } + if relays["sn-vx"] != "10.0.0.253" || relays["sn-br"] != "" { + t.Errorf("relay_ip inattendus dans la liste : %v", relays) + } +} diff --git a/internal/api/agent/subnets.go b/internal/api/agent/subnets.go index efa480b..00bfb7b 100644 --- a/internal/api/agent/subnets.go +++ b/internal/api/agent/subnets.go @@ -7,6 +7,7 @@ import ( "strings" dispatcher "git.g3e.fr/syonad/two/internal/dispatcher/agent" + "git.g3e.fr/syonad/two/internal/subnet" "git.g3e.fr/syonad/two/pkg/db/kv" ) @@ -52,6 +53,8 @@ func (s *Server) listSubnets(w http.ResponseWriter, _ *http.Request) { subnets[name].LocalIface = value case "interface_ip": subnets[name].InterfaceIP = value + case "relay_ip": + subnets[name].RelayIP = value case "cidr": subnets[name].CIDR = value case "default_route": @@ -73,9 +76,25 @@ func (s *Server) postSubnet(w http.ResponseWriter, r *http.Request) { json.NewEncoder(w).Encode(ErrorResponse{Error: "invalid request body"}) return } - if req.Name == "" || req.VPC == "" || req.InterfaceIP == "" || req.CIDR == "" { + if req.Name == "" || req.VPC == "" || req.CIDR == "" { w.WriteHeader(http.StatusBadRequest) - json.NewEncoder(w).Encode(ErrorResponse{Error: "name, vpc, interface_ip and cidr are required"}) + json.NewEncoder(w).Encode(ErrorResponse{Error: "name, vpc and cidr are required"}) + return + } + if req.Mode != "" && !subnet.ValidMode(req.Mode) { + w.WriteHeader(http.StatusUnprocessableEntity) + json.NewEncoder(w).Encode(ErrorResponse{Error: "unknown subnet mode " + strconv.Quote(req.Mode)}) + return + } + vxlan := req.Mode == "" || req.Mode == subnet.ModeVxlan + if !vxlan && req.InterfaceIP == "" { + w.WriteHeader(http.StatusBadRequest) + json.NewEncoder(w).Encode(ErrorResponse{Error: "interface_ip is required for " + req.Mode + " subnets"}) + return + } + if vxlan && req.InterfaceIP != "" { + w.WriteHeader(http.StatusBadRequest) + json.NewEncoder(w).Encode(ErrorResponse{Error: "interface_ip is computed for vxlan subnets, do not set it"}) return } cmd := dispatcher.CreateSubnetCommand{ @@ -124,6 +143,8 @@ func (s *Server) postSubnet(w http.ResponseWriter, r *http.Request) { sub.LocalIface = value case "interface_ip": sub.InterfaceIP = value + case "relay_ip": + sub.RelayIP = value case "cidr": sub.CIDR = value case "default_route": diff --git a/internal/api/agent/vm_test.go b/internal/api/agent/vm_test.go index e4892f2..66b43d9 100644 --- a/internal/api/agent/vm_test.go +++ b/internal/api/agent/vm_test.go @@ -99,6 +99,7 @@ func TestStartVM_MultiDisk(t *testing.T) { s, db := newTestServer(t) kv.AddInDB(db, "subnet/sn-1/state", "running") kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24") body, _ := json.Marshal(VMCreateRequest{ Name: "vm-10", @@ -133,6 +134,7 @@ func TestStartVM_StorageReturnedInResponse(t *testing.T) { s, db := newTestServer(t) kv.AddInDB(db, "subnet/sn-1/state", "running") kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24") body, _ := json.Marshal(VMCreateRequest{ Name: "vm-11", @@ -167,6 +169,7 @@ func postVM(t *testing.T, name string, meta VMMetadata) (*httptest.ResponseRecor s, db := newTestServer(t) kv.AddInDB(db, "subnet/sn-1/state", "running") kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24") body, _ := json.Marshal(VMCreateRequest{ Name: name, @@ -291,9 +294,10 @@ func TestVmFromDB_MultipleInterfacesSortedByIndex(t *testing.T) { func TestStartVM_StoresAllInterfaces(t *testing.T) { s, db := newTestServer(t) - for _, sn := range []string{"sn-1", "sn-2"} { + for sn, cidr := range map[string]string{"sn-1": "10.1.0.0/24", "sn-2": "10.2.0.0/24"} { kv.AddInDB(db, "subnet/"+sn+"/state", "running") kv.AddInDB(db, "subnet/"+sn+"/vpc", "vpc-1") + kv.AddInDB(db, "subnet/"+sn+"/cidr", cidr) } body, _ := json.Marshal(VMCreateRequest{ @@ -332,9 +336,10 @@ func TestStartVM_RejectsZeroOrTwoPrimaries(t *testing.T) { } for label, ifaces := range cases { s, db := newTestServer(t) - for _, sn := range []string{"sn-1", "sn-2"} { + for sn, cidr := range map[string]string{"sn-1": "10.1.0.0/24", "sn-2": "10.2.0.0/24"} { kv.AddInDB(db, "subnet/"+sn+"/state", "running") kv.AddInDB(db, "subnet/"+sn+"/vpc", "vpc-1") + kv.AddInDB(db, "subnet/"+sn+"/cidr", cidr) } body, _ := json.Marshal(VMCreateRequest{ Name: "vm-bad", @@ -348,3 +353,71 @@ func TestStartVM_RejectsZeroOrTwoPrimaries(t *testing.T) { } } } + +func TestStartVM_RejectsReservedOrForeignAddresses(t *testing.T) { + cases := map[string]string{ + "passerelle anycast": "10.0.0.254", + "relais": "10.0.0.253", + "adresse réseau": "10.0.0.0", + "broadcast": "10.0.0.255", + "hors cidr": "10.0.1.5", + "gateway explicite": "10.0.0.1", + } + for label, ip := range cases { + s, db := newTestServer(t) + kv.AddInDB(db, "subnet/sn-1/state", "running") + kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24") + kv.AddInDB(db, "subnet/sn-1/interface_ip", "10.0.0.254") + kv.AddInDB(db, "subnet/sn-1/relay_ip", "10.0.0.253") + kv.AddInDB(db, "subnet/sn-1/gateway", "10.0.0.1") + body, _ := json.Marshal(VMCreateRequest{ + Name: "vm-ip", + Interfaces: []VMInterface{{Subnet: "sn-1", IP: ip, Primary: true}}, + Storage: []VMStorage{{Path: "/data/root.qcow2", Dev: "vda"}}, + }) + w := httptest.NewRecorder() + s.VmsHandler(w, httptest.NewRequest(http.MethodPost, "/vms", bytes.NewReader(body))) + if w.Code != http.StatusUnprocessableEntity { + t.Errorf("%s : attendu 422, obtenu %d — %s", label, w.Code, w.Body.String()) + } + if _, err := kv.GetFromDB(db, "vm/vm-ip/state"); err == nil { + t.Errorf("%s : la VM ne doit pas être créée", label) + } + } +} + +func TestStartVM_AcceptsHostAddressBesideReservedOnes(t *testing.T) { + s, db := newTestServer(t) + kv.AddInDB(db, "subnet/sn-1/state", "running") + kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24") + kv.AddInDB(db, "subnet/sn-1/interface_ip", "10.0.0.254") + kv.AddInDB(db, "subnet/sn-1/relay_ip", "10.0.0.253") + body, _ := json.Marshal(VMCreateRequest{ + Name: "vm-ip", + Interfaces: []VMInterface{{Subnet: "sn-1", IP: "10.0.0.252", Primary: true}}, + Storage: []VMStorage{{Path: "/data/root.qcow2", Dev: "vda"}}, + }) + w := httptest.NewRecorder() + s.VmsHandler(w, httptest.NewRequest(http.MethodPost, "/vms", bytes.NewReader(body))) + if w.Code != http.StatusAccepted { + t.Fatalf("attendu 202, obtenu %d : %s", w.Code, w.Body.String()) + } +} + +func TestStartVM_RejectsSubnetWithoutCIDR(t *testing.T) { + s, db := newTestServer(t) + kv.AddInDB(db, "subnet/sn-1/state", "running") + kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + body, _ := json.Marshal(VMCreateRequest{ + Name: "vm-ip", + Interfaces: []VMInterface{{Subnet: "sn-1", IP: "10.0.0.5", Primary: true}}, + Storage: []VMStorage{{Path: "/data/root.qcow2", Dev: "vda"}}, + }) + w := httptest.NewRecorder() + s.VmsHandler(w, httptest.NewRequest(http.MethodPost, "/vms", bytes.NewReader(body))) + if w.Code != http.StatusUnprocessableEntity || !strings.Contains(w.Body.String(), "has no cidr") { + t.Errorf("attendu 422 « has no cidr », obtenu %d : %s", w.Code, w.Body.String()) + } +} diff --git a/internal/dhcp/dhcp_test.go b/internal/dhcp/dhcp_test.go index 1fd3731..79448b3 100644 --- a/internal/dhcp/dhcp_test.go +++ b/internal/dhcp/dhcp_test.go @@ -316,3 +316,27 @@ func TestGenerateConfig_MissingInterfaceIPIsAnError(t *testing.T) { t.Error("sans interface_ip aucune route metadata n'est possible : il faut échouer, pas écrire une conf muette") } } + +func TestGenerateConfig_ListensOnTheAnycastGateway(t *testing.T) { + conf := newConf(t, "192.168.1.0/29") + conf.Listen = "gw-s9r1" + conf.Except = "br-s9r1" + path, _, _ := GenerateConfig(conf) + content, _ := os.ReadFile(path) + + for _, line := range []string{"\ninterface=gw-s9r1\n", "\nexcept-interface=br-s9r1\n"} { + if !strings.Contains(string(content), line) { + t.Errorf("%q absente du fichier généré :\n%s", strings.TrimSpace(line), content) + } + } +} + +func TestGenerateConfig_NoInterfaceLinesByDefault(t *testing.T) { + conf := newConf(t, "192.168.1.0/29") + path, _, _ := GenerateConfig(conf) + content, _ := os.ReadFile(path) + + if strings.Contains(string(content), "interface=") { + t.Errorf("aucune directive d'interface attendue sans Listen :\n%s", content) + } +} diff --git a/internal/dhcp/generate.go b/internal/dhcp/generate.go index 0e5833e..f67b27f 100644 --- a/internal/dhcp/generate.go +++ b/internal/dhcp/generate.go @@ -18,6 +18,12 @@ func GenerateConfig(c Config) (string, map[string]string, error) { var sb strings.Builder fmt.Fprintf(&sb, "no-resolv\n") + if c.Listen != "" { + fmt.Fprintf(&sb, "interface=%s\n", c.Listen) + } + if c.Except != "" { + fmt.Fprintf(&sb, "except-interface=%s\n", c.Except) + } fmt.Fprintf(&sb, "dhcp-range=%s,static,%s,12h\n", c.Network.IP.String(), mask) fmt.Fprintf(&sb, "dhcp-option=121,%s\n", strings.Join(classlessRoutes(c), ",")) if c.DefaultGateway != nil { diff --git a/internal/dhcp/struct.go b/internal/dhcp/struct.go index 9df7c1f..44d51a7 100644 --- a/internal/dhcp/struct.go +++ b/internal/dhcp/struct.go @@ -13,4 +13,6 @@ type Config struct { DefaultGateway net.IP // if non-nil, default route via option 3 and 0.0.0.0/0 in option 121 Name string ConfDir string + Listen string + Except string } diff --git a/internal/dhcpbackend/backend.go b/internal/dhcpbackend/backend.go index 3c9c909..9d61510 100644 --- a/internal/dhcpbackend/backend.go +++ b/internal/dhcpbackend/backend.go @@ -11,6 +11,7 @@ type Subnet struct { Name string VPC string Bridge string + Listen string Network *net.IPNet InterfaceIP net.IP VPCRoute *net.IPNet diff --git a/internal/dhcpbackend/dnsmasq.go b/internal/dhcpbackend/dnsmasq.go index 207ecee..9244ebf 100644 --- a/internal/dhcpbackend/dnsmasq.go +++ b/internal/dhcpbackend/dnsmasq.go @@ -28,7 +28,7 @@ func (Dnsmasq) Unit(s Subnet) string { } func (b Dnsmasq) config(s Subnet) dhcp.Config { - return dhcp.Config{ + c := dhcp.Config{ Network: s.Network, Name: s.Instance(), ConfDir: b.confDir(), @@ -36,6 +36,11 @@ func (b Dnsmasq) config(s Subnet) dhcp.Config { VPCRoute: s.VPCRoute, DefaultGateway: s.DefaultGateway, } + if s.Listen != "" && s.Listen != s.Bridge { + c.Listen = s.Listen + c.Except = s.Bridge + } + return c } func (b Dnsmasq) ConfigureSubnet(s Subnet) error { diff --git a/internal/dhcpbackend/dnsmasq_test.go b/internal/dhcpbackend/dnsmasq_test.go index 1bb2d7c..4f2a69a 100644 --- a/internal/dhcpbackend/dnsmasq_test.go +++ b/internal/dhcpbackend/dnsmasq_test.go @@ -111,3 +111,22 @@ func TestDnsmasqSetVM_RejectsAVMWithoutReservation(t *testing.T) { t.Fatal("a vm with no reservation would get no address: that must be reported") } } + +func TestDnsmasqConfig_ListenOnGatewayExcludesTheBridge(t *testing.T) { + c := Dnsmasq{}.config(Subnet{VPC: "vp-s9", Bridge: "br-s9r1", Listen: "gw-s9r1"}) + if c.Listen != "gw-s9r1" || c.Except != "br-s9r1" { + t.Errorf("Listen %q, Except %q : gw-s9r1 et br-s9r1 attendus", c.Listen, c.Except) + } + if c.Name != "vp-s9_br-s9r1" { + t.Errorf("instance %q : le nom doit rester celui du bridge", c.Name) + } +} + +func TestDnsmasqConfig_NoListenKeepsTheCommandLineInterface(t *testing.T) { + for _, listen := range []string{"", "br-s9r1"} { + c := Dnsmasq{}.config(Subnet{VPC: "vp-s9", Bridge: "br-s9r1", Listen: listen}) + if c.Listen != "" || c.Except != "" { + t.Errorf("Listen=%q : Listen %q, Except %q, vides attendus", listen, c.Listen, c.Except) + } + } +} diff --git a/internal/dispatcher/agent/subnet_commands.go b/internal/dispatcher/agent/subnet_commands.go index f6e7f2d..e5807ba 100644 --- a/internal/dispatcher/agent/subnet_commands.go +++ b/internal/dispatcher/agent/subnet_commands.go @@ -38,6 +38,20 @@ func (c CreateSubnetCommand) Prepare(db *badger.DB, cfg *configuration.Config) e if _, err := kv.GetFromDB(db, "subnet/"+c.Name+"/state"); err == nil { return fmt.Errorf("subnet %q already exists", c.Name) } + relayIP := "" + if c.Mode == subnet.ModeVxlan { + if c.InterfaceIP != "" { + return fmt.Errorf("interface_ip is computed for vxlan subnets, do not set it") + } + addrs, err := subnet.AnycastAddresses(c.CIDR) + if err != nil { + return err + } + c.InterfaceIP = addrs.Gateway.String() + relayIP = addrs.Relay.String() + } else if c.InterfaceIP == "" { + return fmt.Errorf("interface_ip is required for %s subnets", c.Mode) + } vpcState, err := state.Get(db, "vpc/"+c.VPC) if err != nil { return fmt.Errorf("vpc %q not found", c.VPC) @@ -58,6 +72,7 @@ func (c CreateSubnetCommand) Prepare(db *badger.DB, cfg *configuration.Config) e kv.AddInDB(db, "subnet/"+c.Name+"/default_route", strconv.FormatBool(c.DefaultRoute)) if c.Mode == subnet.ModeVxlan { kv.AddInDB(db, "subnet/"+c.Name+"/vxlan_id", strconv.Itoa(c.VxlanID)) + kv.AddInDB(db, "subnet/"+c.Name+"/relay_ip", relayIP) } if c.Gateway != "" { if err := kv.AddInDB(db, "subnet/"+c.Name+"/gateway", c.Gateway); err != nil { diff --git a/internal/dispatcher/agent/subnet_commands_test.go b/internal/dispatcher/agent/subnet_commands_test.go index 3474df1..d9095f2 100644 --- a/internal/dispatcher/agent/subnet_commands_test.go +++ b/internal/dispatcher/agent/subnet_commands_test.go @@ -22,7 +22,7 @@ func TestCreateSubnetCommand_Prepare_Success(t *testing.T) { kv.AddInDB(db, "vpc/vpc-1/state", "running") cmd := CreateSubnetCommand{ Name: "sn-1", VPC: "vpc-1", VxlanID: 100, - IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + IfaceType: "vms", CIDR: "10.0.0.0/24", } if err := cmd.Prepare(db, testCfg()); err != nil { t.Fatalf("Prepare a échoué : %v", err) @@ -35,6 +35,10 @@ func TestCreateSubnetCommand_Prepare_Success(t *testing.T) { if vpc != "vpc-1" { t.Errorf("vpc attendu vpc-1, obtenu %q", vpc) } + ip, _ := kv.GetFromDB(db, "subnet/sn-1/interface_ip") + if ip != "10.0.0.254" { + t.Errorf("interface_ip attendue 10.0.0.254, obtenu %q", ip) + } } func TestCreateSubnetCommand_Prepare_UsesIfaceTypeMapping(t *testing.T) { @@ -42,7 +46,7 @@ func TestCreateSubnetCommand_Prepare_UsesIfaceTypeMapping(t *testing.T) { kv.AddInDB(db, "vpc/vpc-1/state", "running") cmd := CreateSubnetCommand{ Name: "sn-1", VPC: "vpc-1", VxlanID: 100, - IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + IfaceType: "vms", CIDR: "10.0.0.0/24", } cmd.Prepare(db, testCfg()) iface, _ := kv.GetFromDB(db, "subnet/sn-1/local_iface") @@ -56,7 +60,7 @@ func TestCreateSubnetCommand_Prepare_UsesDefaultIfaceWhenTypeUnknown(t *testing. kv.AddInDB(db, "vpc/vpc-1/state", "running") cmd := CreateSubnetCommand{ Name: "sn-1", VPC: "vpc-1", VxlanID: 100, - IfaceType: "inconnu", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + IfaceType: "inconnu", CIDR: "10.0.0.0/24", } cmd.Prepare(db, testCfg()) iface, _ := kv.GetFromDB(db, "subnet/sn-1/local_iface") @@ -71,7 +75,7 @@ func TestCreateSubnetCommand_Prepare_Duplicate(t *testing.T) { kv.AddInDB(db, "subnet/sn-exist/state", "running") cmd := CreateSubnetCommand{ Name: "sn-exist", VPC: "vpc-1", VxlanID: 100, - IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + IfaceType: "vms", CIDR: "10.0.0.0/24", } if err := cmd.Prepare(db, testCfg()); err == nil { t.Error("Prepare devrait échouer sur un subnet déjà existant") @@ -82,7 +86,7 @@ func TestCreateSubnetCommand_Prepare_VPCNotFound(t *testing.T) { _, db := newTestDispatcher(t) cmd := CreateSubnetCommand{ Name: "sn-1", VPC: "vpc-inexistant", VxlanID: 100, - IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + IfaceType: "vms", CIDR: "10.0.0.0/24", } if err := cmd.Prepare(db, testCfg()); err == nil { t.Error("Prepare devrait échouer si le VPC n'existe pas") @@ -94,7 +98,7 @@ func TestCreateSubnetCommand_Prepare_VPCDeleting(t *testing.T) { kv.AddInDB(db, "vpc/vpc-dying/state", "deleting") cmd := CreateSubnetCommand{ Name: "sn-1", VPC: "vpc-dying", VxlanID: 100, - IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + IfaceType: "vms", CIDR: "10.0.0.0/24", } if err := cmd.Prepare(db, testCfg()); err == nil { t.Error("Prepare devrait échouer si le VPC est en cours de suppression") @@ -106,7 +110,7 @@ func TestCreateSubnetCommand_Prepare_VPCDeleted(t *testing.T) { kv.AddInDB(db, "vpc/vpc-gone/state", "deleted") cmd := CreateSubnetCommand{ Name: "sn-1", VPC: "vpc-gone", VxlanID: 100, - IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + IfaceType: "vms", CIDR: "10.0.0.0/24", } if err := cmd.Prepare(db, testCfg()); err == nil { t.Error("Prepare devrait échouer si le VPC est supprimé") @@ -118,7 +122,7 @@ func TestCreateSubnetCommand_Prepare_DefaultsToVxlanMode(t *testing.T) { kv.AddInDB(db, "vpc/vpc-1/state", "running") cmd := CreateSubnetCommand{ Name: "sn-1", VPC: "vpc-1", VxlanID: 100, - IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + IfaceType: "vms", CIDR: "10.0.0.0/24", } cmd.Prepare(db, testCfg()) mode, _ := kv.GetFromDB(db, "subnet/sn-1/mode") @@ -180,7 +184,7 @@ func TestCreateSubnetCommand_Prepare_DefaultRouteStored(t *testing.T) { kv.AddInDB(db, "vpc/vpc-1/state", "running") cmd := CreateSubnetCommand{ Name: "sn-1", VPC: "vpc-1", VxlanID: 100, - IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + IfaceType: "vms", CIDR: "10.0.0.0/24", DefaultRoute: true, } if err := cmd.Prepare(db, testCfg()); err != nil { @@ -200,7 +204,7 @@ func TestCreateSubnetCommand_Prepare_DefaultRouteFalseByDefault(t *testing.T) { kv.AddInDB(db, "vpc/vpc-1/state", "running") cmd := CreateSubnetCommand{ Name: "sn-1", VPC: "vpc-1", VxlanID: 100, - IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + IfaceType: "vms", CIDR: "10.0.0.0/24", } cmd.Prepare(db, testCfg()) val, _ := kv.GetFromDB(db, "subnet/sn-1/default_route") @@ -209,6 +213,76 @@ func TestCreateSubnetCommand_Prepare_DefaultRouteFalseByDefault(t *testing.T) { } } +func TestCreateSubnetCommand_Prepare_VxlanComputesAnycastAddresses(t *testing.T) { + db, err := prepareSubnet(t, CreateSubnetCommand{ + Name: "sn-any", VxlanID: 100, IfaceType: "vms", CIDR: "10.1.0.0/16", + }) + if err != nil { + t.Fatalf("Prepare a échoué : %v", err) + } + if ip, _ := kv.GetFromDB(db, "subnet/sn-any/interface_ip"); ip != "10.1.255.254" { + t.Errorf("interface_ip attendue 10.1.255.254, obtenu %q", ip) + } + if relay, _ := kv.GetFromDB(db, "subnet/sn-any/relay_ip"); relay != "10.1.255.253" { + t.Errorf("relay_ip attendu 10.1.255.253, obtenu %q", relay) + } +} + +func TestCreateSubnetCommand_Prepare_VxlanRefusesInterfaceIP(t *testing.T) { + for _, mode := range []string{"", "vxlan"} { + db, err := prepareSubnet(t, CreateSubnetCommand{ + Name: "sn-ip", Mode: mode, VxlanID: 100, IfaceType: "vms", + InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + }) + if err == nil || !strings.Contains(err.Error(), "interface_ip is computed") { + t.Errorf("mode %q : une interface_ip fournie doit être refusée, obtenu %v", mode, err) + } + if _, err := kv.GetFromDB(db, "subnet/sn-ip/state"); err == nil { + t.Errorf("mode %q : rien ne doit être écrit après un refus", mode) + } + } +} + +func TestCreateSubnetCommand_Prepare_VxlanRefusesSlash30(t *testing.T) { + db, err := prepareSubnet(t, CreateSubnetCommand{ + Name: "sn-small", VxlanID: 100, IfaceType: "vms", CIDR: "10.0.0.0/30", + }) + if err == nil { + t.Fatal("un /30 doit être refusé en mode vxlan") + } + if _, err := kv.GetFromDB(db, "subnet/sn-small/state"); err == nil { + t.Error("rien ne doit être écrit après un refus") + } +} + +func TestCreateSubnetCommand_Prepare_BridgeRequiresInterfaceIP(t *testing.T) { + db, err := prepareSubnet(t, CreateSubnetCommand{ + Name: "sn-br", Mode: "bridge", IfaceType: "vms", CIDR: "10.0.0.0/24", + }) + if err == nil || !strings.Contains(err.Error(), "interface_ip is required") { + t.Errorf("une interface_ip absente doit être refusée en mode bridge, obtenu %v", err) + } + if _, err := kv.GetFromDB(db, "subnet/sn-br/state"); err == nil { + t.Error("rien ne doit être écrit après un refus") + } +} + +func TestCreateSubnetCommand_Prepare_BridgeStoresGivenInterfaceIPWithoutRelay(t *testing.T) { + db, err := prepareSubnet(t, CreateSubnetCommand{ + Name: "sn-br", Mode: "bridge", IfaceType: "vms", + InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + }) + if err != nil { + t.Fatalf("Prepare a échoué : %v", err) + } + if ip, _ := kv.GetFromDB(db, "subnet/sn-br/interface_ip"); ip != "10.0.0.1" { + t.Errorf("interface_ip attendue 10.0.0.1, obtenu %q", ip) + } + if _, err := kv.GetFromDB(db, "subnet/sn-br/relay_ip"); err == nil { + t.Error("relay_ip ne doit être écrit qu'en mode vxlan") + } +} + // --- DeleteSubnetCommand.Prepare --- func TestDeleteSubnetCommand_Prepare_Success(t *testing.T) { @@ -273,7 +347,7 @@ func prepareSubnet(t *testing.T, cmd CreateSubnetCommand) (*badger.DB, error) { func TestCreateSubnetCommand_Prepare_StoresGateway(t *testing.T) { db, err := prepareSubnet(t, CreateSubnetCommand{ Name: "sn-gw", VxlanID: 100, IfaceType: "vms", - InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + CIDR: "10.0.0.0/24", DefaultRoute: true, Gateway: "10.0.0.254", }) if err != nil { @@ -291,7 +365,7 @@ func TestCreateSubnetCommand_Prepare_StoresGateway(t *testing.T) { func TestCreateSubnetCommand_Prepare_NoGatewayWritesNoKey(t *testing.T) { db, err := prepareSubnet(t, CreateSubnetCommand{ Name: "sn-nogw", VxlanID: 100, IfaceType: "vms", - InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", + CIDR: "10.0.0.0/24", }) if err != nil { t.Fatalf("Prepare a échoué : %v", err) diff --git a/internal/dispatcher/agent/vm_commands.go b/internal/dispatcher/agent/vm_commands.go index d634d5d..9f72113 100644 --- a/internal/dispatcher/agent/vm_commands.go +++ b/internal/dispatcher/agent/vm_commands.go @@ -9,6 +9,7 @@ import ( configuration "git.g3e.fr/syonad/two/internal/config/agent" "git.g3e.fr/syonad/two/internal/state" + "git.g3e.fr/syonad/two/internal/subnet" "git.g3e.fr/syonad/two/internal/vm" "git.g3e.fr/syonad/two/pkg/db/kv" "github.com/dgraph-io/badger/v4" @@ -106,6 +107,16 @@ func (c StartVMCommand) validateNICs(db *badger.DB) error { if subnetState != state.Creating && subnetState != state.Running { return fmt.Errorf("subnet %q is %s", n.Subnet, subnetState) } + cidr, err := kv.GetFromDB(db, "subnet/"+n.Subnet+"/cidr") + if err != nil { + return fmt.Errorf("subnet %q has no cidr", n.Subnet) + } + interfaceIP, _ := kv.GetFromDB(db, "subnet/"+n.Subnet+"/interface_ip") + relayIP, _ := kv.GetFromDB(db, "subnet/"+n.Subnet+"/relay_ip") + gateway, _ := kv.GetFromDB(db, "subnet/"+n.Subnet+"/gateway") + if err := subnet.CheckHostAddress(cidr, n.IP, interfaceIP, relayIP, gateway); err != nil { + return fmt.Errorf("vm %q on subnet %q: %w", c.Name, n.Subnet, err) + } } if primaries != 1 { return fmt.Errorf("vm %q has %d primary interfaces, expected exactly one", c.Name, primaries) diff --git a/internal/dispatcher/agent/vm_commands_test.go b/internal/dispatcher/agent/vm_commands_test.go index 1a773fc..29b3f69 100644 --- a/internal/dispatcher/agent/vm_commands_test.go +++ b/internal/dispatcher/agent/vm_commands_test.go @@ -13,6 +13,7 @@ func TestStartVMCommand_Prepare_SingleDisk(t *testing.T) { _, db := newTestDispatcher(t) kv.AddInDB(db, "subnet/sn-1/state", "running") kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24") cmd := StartVMCommand{ Name: "vm-1", @@ -36,6 +37,7 @@ func TestStartVMCommand_Prepare_MultiDisk(t *testing.T) { _, db := newTestDispatcher(t) kv.AddInDB(db, "subnet/sn-1/state", "running") kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24") cmd := StartVMCommand{ Name: "vm-2", @@ -67,6 +69,7 @@ func TestStartVMCommand_Prepare_SlotGap(t *testing.T) { _, db := newTestDispatcher(t) kv.AddInDB(db, "subnet/sn-1/state", "running") kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24") // sdb absent au boot — slot réservé pour hotplug cmd := StartVMCommand{ @@ -96,6 +99,7 @@ func TestStartVMCommand_Prepare_NoVolumePath(t *testing.T) { _, db := newTestDispatcher(t) kv.AddInDB(db, "subnet/sn-1/state", "running") kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24") cmd := StartVMCommand{ Name: "vm-4", @@ -177,6 +181,7 @@ func prepareWithDocuments(t *testing.T, docs map[string]string) *badger.DB { _, db := newTestDispatcher(t) kv.AddInDB(db, "subnet/sn-1/state", "running") kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1") + kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24") cmd := StartVMCommand{ Name: "vm-doc", diff --git a/internal/ebtables/ebtables.go b/internal/ebtables/ebtables.go index 40ea0f0..f99c084 100644 --- a/internal/ebtables/ebtables.go +++ b/internal/ebtables/ebtables.go @@ -58,3 +58,34 @@ func DeleteDHCP(iface, ip string) error { "--ip-source", ip, "-j", "DROP") } + +func confineRules(iface, mac string) [][]string { + return [][]string{ + {"-t", "nat", "PREROUTING", "--in-interface", iface, "-s", mac, "-j", "DROP"}, + {"-t", "filter", "FORWARD", "--out-interface", iface, "-s", mac, "-j", "DROP"}, + {"-t", "filter", "OUTPUT", "--out-interface", iface, "-s", mac, "-j", "DROP"}, + } +} + +func withAction(action string, rule []string) []string { + return append([]string{rule[0], rule[1], action}, rule[2:]...) +} + +func ConfineMAC(iface, mac string) error { + for _, rule := range confineRules(iface, mac) { + if err := exec.Command("ebtables", withAction("-A", rule)...).Run(); err != nil { + return fmt.Errorf("ebtables confine %s on %s (%s %s): %w", mac, iface, rule[1], rule[2], err) + } + } + return nil +} + +func DeleteConfineMAC(iface, mac string) error { + var first error + for _, rule := range confineRules(iface, mac) { + if err := exec.Command("ebtables", withAction("-D", rule)...).Run(); err != nil && first == nil { + first = fmt.Errorf("ebtables unconfine %s on %s (%s %s): %w", mac, iface, rule[1], rule[2], err) + } + } + return first +} diff --git a/internal/ebtables/ebtables_test.go b/internal/ebtables/ebtables_test.go new file mode 100644 index 0000000..c64123f --- /dev/null +++ b/internal/ebtables/ebtables_test.go @@ -0,0 +1,43 @@ +package ebtables + +import ( + "strings" + "testing" +) + +func TestConfineRules(t *testing.T) { + want := []string{ + "-t nat -A PREROUTING --in-interface v-s9r1-i -s 02:01:00:00:0b:5f -j DROP", + "-t filter -A FORWARD --out-interface v-s9r1-i -s 02:01:00:00:0b:5f -j DROP", + "-t filter -A OUTPUT --out-interface v-s9r1-i -s 02:01:00:00:0b:5f -j DROP", + } + rules := confineRules("v-s9r1-i", "02:01:00:00:0b:5f") + if len(rules) != len(want) { + t.Fatalf("%d règles, %d attendues", len(rules), len(want)) + } + for i, rule := range rules { + if got := strings.Join(withAction("-A", rule), " "); got != want[i] { + t.Errorf("règle %d : %q, %q attendu", i, got, want[i]) + } + } +} + +func TestDeleteUsesTheSameRules(t *testing.T) { + for _, rule := range confineRules("v-x-i", "02:01:00:00:00:01") { + added := withAction("-A", rule) + deleted := withAction("-D", rule) + if strings.Replace(strings.Join(added, " "), " -A ", " -D ", 1) != strings.Join(deleted, " ") { + t.Errorf("ajout %v et suppression %v divergent", added, deleted) + } + } +} + +func TestWithActionDoesNotAlterTheRule(t *testing.T) { + rule := confineRules("v-x-i", "02:01:00:00:00:01")[0] + before := strings.Join(rule, " ") + withAction("-A", rule) + withAction("-D", rule) + if strings.Join(rule, " ") != before { + t.Errorf("la règle a été modifiée : %q devenu %q", before, strings.Join(rule, " ")) + } +} diff --git a/internal/netif/fdb_linux.go b/internal/netif/fdb_linux.go new file mode 100644 index 0000000..462cab2 --- /dev/null +++ b/internal/netif/fdb_linux.go @@ -0,0 +1,51 @@ +//go:build linux + +package netif + +import ( + "bytes" + "net" + "syscall" + + "github.com/vishvananda/netlink" +) + +func bridgeLocalEntry(bridgeIndex int, mac net.HardwareAddr) *netlink.Neigh { + return &netlink.Neigh{ + LinkIndex: bridgeIndex, + Family: syscall.AF_BRIDGE, + State: netlink.NUD_PERMANENT, + Flags: netlink.NTF_SELF, + HardwareAddr: mac, + } +} + +func hasBridgeLocalMAC(entries []netlink.Neigh, bridgeIndex int, mac net.HardwareAddr) bool { + for _, e := range entries { + if e.LinkIndex == bridgeIndex && e.MasterIndex == bridgeIndex && + e.State&netlink.NUD_PERMANENT != 0 && bytes.Equal(e.HardwareAddr, mac) { + return true + } + } + return false +} + +func BridgeAddLocalMAC(bridge string, mac net.HardwareAddr) error { + link, err := netlink.LinkByName(bridge) + if err != nil { + return err + } + return netlink.NeighAdd(bridgeLocalEntry(link.Attrs().Index, mac)) +} + +func BridgeHasLocalMAC(bridge string, mac net.HardwareAddr) (bool, error) { + link, err := netlink.LinkByName(bridge) + if err != nil { + return false, err + } + entries, err := netlink.NeighList(link.Attrs().Index, syscall.AF_BRIDGE) + if err != nil { + return false, err + } + return hasBridgeLocalMAC(entries, link.Attrs().Index, mac), nil +} diff --git a/internal/netif/fdb_linux_test.go b/internal/netif/fdb_linux_test.go new file mode 100644 index 0000000..b518bcc --- /dev/null +++ b/internal/netif/fdb_linux_test.go @@ -0,0 +1,43 @@ +//go:build linux + +package netif + +import ( + "syscall" + "testing" + + "github.com/vishvananda/netlink" +) + +func TestBridgeLocalEntry(t *testing.T) { + mac, _ := AnycastMAC(2911) + e := bridgeLocalEntry(7, mac) + if e.LinkIndex != 7 || e.Family != syscall.AF_BRIDGE { + t.Errorf("index ou famille inattendus : %d, %d", e.LinkIndex, e.Family) + } + if e.State != netlink.NUD_PERMANENT || e.Flags != netlink.NTF_SELF { + t.Errorf("état %#x et drapeaux %#x, entrée permanente du bridge attendue", e.State, e.Flags) + } +} + +func TestHasBridgeLocalMAC(t *testing.T) { + mac, _ := AnycastMAC(2911) + other, _ := AnycastMAC(2912) + local := netlink.Neigh{LinkIndex: 7, MasterIndex: 7, State: netlink.NUD_PERMANENT, HardwareAddr: mac} + cases := []struct { + label string + entries []netlink.Neigh + want bool + }{ + {"entrée locale du bridge", []netlink.Neigh{local}, true}, + {"seulement la liste unicast du bridge (macvlan)", []netlink.Neigh{{LinkIndex: 7, State: netlink.NUD_PERMANENT, Flags: netlink.NTF_SELF, HardwareAddr: mac}}, false}, + {"apprise sur un port", []netlink.Neigh{{LinkIndex: 9, MasterIndex: 7, State: netlink.NUD_REACHABLE, HardwareAddr: mac}}, false}, + {"autre MAC", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 7, State: netlink.NUD_PERMANENT, HardwareAddr: other}}, false}, + {"aucune entrée", nil, false}, + } + for _, c := range cases { + if got := hasBridgeLocalMAC(c.entries, 7, mac); got != c.want { + t.Errorf("%s : %v, %v attendu", c.label, got, c.want) + } + } +} diff --git a/internal/netif/fdb_other.go b/internal/netif/fdb_other.go new file mode 100644 index 0000000..8c861ee --- /dev/null +++ b/internal/netif/fdb_other.go @@ -0,0 +1,16 @@ +//go:build !linux + +package netif + +import ( + "errors" + "net" +) + +func BridgeAddLocalMAC(_ string, _ net.HardwareAddr) error { + return errors.New("not supported on this platform") +} + +func BridgeHasLocalMAC(_ string, _ net.HardwareAddr) (bool, error) { + return false, errors.New("not supported on this platform") +} diff --git a/internal/netif/link.go b/internal/netif/link.go index 4e1a2b4..ff76352 100644 --- a/internal/netif/link.go +++ b/internal/netif/link.go @@ -2,6 +2,7 @@ package netif import ( "net" + "syscall" "github.com/vishvananda/netlink" ) @@ -13,3 +14,27 @@ func LinkIsUp(name string) (bool, error) { } return link.Attrs().Flags&net.FlagUp != 0, nil } + +func LinkMAC(name string) (net.HardwareAddr, error) { + link, err := netlink.LinkByName(name) + if err != nil { + return nil, err + } + return link.Attrs().HardwareAddr, nil +} + +func LinkIPv4(name string) ([]net.IP, error) { + link, err := netlink.LinkByName(name) + if err != nil { + return nil, err + } + addrs, err := netlink.AddrList(link, syscall.AF_INET) + if err != nil { + return nil, err + } + ips := make([]net.IP, 0, len(addrs)) + for _, a := range addrs { + ips = append(ips, a.IP) + } + return ips, nil +} diff --git a/internal/netif/mac.go b/internal/netif/mac.go index ba8300c..3b1ae23 100644 --- a/internal/netif/mac.go +++ b/internal/netif/mac.go @@ -8,8 +8,11 @@ import ( const ( locallyAdministered byte = 0x02 - RoleRouter byte = 0x02 - RoleHostGateway byte = 0x03 + RoleAnycastGateway byte = 0x01 + RoleRouter byte = 0x02 + RoleHostGateway byte = 0x03 + + MaxVNI = 1<<24 - 1 ) func HostMAC(role byte, vtep net.IP) (net.HardwareAddr, error) { @@ -19,3 +22,10 @@ func HostMAC(role byte, vtep net.IP) (net.HardwareAddr, error) { } return net.HardwareAddr{locallyAdministered, role, ip[0], ip[1], ip[2], ip[3]}, nil } + +func AnycastMAC(vni int) (net.HardwareAddr, error) { + if vni < 1 || vni > MaxVNI { + return nil, fmt.Errorf("vni %d out of range 1-%d", vni, MaxVNI) + } + return net.HardwareAddr{locallyAdministered, RoleAnycastGateway, 0x00, byte(vni >> 16), byte(vni >> 8), byte(vni)}, nil +} diff --git a/internal/netif/mac_test.go b/internal/netif/mac_test.go index 5230513..55f6350 100644 --- a/internal/netif/mac_test.go +++ b/internal/netif/mac_test.go @@ -58,3 +58,43 @@ func TestHostMACRejectsANonIPv4VTEP(t *testing.T) { } } } + +func TestAnycastMAC(t *testing.T) { + cases := map[int]string{ + 1: "02:01:00:00:00:01", + 2911: "02:01:00:00:0b:5f", + 70000: "02:01:00:01:11:70", + MaxVNI: "02:01:00:ff:ff:ff", + 0x123456: "02:01:00:12:34:56", + } + for vni, want := range cases { + got, err := AnycastMAC(vni) + if err != nil { + t.Fatalf("VNI %d : erreur inattendue %v", vni, err) + } + if got.String() != want { + t.Errorf("VNI %d : %s, %s attendu", vni, got, want) + } + if got[0]&0x02 == 0 || got[0]&0x01 != 0 { + t.Errorf("VNI %d : %s n'est pas une MAC unicast administrée localement", vni, got) + } + } +} + +func TestAnycastMACRefusesOutOfRangeVNI(t *testing.T) { + for _, vni := range []int{0, -1, MaxVNI + 1} { + if _, err := AnycastMAC(vni); err == nil { + t.Errorf("VNI %d : une erreur était attendue", vni) + } + } +} + +func TestAnycastMACDiffersFromHostMACs(t *testing.T) { + anycast, _ := AnycastMAC(2911) + for _, role := range []byte{RoleRouter, RoleHostGateway} { + host, _ := HostMAC(role, net.ParseIP("192.168.14.11")) + if host[1] == anycast[1] { + t.Errorf("rôle %#x : même octet de rôle que la MAC anycast (%s, %s)", role, host, anycast) + } + } +} diff --git a/internal/netif/macvlan.go b/internal/netif/macvlan.go new file mode 100644 index 0000000..3a22c8e --- /dev/null +++ b/internal/netif/macvlan.go @@ -0,0 +1,26 @@ +package netif + +import ( + "net" + + "github.com/vishvananda/netlink" +) + +func macvlanLink(name string, parentIndex int, mac net.HardwareAddr) *netlink.Macvlan { + return &netlink.Macvlan{ + LinkAttrs: netlink.LinkAttrs{ + Name: name, + ParentIndex: parentIndex, + HardwareAddr: mac, + }, + Mode: netlink.MACVLAN_MODE_BRIDGE, + } +} + +func CreateMacvlan(name, parent string, mac net.HardwareAddr) error { + link, err := netlink.LinkByName(parent) + if err != nil { + return err + } + return netlink.LinkAdd(macvlanLink(name, link.Attrs().Index, mac)) +} diff --git a/internal/netif/macvlan_test.go b/internal/netif/macvlan_test.go new file mode 100644 index 0000000..09f3294 --- /dev/null +++ b/internal/netif/macvlan_test.go @@ -0,0 +1,25 @@ +package netif + +import ( + "net" + "testing" + + "github.com/vishvananda/netlink" +) + +func TestMacvlanLink(t *testing.T) { + mac, _ := AnycastMAC(2911) + link := macvlanLink("gw-sn1", 7, mac) + if link.Name != "gw-sn1" || link.ParentIndex != 7 { + t.Errorf("nom ou parent inattendu : %s, %d", link.Name, link.ParentIndex) + } + if link.HardwareAddr.String() != "02:01:00:00:0b:5f" { + t.Errorf("MAC %s, 02:01:00:00:0b:5f attendue", link.HardwareAddr) + } + if link.Mode != netlink.MACVLAN_MODE_BRIDGE { + t.Errorf("mode %v, bridge attendu", link.Mode) + } + if link.Flags&net.FlagUp != 0 { + t.Error("le macvlan doit être créé éteint") + } +} diff --git a/internal/netif/route_linux.go b/internal/netif/route_linux.go index fc444d1..a7be050 100644 --- a/internal/netif/route_linux.go +++ b/internal/netif/route_linux.go @@ -9,6 +9,10 @@ import ( ) func RouteAdd(iface string, subnet *net.IPNet) error { + return RouteAddFrom(iface, subnet, nil) +} + +func RouteAddFrom(iface string, subnet *net.IPNet, src net.IP) error { link, err := netlink.LinkByName(iface) if err != nil { return err @@ -16,6 +20,7 @@ func RouteAdd(iface string, subnet *net.IPNet) error { return netlink.RouteAdd(&netlink.Route{ LinkIndex: link.Attrs().Index, Dst: subnet, + Src: src, Scope: netlink.SCOPE_LINK, }) } diff --git a/internal/netif/route_other.go b/internal/netif/route_other.go index dcfd025..d87bf82 100644 --- a/internal/netif/route_other.go +++ b/internal/netif/route_other.go @@ -11,6 +11,10 @@ func RouteAdd(_ string, _ *net.IPNet) error { return errors.New("not supported on this platform") } +func RouteAddFrom(_ string, _ *net.IPNet, _ net.IP) error { + return errors.New("not supported on this platform") +} + func TableRoutesVia(_ int, _ string) ([]*net.IPNet, error) { return nil, errors.New("route listing is only implemented on linux") } diff --git a/internal/subnet/addressing.go b/internal/subnet/addressing.go new file mode 100644 index 0000000..03fe64e --- /dev/null +++ b/internal/subnet/addressing.go @@ -0,0 +1,88 @@ +package subnet + +import ( + "fmt" + "net/netip" +) + +const MaxAnycastPrefix = 29 + +type Addresses struct { + Prefix netip.Prefix + Network netip.Addr + Broadcast netip.Addr + Gateway netip.Addr + Relay netip.Addr +} + +func ParsePrefix(cidr string) (netip.Prefix, error) { + prefix, err := netip.ParsePrefix(cidr) + if err != nil { + return netip.Prefix{}, fmt.Errorf("invalid cidr %q", cidr) + } + if !prefix.Addr().Is4() { + return netip.Prefix{}, fmt.Errorf("cidr %q is not ipv4", cidr) + } + if prefix.Masked() != prefix { + return netip.Prefix{}, fmt.Errorf("cidr %q has host bits set, expected %s", cidr, prefix.Masked()) + } + return prefix, nil +} + +func broadcastOf(prefix netip.Prefix) netip.Addr { + b := prefix.Addr().As4() + host := uint32(1)<<(32-prefix.Bits()) - 1 + v := uint32(b[0])<<24 | uint32(b[1])<<16 | uint32(b[2])<<8 | uint32(b[3]) | host + return netip.AddrFrom4([4]byte{byte(v >> 24), byte(v >> 16), byte(v >> 8), byte(v)}) +} + +func AnycastAddresses(cidr string) (Addresses, error) { + prefix, err := ParsePrefix(cidr) + if err != nil { + return Addresses{}, err + } + if prefix.Bits() > MaxAnycastPrefix { + return Addresses{}, fmt.Errorf("cidr %q is too small for a vxlan subnet, at most /%d", cidr, MaxAnycastPrefix) + } + broadcast := broadcastOf(prefix) + gateway := broadcast.Prev() + return Addresses{ + Prefix: prefix, + Network: prefix.Addr(), + Broadcast: broadcast, + Gateway: gateway, + Relay: gateway.Prev(), + }, nil +} + +func CheckHostAddress(cidr, ip string, reserved ...string) error { + prefix, err := netip.ParsePrefix(cidr) + if err != nil || !prefix.Addr().Is4() { + return fmt.Errorf("invalid ipv4 cidr %q", cidr) + } + prefix = prefix.Masked() + addr, err := netip.ParseAddr(ip) + if err != nil { + return fmt.Errorf("invalid ip %q", ip) + } + if !prefix.Contains(addr) { + return fmt.Errorf("ip %s is outside %s", addr, prefix) + } + if prefix.Bits() < 31 { + if addr == prefix.Addr() { + return fmt.Errorf("ip %s is the network address of %s", addr, prefix) + } + if addr == broadcastOf(prefix) { + return fmt.Errorf("ip %s is the broadcast address of %s", addr, prefix) + } + } + for _, r := range reserved { + if r == "" { + continue + } + if other, err := netip.ParseAddr(r); err == nil && other == addr { + return fmt.Errorf("ip %s is reserved by the subnet", addr) + } + } + return nil +} diff --git a/internal/subnet/addressing_test.go b/internal/subnet/addressing_test.go new file mode 100644 index 0000000..0762d78 --- /dev/null +++ b/internal/subnet/addressing_test.go @@ -0,0 +1,146 @@ +package subnet + +import ( + "strings" + "testing" +) + +func TestAnycastAddresses_Slash24(t *testing.T) { + a, err := AnycastAddresses("10.0.0.0/24") + if err != nil { + t.Fatalf("AnycastAddresses a échoué : %v", err) + } + for label, c := range map[string][2]string{ + "network": {"10.0.0.0", a.Network.String()}, + "broadcast": {"10.0.0.255", a.Broadcast.String()}, + "gateway": {"10.0.0.254", a.Gateway.String()}, + "relay": {"10.0.0.253", a.Relay.String()}, + } { + if c[0] != c[1] { + t.Errorf("%s attendu %s, obtenu %s", label, c[0], c[1]) + } + } + if a.Prefix.String() != "10.0.0.0/24" { + t.Errorf("prefix attendu 10.0.0.0/24, obtenu %s", a.Prefix) + } +} + +func TestAnycastAddresses_Slash16(t *testing.T) { + a, err := AnycastAddresses("172.16.0.0/16") + if err != nil { + t.Fatalf("AnycastAddresses a échoué : %v", err) + } + if a.Broadcast.String() != "172.16.255.255" { + t.Errorf("broadcast attendu 172.16.255.255, obtenu %s", a.Broadcast) + } + if a.Gateway.String() != "172.16.255.254" { + t.Errorf("gateway attendue 172.16.255.254, obtenu %s", a.Gateway) + } + if a.Relay.String() != "172.16.255.253" { + t.Errorf("relay attendu 172.16.255.253, obtenu %s", a.Relay) + } +} + +func TestAnycastAddresses_Slash29IsTheSmallestAccepted(t *testing.T) { + a, err := AnycastAddresses("192.168.1.8/29") + if err != nil { + t.Fatalf("un /29 doit être accepté : %v", err) + } + if a.Gateway.String() != "192.168.1.14" { + t.Errorf("gateway attendue 192.168.1.14, obtenu %s", a.Gateway) + } + if a.Relay.String() != "192.168.1.13" { + t.Errorf("relay attendu 192.168.1.13, obtenu %s", a.Relay) + } +} + +func TestAnycastAddresses_Refused(t *testing.T) { + cases := map[string]struct { + cidr string + want string + }{ + "/30 trop petit": {"10.0.0.0/30", "too small"}, + "bits d'hôte": {"10.0.0.1/24", "host bits"}, + "ipv6": {"fd00::/64", "not ipv4"}, + "cidr illisible": {"pas-un-cidr", "invalid cidr"}, + "adresse sans prefix": {"10.0.0.0", "invalid cidr"}, + } + for label, c := range cases { + _, err := AnycastAddresses(c.cidr) + if err == nil { + t.Errorf("%s : %q devrait être refusé", label, c.cidr) + continue + } + if !strings.Contains(err.Error(), c.want) { + t.Errorf("%s : erreur attendue contenant %q, obtenu %v", label, c.want, err) + } + } +} + +func TestCheckHostAddress_ValidHost(t *testing.T) { + if err := CheckHostAddress("10.0.0.0/24", "10.0.0.5", "10.0.0.254", "10.0.0.253"); err != nil { + t.Errorf("10.0.0.5 devrait être accepté : %v", err) + } +} + +func TestCheckHostAddress_Refused(t *testing.T) { + cases := map[string]struct { + ip string + want string + }{ + "hors cidr": {"10.0.1.5", "outside"}, + "adresse réseau": {"10.0.0.0", "network address"}, + "adresse broadcast": {"10.0.0.255", "broadcast address"}, + "passerelle réservée": {"10.0.0.254", "reserved"}, + "relais réservé": {"10.0.0.253", "reserved"}, + "ip illisible": {"10.0.0", "invalid ip"}, + "ipv6": {"fd00::5", "outside"}, + } + for label, c := range cases { + err := CheckHostAddress("10.0.0.0/24", c.ip, "10.0.0.254", "10.0.0.253") + if err == nil { + t.Errorf("%s : %s devrait être refusé", label, c.ip) + continue + } + if !strings.Contains(err.Error(), c.want) { + t.Errorf("%s : erreur attendue contenant %q, obtenu %v", label, c.want, err) + } + } +} + +func TestCheckHostAddress_EmptyReservedIgnored(t *testing.T) { + if err := CheckHostAddress("10.0.0.0/24", "10.0.0.5", "", ""); err != nil { + t.Errorf("des réservations vides ne doivent rien bloquer : %v", err) + } +} + +func TestCheckHostAddress_LenientCIDRWithHostBits(t *testing.T) { + if err := CheckHostAddress("10.0.0.1/24", "10.0.0.5"); err != nil { + t.Errorf("un cidr avec bits d'hôte doit être normalisé : %v", err) + } + if err := CheckHostAddress("10.0.0.1/24", "10.0.0.0"); err == nil { + t.Error("l'adresse réseau du cidr normalisé doit rester refusée") + } +} + +func TestCheckHostAddress_Slash31And32HaveNoNetworkOrBroadcast(t *testing.T) { + for _, ip := range []string{"10.0.0.0", "10.0.0.1"} { + if err := CheckHostAddress("10.0.0.0/31", ip); err != nil { + t.Errorf("/31 : %s devrait être accepté : %v", ip, err) + } + } + if err := CheckHostAddress("10.0.0.7/32", "10.0.0.7"); err != nil { + t.Errorf("/32 : 10.0.0.7 devrait être accepté : %v", err) + } + if err := CheckHostAddress("10.0.0.7/32", "10.0.0.8"); err == nil { + t.Error("/32 : 10.0.0.8 est hors du cidr et devrait être refusé") + } +} + +func TestCheckHostAddress_InvalidCIDR(t *testing.T) { + for _, cidr := range []string{"", "pas-un-cidr", "fd00::/64"} { + if err := CheckHostAddress(cidr, "10.0.0.5"); err == nil { + t.Errorf("cidr %q devrait être refusé", cidr) + } + } +} diff --git a/internal/subnet/anycast.go b/internal/subnet/anycast.go new file mode 100644 index 0000000..cf62889 --- /dev/null +++ b/internal/subnet/anycast.go @@ -0,0 +1,94 @@ +package subnet + +import ( + "errors" + "fmt" + "net" + + "git.g3e.fr/syonad/two/internal/ebtables" + "git.g3e.fr/syonad/two/internal/netif" + "git.g3e.fr/syonad/two/internal/netns" + "git.g3e.fr/syonad/two/internal/sysctl" +) + +func (d subnetData) anycast() bool { return d.mode == ModeVxlan && d.relayIP != nil } + +func (d subnetData) gatewayLink() string { return "gw-" + d.subnetID } + +func arpSysctls(iface string) [][2]string { + return [][2]string{ + {"net.ipv4.conf." + iface + ".arp_ignore", "1"}, + {"net.ipv4.conf." + iface + ".arp_announce", "2"}, + } +} + +func setupAnycastGateway(d subnetData, vethI string) error { + mac, err := netif.AnycastMAC(d.vxlanID) + if err != nil { + return err + } + gw := d.gatewayLink() + steps := []struct { + name string + fn func() error + }{ + {"confine " + mac.String(), func() error { return ebtables.ConfineMAC(vethI, mac.String()) }}, + {"arp sysctls on " + d.bridge, func() error { return setSysctls(arpSysctls(d.bridge)) }}, + {"relay address on " + d.bridge, func() error { return netif.AddrAdd(d.bridge, d.relayIP) }}, + {"create " + gw, func() error { return netif.CreateMacvlan(gw, d.bridge, mac) }}, + {"local fdb entry " + mac.String(), func() error { return netif.BridgeAddLocalMAC(d.bridge, mac) }}, + {"arp sysctls on " + gw, func() error { return setSysctls(arpSysctls(gw)) }}, + {"gateway address on " + gw, func() error { return netif.AddrAdd(gw, d.interfaceIP) }}, + {"route " + d.cidr.String(), func() error { return netif.RouteAddFrom(d.bridge, d.cidr, d.interfaceIP) }}, + {"set up " + gw, func() error { return netif.LinkSetUp(gw) }}, + {"drop arp to gateway", func() error { return ebtables.DropARPToGateway(vethI, d.interfaceIP.String()) }}, + {"drop arp to relay", func() error { return ebtables.DropARPToGateway(vethI, d.relayIP.String()) }}, + {"drop dhcp from gateway", func() error { return ebtables.DropDHCP(vethI, d.interfaceIP.String()) }}, + {"drop dhcp from relay", func() error { return ebtables.DropDHCP(vethI, d.relayIP.String()) }}, + } + return netns.Call(d.vpc, func() error { + for _, step := range steps { + if err := step.fn(); err != nil { + return fmt.Errorf("%s: %w", step.name, err) + } + } + return nil + }) +} + +func deleteAnycastGateway(d subnetData, vethI string) error { + mac, err := netif.AnycastMAC(d.vxlanID) + if err != nil { + return err + } + return netns.Call(d.vpc, func() error { + var errs []error + for _, ip := range []net.IP{d.interfaceIP, d.relayIP} { + if err := ebtables.DeleteARPToGateway(vethI, ip.String()); err != nil { + errs = append(errs, fmt.Errorf("delete ebtables arp rule %s: %w", ip, err)) + } + if err := ebtables.DeleteDHCP(vethI, ip.String()); err != nil { + errs = append(errs, fmt.Errorf("delete ebtables dhcp rule %s: %w", ip, err)) + } + } + if err := ebtables.DeleteConfineMAC(vethI, mac.String()); err != nil { + errs = append(errs, err) + } + if err := netif.DeleteLink(d.gatewayLink()); err != nil { + errs = append(errs, fmt.Errorf("delete %s: %w", d.gatewayLink(), err)) + } + if err := netif.DeleteLink(d.bridge); err != nil { + errs = append(errs, fmt.Errorf("delete bridge: %w", err)) + } + return errors.Join(errs...) + }) +} + +func setSysctls(values [][2]string) error { + for _, kv := range values { + if err := sysctl.Set(kv[0], kv[1]); err != nil { + return err + } + } + return nil +} diff --git a/internal/subnet/anycast_test.go b/internal/subnet/anycast_test.go new file mode 100644 index 0000000..63d6ebc --- /dev/null +++ b/internal/subnet/anycast_test.go @@ -0,0 +1,51 @@ +package subnet + +import ( + "net" + "testing" +) + +func TestAnycastOnlyForVxlanWithRelay(t *testing.T) { + relay := net.ParseIP("10.0.0.253") + cases := []struct { + label string + d subnetData + want bool + }{ + {"vxlan avec relay_ip", subnetData{mode: ModeVxlan, relayIP: relay}, true}, + {"vxlan existant sans relay_ip", subnetData{mode: ModeVxlan}, false}, + {"bridge", subnetData{mode: ModeBridge, relayIP: relay}, false}, + {"public_ip", subnetData{mode: ModePublicIP, relayIP: relay}, false}, + } + for _, c := range cases { + if got := c.d.anycast(); got != c.want { + t.Errorf("%s : %v, %v attendu", c.label, got, c.want) + } + } +} + +func TestGatewayLinkFitsInterfaceNameLimit(t *testing.T) { + d := subnetData{subnetID: "s9r1", bridge: "br-s9r1"} + if d.gatewayLink() != "gw-s9r1" { + t.Errorf("%s, gw-s9r1 attendu", d.gatewayLink()) + } + if len(d.gatewayLink()) != len(d.bridge) { + t.Errorf("%s et %s doivent avoir la même longueur", d.gatewayLink(), d.bridge) + } +} + +func TestArpSysctls(t *testing.T) { + want := [][2]string{ + {"net.ipv4.conf.br-s9r1.arp_ignore", "1"}, + {"net.ipv4.conf.br-s9r1.arp_announce", "2"}, + } + got := arpSysctls("br-s9r1") + if len(got) != len(want) { + t.Fatalf("%d sysctls, %d attendus", len(got), len(want)) + } + for i := range want { + if got[i] != want[i] { + t.Errorf("sysctl %d : %v, %v attendu", i, got[i], want[i]) + } + } +} diff --git a/internal/subnet/create.go b/internal/subnet/create.go index 12d345e..8de1169 100644 --- a/internal/subnet/create.go +++ b/internal/subnet/create.go @@ -105,8 +105,12 @@ func createSubnet(db *badger.DB, subnetName string, d subnetData, backend dhcpba return fmt.Errorf("set up interfaces in netns: %w", err) } - switch d.mode { - case "vxlan": + switch { + case d.anycast(): + if err := setupAnycastGateway(d, vethI); err != nil { + return fmt.Errorf("configure netns: %w", err) + } + case d.mode == ModeVxlan: if err := netns.Call(d.vpc, func() error { if err := netif.AddrAdd(d.bridge, d.interfaceIP); err != nil { return fmt.Errorf("add addr: %w", err) @@ -121,7 +125,7 @@ func createSubnet(db *badger.DB, subnetName string, d subnetData, backend dhcpba }); err != nil { return fmt.Errorf("configure netns: %w", err) } - case "bridge": + case d.mode == ModeBridge: if err := netns.Call(d.vpc, func() error { if err := netif.AddrAdd(d.bridge, d.interfaceIP); err != nil { return fmt.Errorf("add addr: %w", err) @@ -171,10 +175,15 @@ func startDHCP(db *badger.DB, subnetName string, d subnetData, backend dhcpbacke return fmt.Errorf("store dhcp entries: %w", err) } + listen := "" + if d.anycast() { + listen = d.gatewayLink() + } return backend.ConfigureSubnet(dhcpbackend.Subnet{ Name: subnetName, VPC: d.vpc, Bridge: d.bridge, + Listen: listen, Network: d.cidr, InterfaceIP: d.interfaceIP, VPCRoute: vpcRoute, diff --git a/internal/subnet/data.go b/internal/subnet/data.go index 6f2d302..43a5cf0 100644 --- a/internal/subnet/data.go +++ b/internal/subnet/data.go @@ -18,6 +18,7 @@ type subnetData struct { vxlanID int localIface string interfaceIP net.IP + relayIP net.IP cidr *net.IPNet vpcCIDR *net.IPNet defaultRoute bool @@ -70,6 +71,14 @@ func loadSubnet(db *badger.DB, name string) (subnetData, error) { } d.interfaceIP = interfaceIP + if relayStr, err := kv.GetFromDB(db, "subnet/"+name+"/relay_ip"); err == nil && relayStr != "" { + relayIP := net.ParseIP(relayStr) + if relayIP == nil { + return d, fmt.Errorf("invalid relay_ip: %s", relayStr) + } + d.relayIP = relayIP + } + cidrStr, err := kv.GetFromDB(db, "subnet/"+name+"/cidr") if err != nil { return d, fmt.Errorf("get cidr: %w", err) diff --git a/internal/subnet/delete.go b/internal/subnet/delete.go index 8ee4d78..f528eb5 100644 --- a/internal/subnet/delete.go +++ b/internal/subnet/delete.go @@ -79,7 +79,11 @@ func deleteSubnetVxlan(d subnetData) error { vxlanIface := fmt.Sprintf("vxlan-%d", d.vxlanID) vethI := "v-" + d.subnetID + "-i" - if err := netns.Call(d.vpc, func() error { + if d.anycast() { + if err := deleteAnycastGateway(d, vethI); err != nil { + return fmt.Errorf("delete netns resources: %w", err) + } + } else if err := netns.Call(d.vpc, func() error { if err := ebtables.DeleteARPToGateway(vethI, d.interfaceIP.String()); err != nil { return fmt.Errorf("delete ebtables arp rule: %w", err) } diff --git a/internal/watchdog/check_anycast.go b/internal/watchdog/check_anycast.go new file mode 100644 index 0000000..1129d52 --- /dev/null +++ b/internal/watchdog/check_anycast.go @@ -0,0 +1,128 @@ +package watchdog + +import ( + "fmt" + "net" + "strconv" + "strings" + + "git.g3e.fr/syonad/two/internal/netif" + "git.g3e.fr/syonad/two/internal/netns" + "git.g3e.fr/syonad/two/internal/watchdog/notify" + "git.g3e.fr/syonad/two/pkg/db/kv" + + "github.com/dgraph-io/badger/v4" +) + +type gatewayState struct { + MAC string + LocalFDB bool + GatewayAddrs []string + BridgeAddrs []string +} + +func hasAddr(addrs []string, ip string) bool { + for _, a := range addrs { + if a == ip { + return true + } + } + return false +} + +func gatewayProblems(gw, bridge string, got gatewayState, wantMAC, gatewayIP, relayIP string) []string { + var problems []string + if got.MAC != wantMAC { + problems = append(problems, fmt.Sprintf("interface %s has mac %q, expected anycast %s", gw, got.MAC, wantMAC)) + } + if !got.LocalFDB { + problems = append(problems, fmt.Sprintf("bridge %s has no local fdb entry for %s, frames to the gateway are flooded", bridge, wantMAC)) + } + if !hasAddr(got.GatewayAddrs, gatewayIP) { + problems = append(problems, fmt.Sprintf("interface %s lacks the gateway address %s", gw, gatewayIP)) + } + if !hasAddr(got.BridgeAddrs, relayIP) { + problems = append(problems, fmt.Sprintf("interface %s lacks the relay address %s", bridge, relayIP)) + } + if hasAddr(got.BridgeAddrs, gatewayIP) { + problems = append(problems, fmt.Sprintf("interface %s carries the gateway address %s, guests would bypass the anycast mac", bridge, gatewayIP)) + } + return problems +} + +func readGatewayState(gw, bridge string, anycast net.HardwareAddr) (gatewayState, error) { + var st gatewayState + mac, err := netif.LinkMAC(gw) + if err != nil { + return st, err + } + st.MAC = mac.String() + if st.LocalFDB, err = netif.BridgeHasLocalMAC(bridge, anycast); err != nil { + return st, err + } + for _, side := range []struct { + iface string + dst *[]string + }{{gw, &st.GatewayAddrs}, {bridge, &st.BridgeAddrs}} { + ips, err := netif.LinkIPv4(side.iface) + if err != nil { + return st, err + } + *side.dst = ipStrings(ips) + } + return st, nil +} + +func ipStrings(ips []net.IP) []string { + out := make([]string, 0, len(ips)) + for _, ip := range ips { + out = append(out, ip.String()) + } + return out +} + +func checkAnycastGateway(db *badger.DB, name, vpc, bridge string, n notify.Notifier) { + relayIP, err := kv.GetFromDB(db, prefixSubnet+name+"/relay_ip") + if err != nil || relayIP == "" { + return + } + gatewayIP, err := kv.GetFromDB(db, prefixSubnet+name+"/interface_ip") + if err != nil { + n.Notify(kindSubnet, name, fmt.Sprintf("interface_ip unreadable in database: %v", err)) + return + } + raw, err := kv.GetFromDB(db, prefixSubnet+name+"/vxlan_id") + if err != nil { + return + } + vni, err := strconv.Atoi(raw) + if err != nil { + return + } + wantMAC, err := netif.AnycastMAC(vni) + if err != nil { + n.Notify(kindSubnet, name, err.Error()) + return + } + if !netns.Exist(vpc) { + return + } + gw := "gw-" + strings.TrimPrefix(bridge, "br-") + if err := netns.Call(vpc, func() error { + if p := linkProblem(gw); p != "" { + n.Notify(kindSubnet, name, p+" (in netns "+vpc+")") + return nil + } + st, err := readGatewayState(gw, bridge, wantMAC) + if err != nil { + n.Notify(kindSubnet, name, fmt.Sprintf("anycast gateway unreadable in netns %s: %v", vpc, err)) + return nil + } + for _, p := range gatewayProblems(gw, bridge, st, wantMAC.String(), gatewayIP, relayIP) { + n.Notify(kindSubnet, name, p+" (in netns "+vpc+")") + } + return nil + }); err != nil { + n.Notify(kindSubnet, name, fmt.Sprintf("cannot enter netns %s: %v", vpc, err)) + } +} diff --git a/internal/watchdog/check_anycast_test.go b/internal/watchdog/check_anycast_test.go new file mode 100644 index 0000000..3cc367e --- /dev/null +++ b/internal/watchdog/check_anycast_test.go @@ -0,0 +1,64 @@ +package watchdog + +import ( + "strings" + "testing" +) + +func TestGatewayProblems_Healthy(t *testing.T) { + st := gatewayState{ + MAC: "02:01:00:00:0b:5f", + LocalFDB: true, + GatewayAddrs: []string{"10.0.0.254"}, + BridgeAddrs: []string{"10.0.0.253"}, + } + if p := gatewayProblems("gw-x", "br-x", st, "02:01:00:00:0b:5f", "10.0.0.254", "10.0.0.253"); len(p) != 0 { + t.Errorf("aucun problème attendu, obtenu %v", p) + } +} + +func TestGatewayProblems_EachDefectIsReported(t *testing.T) { + healthy := func() gatewayState { + return gatewayState{ + MAC: "02:01:00:00:0b:5f", + LocalFDB: true, + GatewayAddrs: []string{"10.0.0.254"}, + BridgeAddrs: []string{"10.0.0.253"}, + } + } + cases := []struct { + label string + mutate func(*gatewayState) + want string + }{ + {"MAC du macvlan changée", func(s *gatewayState) { s.MAC = "02:03:c0:a8:0e:0b" }, "expected anycast 02:01:00:00:0b:5f"}, + {"entrée FDB locale absente du bridge", func(s *gatewayState) { s.LocalFDB = false }, "no local fdb entry for 02:01:00:00:0b:5f"}, + {"gateway absente du macvlan", func(s *gatewayState) { s.GatewayAddrs = nil }, "lacks the gateway address 10.0.0.254"}, + {"adresse d'émission absente du bridge", func(s *gatewayState) { s.BridgeAddrs = nil }, "lacks the relay address 10.0.0.253"}, + {"gateway posée sur le bridge", func(s *gatewayState) { s.BridgeAddrs = append(s.BridgeAddrs, "10.0.0.254") }, "bypass the anycast mac"}, + } + for _, c := range cases { + st := healthy() + c.mutate(&st) + p := gatewayProblems("gw-x", "br-x", st, "02:01:00:00:0b:5f", "10.0.0.254", "10.0.0.253") + if len(p) != 1 || !strings.Contains(p[0], c.want) { + t.Errorf("%s : un problème contenant %q attendu, obtenu %v", c.label, c.want, p) + } + } +} + +func TestCheckSubnets_LegacyVxlanHasNoAnycastCheck(t *testing.T) { + db := newTestDB(t) + seedSubnet(t, db, "br-000042", "vp-admin", modeVxlan) + seedKV(t, db, prefixSubnet+"br-000042/vxlan_id", "42") + r := &recorder{} + + if err := CheckSubnets(db, dnsmasqConfig(), newFakeUnits(), r); err != nil { + t.Fatalf("erreur inattendue: %v", err) + } + for _, c := range r.calls { + if strings.Contains(c.problem, "gw-") || strings.Contains(c.problem, "anycast") { + t.Errorf("un subnet sans relay_ip ne doit rien signaler sur la gateway anycast : %q", c.problem) + } + } +} diff --git a/internal/watchdog/check_subnet.go b/internal/watchdog/check_subnet.go index 99dac17..e0d81dc 100644 --- a/internal/watchdog/check_subnet.go +++ b/internal/watchdog/check_subnet.go @@ -89,6 +89,9 @@ func checkSubnet(db *badger.DB, name string, backend dhcpbackend.Backend, u unit } checkSubnetNetns(name, vpc, nsVeth, bridge, n) + if mode == modeVxlan { + checkAnycastGateway(db, name, vpc, bridge, n) + } checkDHCP(db, name, dhcpbackend.Subnet{Name: name, VPC: vpc, Bridge: bridge}, backend, u, n) } diff --git a/release_notes/0.2.0.md b/release_notes/0.2.0.md index 950937e..5b532bc 100644 --- a/release_notes/0.2.0.md +++ b/release_notes/0.2.0.md @@ -58,12 +58,25 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet - Le démarrage échoue si la section est incomplète, si FRR tourne déjà sous un autre AS ou si `vtysh` ne répond pas -**Gateway des subnets `vxlan`** +**Gateway anycast des subnets `vxlan` (#57)** -- Le bridge du subnet porte une **MAC propre à l'hôte**, `02:03:`, posée à la - création du subnet. Une MAC identique sur tous les hôtes (anycast) a été essayée puis retirée : - annoncée en double en EVPN, elle empêchait aussi une gateway de joindre en L2 une VM d'un autre - hôte (#57) +- La gateway et l'adresse d'émission sont **calculées** par l'agent : avant-dernière adresse du + `cidr` (`.254` en `/24`) pour la gateway, exposée comme `interface_ip`, et celle d'avant + (`.253`) pour l'adresse d'émission, exposée comme nouveau champ `relay_ip`. Le `cidr` doit + être sans bits d'hôte et faire au plus `/29` +- La gateway est portée par un macvlan `gw-` à **MAC anycast** `02:01:00:`, + identique sur tous les hôtes qui portent le subnet : une VM résout toujours sa gateway vers son + hôte. Le bridge garde une MAC propre à l'hôte, `02:03:`, et porte l'adresse + d'émission, d'où partent les requêtes ARP du netns +- Une VM qui reçoit la requête ARP d'un autre hôte ne change plus de gateway : jusqu'ici, elle + envoyait pendant quelques secondes son trafic à cet hôte, coupant métadonnées, renouvellement + DHCP et sessions depuis le netns. Mesuré en lab : aucune perte pendant cette fenêtre +- La MAC anycast est confinée au netns — règles ebtables sur le veth du subnet et entrée FDB + locale dans le bridge — et n'apparaît jamais en EVPN. Le DHCP écoute sur `gw-` ; la + route du subnet a la gateway pour source +- Une VM ne peut prendre ni la gateway, ni l'adresse d'émission, ni la `gateway` explicite, ni + l'adresse de réseau ou de broadcast du subnet, ni une adresse hors de son `cidr` (422) +- Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l'entrée FDB **Exploitation** @@ -109,9 +122,8 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent : -- **L3VNI** : pas de migration à chaud ; le cache ARP d'une VM qui changerait d'hôte reste à - traiter (#57). MTU 1500 de bout en bout (#56). Un seul route reflector qualifié (#54). Le - transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont +- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. MTU + 1500 de bout en bout (#56). Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont rejetés comme « martiens » (traceroute partiel) - Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas : au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52) @@ -136,10 +148,16 @@ curl -O https://git.g3e.fr/syonad/two/raw/branch/main/scripts/deploy.sh bash ./deploy.sh -t 0.2.0 ``` -Aucune action n'est requise : sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le -comportement est celui de la 0.1.0, à une exception près — **un subnet encore utilisé par une VM -ne se supprime plus** : supprimer les VM d'abord. Les subnets `vxlan` existants gardent leur MAC -de gateway jusqu'à leur recréation. +Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à +deux exceptions près, qui touchent les appelants de l'API : + +- **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le + calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières + adresses utilisables du subnet. Il reste obligatoire en `bridge` et `public_ip` +- **un subnet encore utilisé par une VM ne se supprime plus** : supprimer les VM d'abord + +Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le +bridge) jusqu'à leur recréation. Pour router entre hyperviseurs : ajouter la section `bgp`, réduire `frr.conf` à `hostname` et `log` (l'agent pose le reste), puis créer les VPC avec `l3vni`. Pour passer au serveur intégré, suivre la procédure de bascule dans la diff --git a/test/e2e/lib/node.sh b/test/e2e/lib/node.sh index b424c98..7146134 100644 --- a/test/e2e/lib/node.sh +++ b/test/e2e/lib/node.sh @@ -54,12 +54,16 @@ vpc_create () { } subnet_create () { - local name="${1}" vpc="${2}" vni="${3}" gw="${4}" cidr="${5}" extra="${6:-}" + local name="${1}" vpc="${2}" vni="${3}" cidr="${4}" extra="${5:-}" api_state "subnets/${name}" | grep -qx running && return 0 - api_post subnets "{\"name\":\"${name}\",\"vpc\":\"${vpc}\",\"mode\":\"vxlan\",\"vxlan_id\":${vni},\"iface_type\":\"vms\",\"interface_ip\":\"${gw}\",\"cidr\":\"${cidr}\"${extra}}" \ + api_post subnets "{\"name\":\"${name}\",\"vpc\":\"${vpc}\",\"mode\":\"vxlan\",\"vxlan_id\":${vni},\"iface_type\":\"vms\",\"cidr\":\"${cidr}\"${extra}}" \ && wait_state "subnets/${name}" running } +anycast_mac () { + printf '02:01:00:%02x:%02x:%02x\n' $(( ${1} >> 16 & 255 )) $(( ${1} >> 8 & 255 )) $(( ${1} & 255 )) +} + two_image () { [ -f "${TWO_IMAGE}" ] && return 0 local work diff --git a/test/e2e/run_test.sh b/test/e2e/run_test.sh index 9be98b1..7fe6938 100755 --- a/test/e2e/run_test.sh +++ b/test/e2e/run_test.sh @@ -193,6 +193,23 @@ test_vpc_create_sends_the_l3vni_only_when_given () { teardown } +test_subnet_create_lets_the_agent_compute_the_gateway () { + setup "subnet_create : vxlan sans interface_ip, champs supplémentaires ajoutés" + local stub='api_state () { echo; }; wait_state () { :; }; api_post () { echo "$1 $2"; }; ' + [[ $(node "${stub}subnet_create sn-s1a vp-s1 2101 10.210.1.0/24") == 'subnets {"name":"sn-s1a","vpc":"vp-s1","mode":"vxlan","vxlan_id":2101,"iface_type":"vms","cidr":"10.210.1.0/24"}' ]] \ + || fail "sans extra : $(node "${stub}subnet_create sn-s1a vp-s1 2101 10.210.1.0/24")" + [[ $(node "${stub}subnet_create sn-s2b vp-s2 2202 10.220.2.0/24 ',\"default_route\":true'") == 'subnets {"name":"sn-s2b","vpc":"vp-s2","mode":"vxlan","vxlan_id":2202,"iface_type":"vms","cidr":"10.220.2.0/24","default_route":true}' ]] \ + || fail "avec extra : $(node "${stub}subnet_create sn-s2b vp-s2 2202 10.220.2.0/24 ',\"default_route\":true'")" + teardown +} + +test_anycast_mac_encodes_the_vni_on_24_bits () { + setup "anycast_mac : 02:01:00 suivi de la VNI sur 24 bits" + [[ $(node 'anycast_mac 2911') == 02:01:00:00:0b:5f ]] || fail "2911 : $(node 'anycast_mac 2911')" + [[ $(node 'anycast_mac 16777215') == 02:01:00:ff:ff:ff ]] || fail "VNI max : $(node 'anycast_mac 16777215')" + teardown +} + test_api_code_returns_the_http_status () { setup "api_code : méthode, chemin et code HTTP" [[ $(node 'curl () { echo "$*" >&2; echo 409; }; api_code DELETE subnets/sn-a 2>/dev/null') == 409 ]] || fail "code" diff --git a/test/e2e/scenarios/s1-dhcp-two.sh b/test/e2e/scenarios/s1-dhcp-two.sh index bbf727c..ad92b4f 100644 --- a/test/e2e/scenarios/s1-dhcp-two.sh +++ b/test/e2e/scenarios/s1-dhcp-two.sh @@ -2,8 +2,8 @@ on hv1 <<'NODE' two_image || { echo "ÉCHOUÉ: image compatible two"; exit 0; } KEY=$(vm_key) check "VPC vp-s1" vpc_create vp-s1 10.210.0.0/16 -check "subnet sn-s1a" subnet_create sn-s1a vp-s1 2101 10.210.1.1 10.210.1.0/24 -check "subnet sn-s1b" subnet_create sn-s1b vp-s1 2102 10.210.2.1 10.210.2.0/24 +check "subnet sn-s1a" subnet_create sn-s1a vp-s1 2101 10.210.1.0/24 +check "subnet sn-s1b" subnet_create sn-s1b vp-s1 2102 10.210.2.0/24 check "backend two : socket de contrôle de sn-s1a" test -S /run/two/dhcp/vp-s1_br-s1a.sock check "backend two : socket de contrôle de sn-s1b" test -S /run/two/dhcp/vp-s1_br-s1b.sock check "VM s1-a1, démarrée seule" vm_create s1-a1 sn-s1a 10.210.1.10 "${KEY}" @@ -16,7 +16,7 @@ wait "${A}"; RA=$? wait "${B}"; RB=$? check "VM s1-a2, démarrée en même temps que s1-b2" test "${RA}" -eq 0 check "VM s1-b2, démarrée en même temps que s1-a2" test "${RB}" -eq 0 -for vm in 10.210.1.10:10.210.1.1 10.210.1.11:10.210.1.1 10.210.2.10:10.210.2.1 10.210.2.11:10.210.2.1; do +for vm in 10.210.1.10:10.210.1.254 10.210.1.11:10.210.1.254 10.210.2.10:10.210.2.254 10.210.2.11:10.210.2.254; do ip=${vm%%:*}; gw=${vm#*:} check "${ip} joignable" vm_wait vp-s1 "${ip}" check "${ip} : adresse de son propre subnet" has_addr vp-s1 "${ip}" diff --git a/test/e2e/scenarios/s11-fenetre-arp.sh b/test/e2e/scenarios/s11-fenetre-arp.sh new file mode 100644 index 0000000..b9304d0 --- /dev/null +++ b/test/e2e/scenarios/s11-fenetre-arp.sh @@ -0,0 +1,53 @@ +for host in hv1 hv2; do +on "${host}" "HOST=${host}" <<'NODE' +two_image || { echo "ÉCHOUÉ: image compatible two (${HOST})"; exit 0; } +KEY=$(vm_key) +case "${HOST}" in hv1) n=1 ;; hv2) n=2 ;; esac +check "${HOST} : VPC vp-s11, sans l3vni" vpc_create vp-s11 10.252.0.0/16 +check "${HOST} : subnet sn-s11a (VNI 3111)" subnet_create sn-s11a vp-s11 3111 10.252.1.0/24 +check "${HOST} : subnet sn-s11b (VNI 3112)" subnet_create sn-s11b vp-s11 3112 10.252.2.0/24 +check "${HOST} : VM s11-a${n} 10.252.1.1${n}" vm_create "s11-a${n}" sn-s11a "10.252.1.1${n}" "${KEY}" +check "${HOST} : VM s11-b${n} 10.252.2.1${n}" vm_create "s11-b${n}" sn-s11b "10.252.2.1${n}" "${KEY}" +check "${HOST} : s11-a${n} joignable" vm_wait vp-s11 "10.252.1.1${n}" +check "${HOST} : s11-b${n} joignable" vm_wait vp-s11 "10.252.2.1${n}" +check "${HOST} : MAC anycast inscrite dans la FDB du bridge de sn-s11a" sh -c 'ip netns exec vp-s11 bridge fdb show br br-s11a | grep -qi "^$1 dev br-s11a master br-s11a permanent"' _ "$(anycast_mac 3111)" +check "${HOST} : le netns émet vers sn-s11a depuis la gateway 10.252.1.254" sh -c "ip -n vp-s11 -4 route get 10.252.1.1${n} | grep -q 'src 10.252.1.254 '" +NODE +done + +on hv2 <<'NODE' +check "prérequis : s11-a2 résout sa gateway vers la MAC anycast" vm_grep vp-s11 10.252.1.12 'ping -n -c 1 -W 2 10.252.1.254 >/dev/null; ip neigh show 10.252.1.254' "lladdr $(anycast_mac 3111) " +rm -f /tmp/s11.log +nohup ip netns exec vp-s11 bash -c 'for i in $(seq 1 80); do if timeout 1 bash -c "/dev/null; then echo "$(date +%T.%N) ok"; else echo "$(date +%T.%N) KO"; fi; sleep 0.5; done' > /tmp/s11.log 2>&1 & +sleep 3 +NODE + +on hv1 <<'NODE' +check "hv1 : entrées ARP du netns retirées sur sn-s11a" ip -n vp-s11 neigh flush dev br-s11a +check "s11-b1 (hv1) joint s11-a2 (hv2), autre subnet : relais L2 depuis l'adresse d'émission de hv1" vm_ssh vp-s11 10.252.2.11 'ping -n -c 3 -W 2 10.252.1.12' +NODE + +on hv2 <<'NODE' +MAC=$(anycast_mac 3111) +check "fenêtre ouverte : s11-a2 associe l'adresse d'émission 10.252.1.253 à la MAC de hv1" vm_grep vp-s11 10.252.1.12 'ip neigh show 10.252.1.253' 'lladdr 02:03:c0:a8:0e:0b ' +check "pendant la fenêtre : la gateway de s11-a2 reste la MAC anycast ${MAC}" vm_grep vp-s11 10.252.1.12 'ip neigh show 10.252.1.254' "lladdr ${MAC} " +check "pendant la fenêtre : métadonnées servies à s11-a2" vm_grep vp-s11 10.252.1.12 "python3 -c \"import urllib.request; print(urllib.request.urlopen('http://169.254.169.254/meta-data', timeout=5).read().decode())\"" 'instance-id: s11-a2' +BEFORE=$(vm_ssh vp-s11 10.252.1.12 'stat -c %Y /run/systemd/netif/leases/*') +sleep 2 +check "pendant la fenêtre : renouvellement DHCP demandé" vm_ssh vp-s11 10.252.1.12 'sudo networkctl renew ens3' +renewed () { + local i + for i in $(seq 1 15); do + [ "$(vm_ssh vp-s11 10.252.1.12 'stat -c %Y /run/systemd/netif/leases/*')" != "${BEFORE}" ] && return 0 + sleep 1 + done + echo "bail non réécrit" >&2 + return 1 +} +check "pendant la fenêtre : bail renouvelé" renewed +check "bail tenu par la gateway 10.252.1.254" vm_grep vp-s11 10.252.1.12 'cat /run/systemd/netif/leases/*' 'SERVER_ADDRESS=10.252.1.254' +check "s11-a2 garde son adresse après le renouvellement" has_addr vp-s11 10.252.1.12 +for i in $(seq 1 60); do [ "$(wc -l < /tmp/s11.log)" -ge 80 ] && break; sleep 1; done +info "connexions TCP du netns de hv2 vers s11-a2:22 : $(grep -c ' ok$' /tmp/s11.log) réussies, $(grep -c ' KO$' /tmp/s11.log) perdues ; $(grep ' KO$' /tmp/s11.log | head -3 | tr '\n' ' ')" +check "aucune connexion TCP du netns de hv2 vers sa VM perdue pendant la fenêtre (80/80)" test "$(grep -c ' ok$' /tmp/s11.log)" -eq 80 +NODE diff --git a/test/e2e/scenarios/s2-gateway.sh b/test/e2e/scenarios/s2-gateway.sh index 4785731..dbd1b86 100644 --- a/test/e2e/scenarios/s2-gateway.sh +++ b/test/e2e/scenarios/s2-gateway.sh @@ -2,25 +2,35 @@ on hv1 <<'NODE' two_image || { echo "ÉCHOUÉ: image compatible two"; exit 0; } KEY=$(vm_key) check "VPC vp-s2" vpc_create vp-s2 10.220.0.0/16 -check "subnet sn-s2a, default_route absent" subnet_create sn-s2a vp-s2 2201 10.220.1.1 10.220.1.0/24 -check "subnet sn-s2b, default_route et gateway 10.220.2.254" subnet_create sn-s2b vp-s2 2202 10.220.2.1 10.220.2.0/24 ',"default_route":true,"gateway":"10.220.2.254"' +check "subnet sn-s2a, default_route absent" subnet_create sn-s2a vp-s2 2201 10.220.1.0/24 +check "subnet sn-s2b, default_route et gateway 10.220.2.1" subnet_create sn-s2b vp-s2 2202 10.220.2.0/24 ',"default_route":true,"gateway":"10.220.2.1"' +check "sn-s2a : gateway calculée 10.220.1.254 et adresse d'émission 10.220.1.253" sh -c "curl -fsS ${API}/subnets/sn-s2a | jq -e '.interface_ip == \"10.220.1.254\" and .relay_ip == \"10.220.1.253\"'" +vm_refused () { + curl -s -X POST -H 'Content-Type: application/json' "${API}/vms" \ + -d "{\"name\":\"s2-x\",\"memory\":512,\"cpus\":1,\"interfaces\":[{\"subnet\":\"sn-s2a\",\"ip\":\"${1}\",\"primary\":true}],\"storage\":[{\"path\":\"/nonexistent\",\"dev\":\"vda\"}]}" | + grep -q 'reserved by the subnet' +} +check "VM refusée sur la gateway calculée" vm_refused 10.220.1.254 +check "VM refusée sur l'adresse d'émission" vm_refused 10.220.1.253 +check "interface_ip fourni sur un subnet vxlan refusé" sh -c "curl -s -X POST -H 'Content-Type: application/json' -d '{\"name\":\"sn-s2x\",\"vpc\":\"vp-s2\",\"mode\":\"vxlan\",\"vxlan_id\":2203,\"iface_type\":\"vms\",\"interface_ip\":\"10.220.3.1\",\"cidr\":\"10.220.3.0/24\"}' ${API}/subnets | grep -q 'computed for vxlan'" check "VM s2-a" vm_create s2-a sn-s2a 10.220.1.10 "${KEY}" check "VM s2-b" vm_create s2-b sn-s2b 10.220.2.10 "${KEY}" check "s2-a joignable" vm_wait vp-s2 10.220.1.10 check "s2-b joignable" vm_wait vp-s2 10.220.2.10 -check "sn-s2a : route par défaut via interface_ip 10.220.1.1" route_via vp-s2 10.220.1.10 default 10.220.1.1 -check "sn-s2a : route vers la VPC via interface_ip" route_via vp-s2 10.220.1.10 10.220.0.0/16 10.220.1.1 -check "sn-s2a : route /32 vers les métadonnées via interface_ip" route_via vp-s2 10.220.1.10 169.254.169.254 10.220.1.1 -check "sn-s2b : route par défaut via la gateway 10.220.2.254" route_via vp-s2 10.220.2.10 default 10.220.2.254 -check "sn-s2b : route vers la VPC via interface_ip, pas via la gateway" route_via vp-s2 10.220.2.10 10.220.0.0/16 10.220.2.1 -check "sn-s2b : route /32 vers les métadonnées via interface_ip" route_via vp-s2 10.220.2.10 169.254.169.254 10.220.2.1 +check "sn-s2a : route par défaut via la gateway 10.220.1.254" route_via vp-s2 10.220.1.10 default 10.220.1.254 +check "sn-s2a : route vers la VPC via la gateway" route_via vp-s2 10.220.1.10 10.220.0.0/16 10.220.1.254 +check "sn-s2a : route /32 vers les métadonnées via la gateway" route_via vp-s2 10.220.1.10 169.254.169.254 10.220.1.254 +check "sn-s2b : route par défaut via la gateway explicite 10.220.2.1" route_via vp-s2 10.220.2.10 default 10.220.2.1 +check "sn-s2b : route vers la VPC via la gateway du subnet, pas via la gateway explicite" route_via vp-s2 10.220.2.10 10.220.0.0/16 10.220.2.254 +check "sn-s2b : route /32 vers les métadonnées via la gateway du subnet" route_via vp-s2 10.220.2.10 169.254.169.254 10.220.2.254 check "suppression de s2-a" vm_delete s2-a check "suppression de sn-s2a" api_delete subnets/sn-s2a check "sn-s2a supprimé" wait_state subnets/sn-s2a deleted -check "sn-s2a recréé" subnet_create sn-s2a vp-s2 2201 10.220.1.1 10.220.1.0/24 +check "sn-s2a : plus de macvlan gw-s2a dans le netns" sh -c "! ip -n vp-s2 link show gw-s2a >/dev/null 2>&1" +check "sn-s2a recréé" subnet_create sn-s2a vp-s2 2201 10.220.1.0/24 check "VM s2-a2 sur le subnet recréé" vm_create s2-a2 sn-s2a 10.220.1.11 "${KEY}" check "s2-a2 joignable" vm_wait vp-s2 10.220.1.11 -check "après recréation : route par défaut via interface_ip 10.220.1.1" route_via vp-s2 10.220.1.11 default 10.220.1.1 -check "après recréation : route vers la VPC via interface_ip" route_via vp-s2 10.220.1.11 10.220.0.0/16 10.220.1.1 -check "après recréation : route /32 vers les métadonnées" route_via vp-s2 10.220.1.11 169.254.169.254 10.220.1.1 +check "après recréation : route par défaut via la gateway 10.220.1.254" route_via vp-s2 10.220.1.11 default 10.220.1.254 +check "après recréation : route vers la VPC via la gateway" route_via vp-s2 10.220.1.11 10.220.0.0/16 10.220.1.254 +check "après recréation : route /32 vers les métadonnées" route_via vp-s2 10.220.1.11 169.254.169.254 10.220.1.254 NODE diff --git a/test/e2e/scenarios/s3-isolation-local.sh b/test/e2e/scenarios/s3-isolation-local.sh index dc822f5..c89c1a8 100644 --- a/test/e2e/scenarios/s3-isolation-local.sh +++ b/test/e2e/scenarios/s3-isolation-local.sh @@ -3,13 +3,13 @@ two_image || { echo "ÉCHOUÉ: image compatible two"; exit 0; } KEY=$(vm_key) check "VPC vp-s3a" vpc_create vp-s3a 10.230.0.0/16 check "VPC vp-s3b" vpc_create vp-s3b 10.231.0.0/16 -check "subnet sn-s3a" subnet_create sn-s3a vp-s3a 2301 10.230.1.1 10.230.1.0/24 -check "subnet sn-s3b" subnet_create sn-s3b vp-s3b 2302 10.231.1.1 10.231.1.0/24 +check "subnet sn-s3a" subnet_create sn-s3a vp-s3a 2301 10.230.1.0/24 +check "subnet sn-s3b" subnet_create sn-s3b vp-s3b 2302 10.231.1.0/24 check "VM s3-x dans vp-s3a" vm_create s3-x sn-s3a 10.230.1.10 "${KEY}" check "VM s3-y dans vp-s3b" vm_create s3-y sn-s3b 10.231.1.10 "${KEY}" check "s3-x joignable depuis sa VPC" vm_wait vp-s3a 10.230.1.10 check "s3-y joignable depuis sa VPC (témoin : la cible est vivante)" vm_wait vp-s3b 10.231.1.10 -check "s3-x joint sa passerelle (témoin)" vm_ssh vp-s3a 10.230.1.10 'ping -c 2 -W 2 10.230.1.1' +check "s3-x joint sa passerelle (témoin)" vm_ssh vp-s3a 10.230.1.10 'ping -c 2 -W 2 10.230.1.254' check "s3-x ne joint pas s3-y en ICMP" vm_fails vp-s3a 10.230.1.10 'ping -c 2 -W 2 10.231.1.10' check "s3-x n'ouvre pas de connexion TCP vers s3-y:22" vm_fails vp-s3a 10.230.1.10 'timeout 5 bash -c " check "s7-a (sn-s7d, hv1) joint s7-b (sn-s7e, hv2) par le L3VNI, forwarding par interface" vm_ssh vp-s7 10.241.1.10 'ping -c 3 -W 2 10.241.2.10' check "trame pleine taille : 1472 octets en -M do" vm_ssh vp-s7 10.241.1.10 'ping -M do -s 1472 -c 2 -W 2 10.241.2.10' check "1473 octets refusés localement (MTU 1500)" vm_grep vp-s7 10.241.1.10 'ping -M do -s 1473 -c 1 -W 2 10.241.2.10' 'message too long' -check "TTL 1 : expire à la gateway du subnet, netns de hv1 (10.241.1.1)" vm_grep vp-s7 10.241.1.10 'ping -n -c 3 -i 1.2 -W 2 -t 1 10.241.2.10' 'From 10.241.1.1 .*exceeded' +check "TTL 1 : expire à la gateway du subnet, netns de hv1 (10.241.1.254)" vm_grep vp-s7 10.241.1.10 'ping -n -c 3 -i 1.2 -W 2 -t 1 10.241.2.10' 'From 10.241.1.254 .*exceeded' check "TTL 2 : expire dans la VRF de hv1 (169.254.0.1)" vm_grep vp-s7 10.241.1.10 'ping -n -c 3 -i 1.2 -W 2 -t 2 10.241.2.10' 'From 169.254.0.1 .*exceeded' check "TTL 5 : atteint s7-b — quatre routeurs : gateway hv1, VRF hv1, VRF hv2, netns hv2" vm_ssh vp-s7 10.241.1.10 'ping -n -c 1 -W 2 -t 5 10.241.2.10' check "hv1 : vrf-s7 n'importe pas 10.241.2.20/32 de vp-s7b (RT 64600:2701)" sh -c "[ -z \"\$(ip -4 route show vrf vrf-s7 10.241.2.20)\" ]" diff --git a/test/e2e/scenarios/s8-l3vni-migration.sh b/test/e2e/scenarios/s8-l3vni-migration.sh index 7c808f3..c11270a 100644 --- a/test/e2e/scenarios/s8-l3vni-migration.sh +++ b/test/e2e/scenarios/s8-l3vni-migration.sh @@ -1,7 +1,7 @@ on hv1 <<'NODE' two_image || { echo "ÉCHOUÉ: image compatible two (hv1)"; exit 0; } check "hv1 : VPC vp-s8, l3vni 2800" vpc_create vp-s8 10.242.0.0/16 2800 -check "hv1 : subnet sn-s8s (VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.1 10.242.1.0/24 +check "hv1 : subnet sn-s8s (VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.0/24 check "hv1 : VM s8-m1 10.242.1.50" vm_create s8-m1 sn-s8s 10.242.1.50 check "hv1 : s8-m1 répond depuis son netns" netns_ping_wait vp-s8 10.242.1.50 check "hv1 : /24 et /32 exportés par l'agent" sh -c "ip -4 route show vrf vrf-s8 | grep -q '^10.242.1.0/24 via 169.254.0.2' && ip -4 route show vrf vrf-s8 | grep -q '^10.242.1.50 via 169.254.0.2'" @@ -15,7 +15,7 @@ on hv3 <<'NODE' two_image || { echo "ÉCHOUÉ: image compatible two (hv3)"; exit 0; } KEY=$(vm_key) check "hv3 : VPC vp-s8, l3vni 2800" vpc_create vp-s8 10.242.0.0/16 2800 -check "hv3 : subnet sn-s8t (VNI 2812), seulement sur hv3" subnet_create sn-s8t vp-s8 2812 10.242.2.1 10.242.2.0/24 +check "hv3 : subnet sn-s8t (VNI 2812), seulement sur hv3" subnet_create sn-s8t vp-s8 2812 10.242.2.0/24 check "hv3 : VM observatrice s8-o 10.242.2.10" vm_create s8-o sn-s8t 10.242.2.10 "${KEY}" check "s8-o joignable" vm_wait vp-s8 10.242.2.10 check "hv3 : aucun VXLAN de sn-s8s sur l'observateur" sh -c "! ip link show vxlan-2811 >/dev/null 2>&1" @@ -33,7 +33,7 @@ check "hv3 : plus aucun /32 pour 10.242.1.50" wait_vrf_nexthops vp-s8 10.242.1.5 check "hv3 : le /24 de sn-s8s reste annoncé par hv1 (filet)" wait_vrf_nexthops vp-s8 10.242.1.0/24 192.168.14.11 NODE on hv2 <<'NODE' -check "migration simple, 2 — sn-s8s créé sur hv2 (même VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.1 10.242.1.0/24 +check "migration simple, 2 — sn-s8s créé sur hv2 (même VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.0/24 check "migration simple, 3 — VM s8-m2 10.242.1.50 sur hv2" vm_create s8-m2 sn-s8s 10.242.1.50 check "hv2 : s8-m2 répond depuis son netns" netns_ping_wait vp-s8 10.242.1.50 NODE @@ -52,10 +52,16 @@ check "orchestrée, 2 — VM s8-m3 10.242.1.50 sur hv1 pendant que s8-m2 tourne check "hv1 : s8-m3 répond depuis son netns" netns_ping_wait vp-s8 10.242.1.50 NODE on rr1 <<'NODE' -check "rr1 : MAC de gateway de sn-s8s propre à chaque hôte, hv1 (02:03:c0:a8:0e:0b) et hv2 (02:03:c0:a8:0e:0c)" sh -c "r=\$(vtysh -c 'show bgp l2vpn evpn route type macip'); echo \"\$r\" | grep -qi '02:03:c0:a8:0e:0b' && echo \"\$r\" | grep -qi '02:03:c0:a8:0e:0c'" +MAC=$(anycast_mac 2811) +R=$(vtysh -c 'show bgp l2vpn evpn route type macip') +check "rr1 : routes EVPN de type 2 reçues (témoin)" sh -c 'echo "$1" | grep -q "\[2\]:"' _ "${R}" +check "rr1 : aucune route de type 2 pour la MAC anycast de sn-s8s (${MAC}), présente sur hv1 et hv2" sh -c '! echo "$1" | grep -qi "$2"' _ "${R}" "${MAC}" NODE on hv1 <<'NODE' +MAC=$(anycast_mac 2811) check "hv1 : aucune MAC en double sur la VNI 2811" sh -c "! vtysh -c 'show evpn mac vni 2811 duplicate' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'" +check "hv1 : table EVPN de la VNI 2811 non vide (témoin)" sh -c "vtysh -c 'show evpn mac vni 2811' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'" +check "hv1 : MAC anycast ${MAC} absente de la table EVPN de la VNI 2811" sh -c '! vtysh -c "show evpn mac vni 2811" | grep -qi "$1"' _ "${MAC}" NODE on hv3 <<'NODE' for i in $(seq 1 30); do [ "$(bgp_paths vp-s8 10.242.1.50/32)" -ge 2 ] && break; sleep 2; done diff --git a/test/e2e/scenarios/s9-subnets-partages.sh b/test/e2e/scenarios/s9-subnets-partages.sh index f61776c..cb7a120 100644 --- a/test/e2e/scenarios/s9-subnets-partages.sh +++ b/test/e2e/scenarios/s9-subnets-partages.sh @@ -4,13 +4,13 @@ two_image || { echo "ÉCHOUÉ: image compatible two (${HOST})"; exit 0; } KEY=$(vm_key) case "${HOST}" in hv2) n=1 ;; hv3) n=2 ;; esac check "${HOST} : VPC vp-s9r, l3vni 2900" vpc_create vp-s9r 10.250.0.0/16 2900 -check "${HOST} : subnet sn-s9r1 (VNI 2911)" subnet_create sn-s9r1 vp-s9r 2911 10.250.1.1 10.250.1.0/24 -check "${HOST} : subnet sn-s9r2 (VNI 2912)" subnet_create sn-s9r2 vp-s9r 2912 10.250.2.1 10.250.2.0/24 +check "${HOST} : subnet sn-s9r1 (VNI 2911)" subnet_create sn-s9r1 vp-s9r 2911 10.250.1.0/24 +check "${HOST} : subnet sn-s9r2 (VNI 2912)" subnet_create sn-s9r2 vp-s9r 2912 10.250.2.0/24 check "${HOST} : VM s9-r1-${n} 10.250.1.1${n}" vm_create "s9-r1-${n}" sn-s9r1 "10.250.1.1${n}" "${KEY}" check "${HOST} : VM s9-r2-${n} 10.250.2.1${n}" vm_create "s9-r2-${n}" sn-s9r2 "10.250.2.1${n}" "${KEY}" check "${HOST} : VPC vp-s9n, sans l3vni" vpc_create vp-s9n 10.251.0.0/16 -check "${HOST} : subnet sn-s9n1 (VNI 2921)" subnet_create sn-s9n1 vp-s9n 2921 10.251.1.1 10.251.1.0/24 -check "${HOST} : subnet sn-s9n2 (VNI 2922)" subnet_create sn-s9n2 vp-s9n 2922 10.251.2.1 10.251.2.0/24 +check "${HOST} : subnet sn-s9n1 (VNI 2921)" subnet_create sn-s9n1 vp-s9n 2921 10.251.1.0/24 +check "${HOST} : subnet sn-s9n2 (VNI 2922)" subnet_create sn-s9n2 vp-s9n 2922 10.251.2.0/24 check "${HOST} : VM s9-n1-${n} 10.251.1.1${n}" vm_create "s9-n1-${n}" sn-s9n1 "10.251.1.1${n}" "${KEY}" check "${HOST} : VM s9-n2-${n} 10.251.2.1${n}" vm_create "s9-n2-${n}" sn-s9n2 "10.251.2.1${n}" "${KEY}" NODE @@ -18,15 +18,17 @@ done for host in hv2 hv3; do on "${host}" "HOST=${host}" <<'NODE' -case "${HOST}" in hv2) n=1; mac=02:03:c0:a8:0e:0c ;; hv3) n=2; mac=02:03:c0:a8:0e:0d ;; esac +case "${HOST}" in hv2) n=1 ;; hv3) n=2 ;; esac for v in r n; do vpc="vp-s9${v}" net="10.25$([ "${v}" = r ] && echo 0 || echo 1)" for s in 1 2; do src="${net}.${s}.1${n}" + gw="${net}.${s}.254" + mac=$(anycast_mac "29$([ "${v}" = r ] && echo 1 || echo 2)${s}") check "${HOST} : ${src} joignable" vm_wait "${vpc}" "${src}" - check "${HOST} : ${src} joint sa gateway ${net}.${s}.1" vm_ssh "${vpc}" "${src}" "ping -n -c 2 -W 2 ${net}.${s}.1" - check "${HOST} : ${src} voit la MAC de gateway de son hôte (${mac})" vm_grep "${vpc}" "${src}" "ip neigh show ${net}.${s}.1" "lladdr ${mac} " + check "${HOST} : ${src} joint sa gateway ${gw}" vm_ssh "${vpc}" "${src}" "ping -n -c 2 -W 2 ${gw}" + check "${HOST} : ${src} voit la MAC anycast de la gateway (${mac})" vm_grep "${vpc}" "${src}" "ip neigh show ${gw}" "lladdr ${mac} " for d in 1 2; do for m in 1 2; do dst="${net}.${d}.1${m}" @@ -40,6 +42,7 @@ for v in r n; do done for vni in 2911 2912 2921 2922; do check "${HOST} : aucune MAC en double sur la VNI ${vni}" sh -c "! vtysh -c 'show evpn mac vni ${vni} duplicate' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'" + check "${HOST} : MAC anycast $(anycast_mac "${vni}") absente de la table EVPN de la VNI ${vni}" sh -c '! vtysh -c "show evpn mac vni $1" | grep -qi "$2"' _ "${vni}" "$(anycast_mac "${vni}")" done NODE done