Merge branch 'feature-57'
All checks were successful
Documentation / publish (push) Successful in 1m31s

This commit is contained in:
GnomeZworc 2026-10-17 16:14:00 +02:00
commit c090607785
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
60 changed files with 1725 additions and 143 deletions

View file

@ -50,7 +50,7 @@ curl -X POST http://127.0.0.1:8080/vpcs \
# Un subnet en VXLAN dans ce VPC
curl -X POST http://127.0.0.1:8080/subnets \
-d '{"name": "sn-000001", "vpc": "vp-admin", "mode": "vxlan", "vxlan_id": 1,
"iface_type": "vms", "interface_ip": "10.1.1.1", "cidr": "10.1.0.0/23"}'
"iface_type": "vms", "cidr": "10.1.0.0/23"}'
# Une VM, avec une clé SSH et un user-data cloud-init en base64
curl -X POST http://127.0.0.1:8080/vms \

View file

@ -146,7 +146,10 @@ paths:
schema:
$ref: "#/components/schemas/Error"
"422":
description: Subnet not found, or not in creating/running state
description: >
Subnet not found, or not in creating/running state; or an interface IP outside the
subnet CIDR, equal to its network or broadcast address, or reserved by the subnet
(interface_ip, relay_ip, gateway)
content:
application/json:
schema:
@ -229,7 +232,9 @@ paths:
schema:
$ref: "#/components/schemas/Subnet"
"400":
description: Missing required field or unknown iface_type
description: >
Missing required field; interface_ip missing on a bridge or public_ip subnet, or
supplied on a vxlan subnet (it is computed)
content:
application/json:
schema:
@ -241,7 +246,9 @@ paths:
schema:
$ref: "#/components/schemas/Error"
"422":
description: Parent VPC does not exist or is not ready
description: >
Unknown mode; parent VPC does not exist or is not ready; invalid CIDR, or a vxlan
CIDR smaller than /29
content:
application/json:
schema:
@ -349,7 +356,7 @@ components:
SubnetCreateRequest:
type: object
required: [name, vpc, interface_ip, cidr]
required: [name, vpc, cidr]
properties:
name:
type: string
@ -381,11 +388,16 @@ components:
interface_ip:
type: string
format: ipv4
description: Gateway IP for the subnet
description: >
Gateway IP for the subnet. Required in bridge and public_ip modes. Rejected in vxlan
mode (400): the agent computes it as the last usable address of the CIDR
(broadcast - 1), carried by an anycast gateway identical on every host.
example: "10.10.10.1"
cidr:
type: string
description: Subnet CIDR block
description: >
Subnet CIDR block. In vxlan mode, without host bits and at most /29: the last two
usable addresses are reserved for the gateway and the relay address.
example: "10.10.10.0/24"
default_route:
type: boolean
@ -403,7 +415,7 @@ components:
Optional next-hop for the default route. Only used when default_route is true;
supplied with default_route false, it is ignored. Not validated by the agent:
reachability and coherence with the subnet CIDR are the caller's responsibility.
example: "10.10.10.254"
example: "10.10.10.1"
Subnet:
type: object
@ -432,7 +444,14 @@ components:
example: br-000000
interface_ip:
type: string
example: "10.10.10.1"
description: Subnet gateway. In vxlan mode, computed by the agent (broadcast - 1).
example: "10.10.10.254"
relay_ip:
type: string
description: >
vxlan mode only (broadcast - 2): address the subnet uses to reach guests on other
hosts, carried by the bridge of each host. Absent on subnets created before it existed.
example: "10.10.10.253"
cidr:
type: string
example: "10.10.10.0/24"
@ -441,7 +460,7 @@ components:
example: false
gateway:
type: string
example: "10.10.10.254"
example: "10.10.10.1"
VMCreateRequest:
type: object

32
cmd/dhcp/listen_test.go Normal file
View file

@ -0,0 +1,32 @@
package main
import "testing"
func TestListenInterface(t *testing.T) {
present := func(names ...string) func(string) bool {
return func(name string) bool {
for _, n := range names {
if n == name {
return true
}
}
return false
}
}
cases := []struct {
label string
bridge string
exists func(string) bool
want string
}{
{"gateway anycast présente", "br-s9r1", present("br-s9r1", "gw-s9r1"), "gw-s9r1"},
{"ancien modèle, pas de gateway", "br-s9r1", present("br-s9r1"), "br-s9r1"},
{"gateway d'un autre subnet", "br-s9r1", present("br-s9r1", "gw-s9r2"), "br-s9r1"},
{"bridge sans préfixe br-", "vpc1br0", present("gw-vpc1br0"), "vpc1br0"},
}
for _, c := range cases {
if got := listenInterface(c.bridge, c.exists); got != c.want {
t.Errorf("%s : %s, %s attendu", c.label, got, c.want)
}
}
}

View file

@ -5,6 +5,7 @@ import (
"fmt"
"net"
"os"
"strings"
dhcpapi "git.g3e.fr/syonad/two/internal/api/dhcp"
configuration "git.g3e.fr/syonad/two/internal/config/agent"
@ -66,13 +67,30 @@ func run() error {
}
}()
conn, err := server4.NewIPv4UDPConn(*iface, &net.UDPAddr{Port: dhcpv4.ServerPort})
listen := listenInterface(*iface, interfaceExists)
conn, err := server4.NewIPv4UDPConn(listen, &net.UDPAddr{Port: dhcpv4.ServerPort})
if err != nil {
return fmt.Errorf("bind udp/%d on %s: %w", dhcpv4.ServerPort, *iface, err)
return fmt.Errorf("bind udp/%d on %s: %w", dhcpv4.ServerPort, listen, err)
}
defer conn.Close()
log.Info("dhcp server started", "state", store.Path(), "socket", control.Addr())
log.Info("dhcp server started", "listen", listen, "state", store.Path(), "socket", control.Addr())
return store.Serve(conn, log)
}
func interfaceExists(name string) bool {
_, err := net.InterfaceByName(name)
return err == nil
}
func listenInterface(bridge string, exists func(string) bool) string {
id, ok := strings.CutPrefix(bridge, "br-")
if !ok {
return bridge
}
if gateway := "gw-" + id; exists(gateway) {
return gateway
}
return bridge
}

View file

@ -23,6 +23,17 @@ Réseau
* **La route vers le CIDR du VPC garde ``interface_ip`` comme next-hop** dans tous les modes sauf
``bridge`` : sur un subnet à IP publique, le trafic interne ne doit pas sortir par la gateway
publique.
* **La MAC anycast d'une gateway ``vxlan`` ne sort jamais du netns** : règles ebtables sur le veth
du subnet (source anycast rejetée en entrée et en sortie) **et** entrée FDB locale dans le bridge
du netns. Sans l'entrée FDB, que le macvlan ne crée pas, toute trame d'une VM vers sa gateway est
inondée vers le fabric et traitée par la gateway de chaque hôte.
* **La gateway ``vxlan`` n'est jamais sur le bridge** : ``arp_ignore=1`` sur ``br-<subnet>``, la
gateway en ``/32`` sur ``gw-<subnet>``, l'adresse d'émission seule sur le bridge. Posée sur le
bridge, la gateway répondrait aux VM avec la MAC de l'hôte et l'anycast serait contourné sans
autre symptôme.
* **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis
la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par
tous les hôtes, une réponse peut partir vers un autre hôte.
* ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur.
QEMU et VM

View file

@ -15,7 +15,8 @@ de sérialisation structurée.
subnet/<name>/mode → vxlan | bridge | public_ip
subnet/<name>/vxlan_id → <id> (mode vxlan uniquement)
subnet/<name>/cidr → <cidr>
subnet/<name>/interface_ip → <ip> (gateway, portée par br-<subnetID>)
subnet/<name>/interface_ip → <ip> (gateway ; calculée en vxlan : broadcast-1)
subnet/<name>/relay_ip → <ip> (mode vxlan, calculée : broadcast-2)
subnet/<name>/local_iface → <bridge-name>
subnet/<name>/default_route → "true" | "false"
subnet/<name>/gateway → <ip> (optionnel)

View file

@ -36,22 +36,85 @@ vxlan
.. mermaid::
graph LR
VM --- TAP[tap] --- BR["br-&lt;subnet&gt;<br/>interface_ip"]
BR --- VX["vxlan&lt;vni&gt;"] --- HBR["bridge host<br/>(iface_type)"] --- UP[uplink]
VM --- TAP[tap] --- BR["br-&lt;subnet&gt;<br/>adresse d'émission"]
GW["gw-&lt;subnet&gt;<br/>gateway, MAC anycast"] -. macvlan .- BR
BR --- VETH["v-&lt;subnet&gt;-i / -e"] --- VX["vxlan-&lt;vni&gt;"] --- UP[uplink]
Le subnet vit dans le netns du VPC. La VM n'est donc **pas joignable depuis l'host** sans route
explicite — point à connaître avant de câbler un outil externe dessus.
Le bridge du subnet, qui porte ``interface_ip``, a une **MAC de gateway propre à l'hôte**, calculée
depuis son VTEP — l'IPv4 primaire du ``local_iface`` : ``02:03`` suivi des quatre octets de
l'adresse (VTEP ``192.168.14.12`` → ``02:03:c0:a8:0e:0c``). Unique dans le fabric, elle est la
même pour tous les subnets d'un hôte, chacun étant un domaine L2 distinct. Elle n'est posée qu'à la
création du subnet — un subnet créé avant garde la MAC choisie par le noyau jusqu'à sa recréation.
Adressage
~~~~~~~~~
Une MAC de gateway **identique sur tous les hôtes** (anycast) a été essayée puis retirée : apprise
sur le veth du subnet, elle était annoncée en EVPN par chaque hôte et détectée en double ; et une
gateway ne pouvait plus joindre en L2 une VM d'un autre hôte, la réponse revenant à la gateway
locale de la VM. Le cache ARP d'une VM migrée à chaud est un sujet de la migration, pas du subnet.
L'agent calcule deux adresses à partir du ``cidr`` ; ``interface_ip`` n'est pas fourni par
l'appelant (refusé en 400) :
* la **gateway**, avant-dernière adresse du préfixe (``.254`` en ``/24``), exposée comme
``interface_ip`` ;
* l'**adresse d'émission**, juste avant (``.253``), exposée comme ``relay_ip``.
Le ``cidr`` doit être sans bits d'hôte et faire au plus ``/29``. Une VM ne peut prendre ni l'une
ni l'autre de ces adresses, ni l'adresse de réseau, de broadcast ou la ``gateway`` explicite du
subnet (422).
Gateway anycast
~~~~~~~~~~~~~~~
La gateway est portée par un macvlan ``gw-<subnet>`` posé sur le bridge du netns. Sa MAC est
**identique sur tous les hôtes qui portent le subnet** : ``02:01:00`` suivi de la VNI sur 24 bits
(VNI ``2911`` → ``02:01:00:00:0b:5f``). Où qu'elle tourne, une VM résout sa gateway vers l'hôte
qui l'héberge, et une entrée ARP restée en cache reste valable si la VM change d'hôte.
Le bridge ``br-<subnet>`` garde une **MAC propre à l'hôte**, ``02:03`` suivi des quatre octets du
VTEP — l'IPv4 primaire du ``local_iface`` (``192.168.14.12`` → ``02:03:c0:a8:0e:0c``) — et porte
l'adresse d'émission :
* le netns émet ses requêtes ARP depuis l'adresse d'émission (``arp_announce=2``) et le bridge ne
répond pas pour la gateway (``arp_ignore=1``). Quand un hôte relaie en L2 vers une VM d'un autre
hôte — trafic routé vers un subnet présent sur plusieurs hôtes, filet du ``/24`` d'un VPC
routé —, la VM répond à la MAC de cet hôte, sans que sa gateway change ;
* la route du subnet a la gateway pour source : le netns parle à **ses** VM depuis la gateway, et
leurs réponses reviennent à la MAC anycast, donc à l'hôte local ;
* le DHCP écoute sur ``gw-<subnet>`` et s'annonce avec la gateway comme identifiant de serveur :
un renouvellement unicast reste servi par l'hôte de la VM.
L'adresse d'émission est la même sur tous les hôtes : une VM qui reçoit la requête ARP d'un autre
hôte associe ``.253`` à la MAC de celui-ci. C'est sans effet — la VM ne parle jamais d'elle-même à
``.253`` et le netns lui parle depuis la gateway. Mesuré en lab (``s11-fenetre-arp``) : pendant
cette fenêtre, métadonnées, renouvellement DHCP et connexions depuis le netns passent sans perte.
.. note::
Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission
(``ping -I <relay_ip>``) : à la gateway, sa réponse repartirait vers son propre hôte. Le
trafic routé entre VM n'est pas concerné, il garde sa source.
Confinement de la MAC anycast
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
La MAC anycast ne doit **jamais** sortir du netns : vue depuis le fabric, elle serait annoncée en
EVPN par chaque hôte, détectée en double, et déplacerait l'apprentissage des bridges. Trois
mécanismes la confinent :
* ebtables, sur le veth du subnet : toute trame de **source** anycast est rejetée à l'entrée
(``nat PREROUTING``) et à la sortie (``FORWARD`` et ``OUTPUT``) ;
* une **entrée FDB locale** pour la MAC anycast dans le bridge du netns. Le macvlan ne la crée pas
lui-même : sans elle, toute trame d'une VM vers sa gateway est inondée vers le fabric et les
autres VM, et traitée par la gateway de chaque hôte ;
* les requêtes ARP vers la gateway ou l'adresse d'émission, et les réponses DHCP qui en viennent,
sont bloquées vers le veth, comme avant.
IPv6 n'est pas désactivé sur le macvlan : ses trames (DAD, ND) sont arrêtées par le confinement.
Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l'entrée FDB ; il ne relit pas les
règles ebtables.
Subnets créés avant la gateway anycast
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Un subnet ``vxlan`` sans ``relay_ip`` garde le modèle précédent jusqu'à sa recréation :
``interface_ip`` choisie à la création, portée par le bridge, avec la MAC propre à l'hôte. Une VM
qui reçoit alors la requête ARP d'un autre hôte associe **sa gateway** à cet hôte pendant
quelques secondes (#57).
bridge
------
@ -81,7 +144,7 @@ Une route par défaut est **toujours** annoncée. Le champ ``default_route`` ne
next-hop :
``default_route: false`` (défaut)
next-hop = ``interface_ip`` du subnet.
next-hop = ``interface_ip`` du subnet, la gateway calculée en ``vxlan``.
``default_route: true``
next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage
@ -100,7 +163,8 @@ Pourquoi la route ``/32`` vers le serveur de metadata est indispensable
Elle paraît redondante avec la route par défaut. Elle ne l'est pas.
La DNAT vers le serveur de metadata est posée dans le netns du VPC, en ``PREROUTING``. Le paquet
n'y est traité en L3 que si son next-hop est ``interface_ip``, portée par le bridge du netns.
n'y est traité en L3 que si son next-hop est ``interface_ip``, locale au netns — sur le macvlan de
la gateway en ``vxlan``, sur le bridge dans les autres modes.
Avec un autre next-hop, la trame est commutée en **L2** sans traverser ``PREROUTING`` : le
serveur de metadata devient injoignable et tout le provisionnement cloud-init échoue,
silencieusement.

View file

@ -6,7 +6,7 @@ Trois types de ressources, une hiérarchie stricte.
.. mermaid::
graph TD
VPC["VPC<br/><i>network namespace</i><br/>cidr"] --> SN1["Subnet<br/><i>bridge + VXLAN</i><br/>interface_ip, cidr"]
VPC["VPC<br/><i>network namespace</i><br/>cidr"] --> SN1["Subnet<br/><i>bridge + VXLAN</i><br/>cidr, gateway"]
VPC --> SN2["Subnet"]
SN1 --> VM1["VM<br/><i>QEMU/KVM</i>"]
SN1 --> VM2["VM"]
@ -57,8 +57,9 @@ configurée fait planter ``bgpd`` (FRR 10.7.1).
Subnet
------
Un subnet appartient à un VPC et pose, dans son netns, un bridge qui porte ``interface_ip`` — la
gateway vue par les VM. Il fournit aussi le DHCP — dnsmasq ou le serveur intégré selon
Un subnet appartient à un VPC et pose, dans son netns, un bridge et la gateway vue par les VM,
``interface_ip`` — calculée par l'agent et portée par un macvlan à MAC anycast en mode ``vxlan``,
fournie par l'appelant et portée par le bridge dans les autres modes. Il fournit aussi le DHCP — dnsmasq ou le serveur intégré selon
``dhcp.backend`` — et les routes annoncées aux guests.
``iface_type`` est une clé **logique** (``vms``, ``internet``, ``admin``…), traduite en nom de

View file

@ -14,7 +14,7 @@ Ce que l'on construit
graph LR
subgraph netns vp-admin
BR["br-sn000001<br/>10.1.1.1"]
BR["br-sn000001<br/>10.1.1.254"]
MD["metadata@i-web<br/>169.254.169.254"]
end
VM["VM i-web<br/>10.1.1.2"] --- BR
@ -58,13 +58,18 @@ prêt est refusé en **422**. Le modèle d'attente est décrit dans :doc:`/explo
"mode": "vxlan",
"vxlan_id": 1,
"iface_type": "vms",
"interface_ip": "10.1.1.1",
"cidr": "10.1.0.0/23"}'
``iface_type`` est une clé **logique** résolue dans la configuration de l'agent (section
``interfaces``) vers un bridge physique de l'host ; une clé inconnue retombe sur
``default_interface``. ``interface_ip`` est la gateway du subnet, portée par le bridge créé dans
le netns.
``default_interface``.
En mode ``vxlan``, les adresses de la gateway sont **calculées** et ne se fournissent pas (un
``interface_ip`` est refusé) : la gateway vue par les VM est l'avant-dernière adresse du CIDR
(``interface_ip`` = ``10.1.1.254`` ici), l'adresse d'émission propre au netns la précédente
(``relay_ip`` = ``10.1.1.253``) ; le CIDR doit valoir au plus ``/29``. Aucune VM ne peut prendre
ces deux adresses, ni celles du réseau et du broadcast. En mode ``bridge``, ``interface_ip`` reste
obligatoire.
Les modes disponibles et leurs conséquences sur le routage sont détaillés dans
:doc:`/concepts/modes-reseau`.

View file

@ -217,12 +217,14 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**.
- backend DHCP ``two``, une VPC et deux subnets : chaque VM reçoit l'adresse de **son**
subnet, démarrée seule ou en même temps qu'une autre ; le bail est tenu par
systemd-networkd ; route par défaut, route vers la VPC et ``/32`` vers les métadonnées
via ``interface_ip`` ; l'état de chaque serveur DHCP ne connaît que les MAC de son subnet
(#46)
via la gateway calculée (``.254``) ; l'état de chaque serveur DHCP ne connaît que les MAC de
son subnet (#46)
- hv1
* - ``s2-gateway``
- route par défaut via ``interface_ip``, ou via ``gateway`` avec ``default_route`` ; route
vers la VPC toujours via ``interface_ip`` ; même résultat après recréation du subnet (#31)
- gateway (``.254``) et adresse d'émission (``.253``) calculées par l'agent, refusées pour
une VM ; ``interface_ip`` refusé sur un subnet ``vxlan`` (#57) ; route par défaut via la
gateway, ou via ``gateway`` avec ``default_route`` ; route vers la VPC toujours via la
gateway du subnet ; macvlan retiré à la suppression, même résultat après recréation (#31)
- hv1
* - ``s3-isolation-local``
- deux VPC sur le même hyperviseur ne se joignent pas, en ICMP comme en TCP ; chaque VM
@ -257,15 +259,16 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**.
- suite de ``s7``, topologie ``evpn-3hv.yml`` : migration d'une VM de hv1 vers hv2 par l'API,
observée depuis hv3 qui n'a pas le subnet : migration simple (VM supprimée puis recréée,
``/24`` comme filet), séquence orchestrée (deux VM de même IP, deux ``/32`` en ECMP, 40
sources sur 40) ; l'ancien « pire cas » devient un refus (409) ; MAC de gateway propre à
chaque hôte, sans doublon EVPN ; watchdog : ``/32`` orphelin signalé comme trou noir, ``/32`` manquant
sources sur 40) ; l'ancien « pire cas » devient un refus (409) ; MAC anycast de la gateway
absente d'EVPN (aucune route de type 2 sur rr1, absente de la table de hv1), sans doublon
(#57) ; watchdog : ``/32`` orphelin signalé comme trou noir, ``/32`` manquant
signalé
- hv1, hv2, hv3, rr1
* - ``s9-subnets-partages``
- deux VPC, avec et sans ``l3vni``, chacune avec deux subnets présents sur **les deux**
hyperviseurs et une VM par subnet et par hôte : ping entre toutes les paires (même subnet ou
non, même hôte ou non) ; chaque VM voit la MAC de gateway de son propre hôte ; aucune MAC en
double sur les quatre VNI
non, même hôte ou non) ; chaque VM voit la MAC anycast de sa gateway ; aucune MAC en
double et aucune MAC anycast dans EVPN sur les quatre VNI (#57)
- hv2, hv3, rr1
* - ``s10-switch-loss``
- un seul switch maître VRRP de la passerelle (lu par ``show vrrp``, pas supposé) ; interface
@ -275,6 +278,14 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**.
silence sous 5 s ; interface rétablie : ses sessions eBGP reviennent et il **reste en
attente**, sans reprendre la passerelle (#54)
- hv1, sw1, sw2
* - ``s11-fenetre-arp``
- fenêtre ARP de #57 : sur hv1, entrées ARP du netns retirées, puis une VM de hv1 joint une VM
de hv2 dans l'autre subnet (relais L2 depuis l'adresse d'émission de hv1). La VM de hv2
associe alors ``.253`` à la MAC de hv1 (fenêtre ouverte, vérifiée), mais sa gateway reste
la MAC anycast ; pendant la fenêtre, métadonnées servies, bail DHCP renouvelé auprès de
``.254``, et **aucune** des 80 connexions TCP du netns de hv2 vers sa VM n'est perdue ; MAC
anycast inscrite dans la FDB du bridge du netns
- hv1, hv2
``s6`` réutilise les VM de ``s4`` : le lancer après.

View file

@ -63,6 +63,38 @@ diverges``. Regarder ses notifications avant de sonder à la main.
Si le serveur ne voit passer aucune requête, le problème est en amont : tap absent, bridge non
raccordé, VM dans le mauvais netns.
La VM ne joint pas sa gateway (subnet ``vxlan``)
------------------------------------------------
La gateway d'un subnet ``vxlan`` est un macvlan ``gw-<subnet>`` à MAC anycast
(:doc:`/concepts/modes-reseau`). Le watchdog contrôle sa présence, sa MAC, les adresses et l'entrée
FDB : ses notifications (``interface gw-…``, ``lacks the gateway address``, ``no local fdb
entry``…) disent déjà ce qui manque. À la main, dans le netns du VPC :
.. code-block:: bash
# macvlan actif, MAC 02:01:00:<VNI>, gateway en /32 ; adresse d'émission seule sur le bridge
ip -n <vpc> -br addr show gw-<subnet>
ip -n <vpc> -br addr show br-<subnet>
# entrée locale de la MAC anycast dans le bridge (« master br-<subnet> permanent »)
ip netns exec <vpc> bridge fdb show br br-<subnet> | grep 02:01:00
# route du subnet émise depuis la gateway
ip -n <vpc> -4 route show dev br-<subnet>
# confinement : source anycast rejetée sur le veth du subnet
ip netns exec <vpc> ebtables -t nat -L PREROUTING
ip netns exec <vpc> ebtables -L FORWARD
Dans le guest, ``ip neigh show <gateway>`` doit montrer la MAC ``02:01:00:<VNI>``. Une autre MAC —
celle d'un hôte, ``02:03:…`` — signale un subnet de l'ancien modèle (sans ``relay_ip``) ou une
gateway posée sur le bridge.
Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission :
``ip netns exec <vpc> ping -I <relay_ip> <ip>``. Un ping sans ``-I`` part de la gateway et la
réponse revient à l'hôte de la VM — ce n'est pas une panne.
La VM a une adresse mais cloud-init n'applique rien
---------------------------------------------------

View file

@ -33,6 +33,7 @@ type Subnet struct {
VxlanID int `json:"vxlan_id"`
LocalIface string `json:"local_iface"`
InterfaceIP string `json:"interface_ip"`
RelayIP string `json:"relay_ip,omitempty"`
CIDR string `json:"cidr"`
DefaultRoute bool `json:"default_route"`
Gateway string `json:"gateway"`

View file

@ -55,6 +55,8 @@ func (s *Server) getSubnet(w http.ResponseWriter, _ *http.Request, name string)
sub.LocalIface = value
case "interface_ip":
sub.InterfaceIP = value
case "relay_ip":
sub.RelayIP = value
case "cidr":
sub.CIDR = value
case "default_route":

View file

@ -5,6 +5,7 @@ import (
"encoding/json"
"net/http"
"net/http/httptest"
"strings"
"testing"
"git.g3e.fr/syonad/two/pkg/db/kv"
@ -57,11 +58,10 @@ func TestPostSubnet_Created(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
req := SubnetCreateRequest{
Name: "sn-new",
VPC: "vpc-1",
IfaceType: "vms",
InterfaceIP: "10.0.0.1",
CIDR: "10.0.0.0/24",
Name: "sn-new",
VPC: "vpc-1",
IfaceType: "vms",
CIDR: "10.0.0.0/24",
}
body, _ := json.Marshal(req)
w := httptest.NewRecorder()
@ -93,10 +93,9 @@ func TestPostSubnet_IfaceTypeOptional(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
req := SubnetCreateRequest{
Name: "sn-opt",
VPC: "vpc-1",
InterfaceIP: "10.0.0.1",
CIDR: "10.0.0.0/24",
Name: "sn-opt",
VPC: "vpc-1",
CIDR: "10.0.0.0/24",
// IfaceType omis — doit utiliser default_interface
}
body, _ := json.Marshal(req)
@ -110,11 +109,10 @@ func TestPostSubnet_IfaceTypeOptional(t *testing.T) {
func TestPostSubnet_VPCNotFound(t *testing.T) {
s, _ := newTestServer(t)
req := SubnetCreateRequest{
Name: "sn-1",
VPC: "vpc-inexistant",
IfaceType: "vms",
InterfaceIP: "10.0.0.1",
CIDR: "10.0.0.0/24",
Name: "sn-1",
VPC: "vpc-inexistant",
IfaceType: "vms",
CIDR: "10.0.0.0/24",
}
body, _ := json.Marshal(req)
w := httptest.NewRecorder()
@ -129,11 +127,10 @@ func TestPostSubnet_Duplicate(t *testing.T) {
kv.AddInDB(db, "vpc/vpc-1/state", "running")
kv.AddInDB(db, "subnet/sn-exist/state", "running")
req := SubnetCreateRequest{
Name: "sn-exist",
VPC: "vpc-1",
IfaceType: "vms",
InterfaceIP: "10.0.0.1",
CIDR: "10.0.0.0/24",
Name: "sn-exist",
VPC: "vpc-1",
IfaceType: "vms",
CIDR: "10.0.0.0/24",
}
body, _ := json.Marshal(req)
w := httptest.NewRecorder()
@ -147,11 +144,10 @@ func TestPostSubnet_VPCDeleting(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-dying/state", "deleting")
req := SubnetCreateRequest{
Name: "sn-1",
VPC: "vpc-dying",
IfaceType: "vms",
InterfaceIP: "10.0.0.1",
CIDR: "10.0.0.0/24",
Name: "sn-1",
VPC: "vpc-dying",
IfaceType: "vms",
CIDR: "10.0.0.0/24",
}
body, _ := json.Marshal(req)
w := httptest.NewRecorder()
@ -206,6 +202,17 @@ func TestPostSubnet_UnknownMode(t *testing.T) {
}
}
func TestPostSubnet_UnknownModeWithoutInterfaceIP(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
body, _ := json.Marshal(SubnetCreateRequest{Name: "sn-1", VPC: "vpc-1", Mode: "vlan", CIDR: "10.0.0.0/24"})
w := httptest.NewRecorder()
s.SubnetsHandler(w, httptest.NewRequest(http.MethodPost, "/subnets", bytes.NewReader(body)))
if w.Code != http.StatusUnprocessableEntity || !strings.Contains(w.Body.String(), "unknown subnet mode") {
t.Errorf("attendu 422 mode inconnu, obtenu %d : %s", w.Code, w.Body.String())
}
}
func TestPostSubnet_InvalidBody(t *testing.T) {
s, _ := newTestServer(t)
w := httptest.NewRecorder()
@ -337,3 +344,99 @@ func TestCreateSubnet_GatewayRoundTrip(t *testing.T) {
t.Errorf("gateway absente de la réponse GET : %+v", got)
}
}
func postSubnetRequest(t *testing.T, s *Server, req SubnetCreateRequest) *httptest.ResponseRecorder {
t.Helper()
body, _ := json.Marshal(req)
w := httptest.NewRecorder()
s.SubnetsHandler(w, httptest.NewRequest(http.MethodPost, "/subnets", bytes.NewReader(body)))
return w
}
func TestPostSubnet_VxlanRejectsInterfaceIP(t *testing.T) {
for _, mode := range []string{"", "vxlan"} {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
w := postSubnetRequest(t, s, SubnetCreateRequest{
Name: "sn-1", VPC: "vpc-1", Mode: mode,
InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
})
if w.Code != http.StatusBadRequest {
t.Errorf("mode %q : attendu 400, obtenu %d : %s", mode, w.Code, w.Body.String())
}
if _, err := kv.GetFromDB(db, "subnet/sn-1/state"); err == nil {
t.Errorf("mode %q : aucun subnet ne doit être créé", mode)
}
}
}
func TestPostSubnet_BridgeRequiresInterfaceIP(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
w := postSubnetRequest(t, s, SubnetCreateRequest{
Name: "sn-br", VPC: "vpc-1", Mode: "bridge", CIDR: "10.0.0.0/24",
})
if w.Code != http.StatusBadRequest {
t.Errorf("attendu 400, obtenu %d : %s", w.Code, w.Body.String())
}
}
func TestPostSubnet_VxlanReturnsComputedAddresses(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
w := postSubnetRequest(t, s, SubnetCreateRequest{
Name: "sn-vx", VPC: "vpc-1", Mode: "vxlan", CIDR: "10.0.0.0/24",
})
if w.Code != http.StatusAccepted {
t.Fatalf("attendu 202, obtenu %d : %s", w.Code, w.Body.String())
}
var got Subnet
json.NewDecoder(w.Body).Decode(&got)
if got.InterfaceIP != "10.0.0.254" {
t.Errorf("interface_ip attendue 10.0.0.254, obtenu %q", got.InterfaceIP)
}
if got.RelayIP != "10.0.0.253" {
t.Errorf("relay_ip attendu 10.0.0.253, obtenu %q", got.RelayIP)
}
}
func TestGetSubnet_RelayIPOnlyForVxlan(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
if w := postSubnetRequest(t, s, SubnetCreateRequest{
Name: "sn-vx", VPC: "vpc-1", CIDR: "10.0.0.0/24",
}); w.Code != http.StatusAccepted {
t.Fatalf("vxlan : attendu 202, obtenu %d : %s", w.Code, w.Body.String())
}
if w := postSubnetRequest(t, s, SubnetCreateRequest{
Name: "sn-br", VPC: "vpc-1", Mode: "bridge", InterfaceIP: "10.1.0.1", CIDR: "10.1.0.0/24",
}); w.Code != http.StatusAccepted {
t.Fatalf("bridge : attendu 202, obtenu %d : %s", w.Code, w.Body.String())
}
w := httptest.NewRecorder()
s.SubnetByNameHandler(w, httptest.NewRequest(http.MethodGet, "/subnets/sn-vx", nil))
var vx Subnet
json.NewDecoder(w.Body).Decode(&vx)
if vx.RelayIP != "10.0.0.253" {
t.Errorf("relay_ip attendu 10.0.0.253, obtenu %q", vx.RelayIP)
}
w = httptest.NewRecorder()
s.SubnetByNameHandler(w, httptest.NewRequest(http.MethodGet, "/subnets/sn-br", nil))
if strings.Contains(w.Body.String(), "relay_ip") {
t.Errorf("relay_ip ne doit pas apparaître pour un subnet bridge : %s", w.Body.String())
}
w = httptest.NewRecorder()
s.SubnetsHandler(w, httptest.NewRequest(http.MethodGet, "/subnets", nil))
var list []Subnet
json.NewDecoder(w.Body).Decode(&list)
relays := map[string]string{}
for _, sub := range list {
relays[sub.Name] = sub.RelayIP
}
if relays["sn-vx"] != "10.0.0.253" || relays["sn-br"] != "" {
t.Errorf("relay_ip inattendus dans la liste : %v", relays)
}
}

View file

@ -7,6 +7,7 @@ import (
"strings"
dispatcher "git.g3e.fr/syonad/two/internal/dispatcher/agent"
"git.g3e.fr/syonad/two/internal/subnet"
"git.g3e.fr/syonad/two/pkg/db/kv"
)
@ -52,6 +53,8 @@ func (s *Server) listSubnets(w http.ResponseWriter, _ *http.Request) {
subnets[name].LocalIface = value
case "interface_ip":
subnets[name].InterfaceIP = value
case "relay_ip":
subnets[name].RelayIP = value
case "cidr":
subnets[name].CIDR = value
case "default_route":
@ -73,9 +76,25 @@ func (s *Server) postSubnet(w http.ResponseWriter, r *http.Request) {
json.NewEncoder(w).Encode(ErrorResponse{Error: "invalid request body"})
return
}
if req.Name == "" || req.VPC == "" || req.InterfaceIP == "" || req.CIDR == "" {
if req.Name == "" || req.VPC == "" || req.CIDR == "" {
w.WriteHeader(http.StatusBadRequest)
json.NewEncoder(w).Encode(ErrorResponse{Error: "name, vpc, interface_ip and cidr are required"})
json.NewEncoder(w).Encode(ErrorResponse{Error: "name, vpc and cidr are required"})
return
}
if req.Mode != "" && !subnet.ValidMode(req.Mode) {
w.WriteHeader(http.StatusUnprocessableEntity)
json.NewEncoder(w).Encode(ErrorResponse{Error: "unknown subnet mode " + strconv.Quote(req.Mode)})
return
}
vxlan := req.Mode == "" || req.Mode == subnet.ModeVxlan
if !vxlan && req.InterfaceIP == "" {
w.WriteHeader(http.StatusBadRequest)
json.NewEncoder(w).Encode(ErrorResponse{Error: "interface_ip is required for " + req.Mode + " subnets"})
return
}
if vxlan && req.InterfaceIP != "" {
w.WriteHeader(http.StatusBadRequest)
json.NewEncoder(w).Encode(ErrorResponse{Error: "interface_ip is computed for vxlan subnets, do not set it"})
return
}
cmd := dispatcher.CreateSubnetCommand{
@ -124,6 +143,8 @@ func (s *Server) postSubnet(w http.ResponseWriter, r *http.Request) {
sub.LocalIface = value
case "interface_ip":
sub.InterfaceIP = value
case "relay_ip":
sub.RelayIP = value
case "cidr":
sub.CIDR = value
case "default_route":

View file

@ -99,6 +99,7 @@ func TestStartVM_MultiDisk(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24")
body, _ := json.Marshal(VMCreateRequest{
Name: "vm-10",
@ -133,6 +134,7 @@ func TestStartVM_StorageReturnedInResponse(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24")
body, _ := json.Marshal(VMCreateRequest{
Name: "vm-11",
@ -167,6 +169,7 @@ func postVM(t *testing.T, name string, meta VMMetadata) (*httptest.ResponseRecor
s, db := newTestServer(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24")
body, _ := json.Marshal(VMCreateRequest{
Name: name,
@ -291,9 +294,10 @@ func TestVmFromDB_MultipleInterfacesSortedByIndex(t *testing.T) {
func TestStartVM_StoresAllInterfaces(t *testing.T) {
s, db := newTestServer(t)
for _, sn := range []string{"sn-1", "sn-2"} {
for sn, cidr := range map[string]string{"sn-1": "10.1.0.0/24", "sn-2": "10.2.0.0/24"} {
kv.AddInDB(db, "subnet/"+sn+"/state", "running")
kv.AddInDB(db, "subnet/"+sn+"/vpc", "vpc-1")
kv.AddInDB(db, "subnet/"+sn+"/cidr", cidr)
}
body, _ := json.Marshal(VMCreateRequest{
@ -332,9 +336,10 @@ func TestStartVM_RejectsZeroOrTwoPrimaries(t *testing.T) {
}
for label, ifaces := range cases {
s, db := newTestServer(t)
for _, sn := range []string{"sn-1", "sn-2"} {
for sn, cidr := range map[string]string{"sn-1": "10.1.0.0/24", "sn-2": "10.2.0.0/24"} {
kv.AddInDB(db, "subnet/"+sn+"/state", "running")
kv.AddInDB(db, "subnet/"+sn+"/vpc", "vpc-1")
kv.AddInDB(db, "subnet/"+sn+"/cidr", cidr)
}
body, _ := json.Marshal(VMCreateRequest{
Name: "vm-bad",
@ -348,3 +353,71 @@ func TestStartVM_RejectsZeroOrTwoPrimaries(t *testing.T) {
}
}
}
func TestStartVM_RejectsReservedOrForeignAddresses(t *testing.T) {
cases := map[string]string{
"passerelle anycast": "10.0.0.254",
"relais": "10.0.0.253",
"adresse réseau": "10.0.0.0",
"broadcast": "10.0.0.255",
"hors cidr": "10.0.1.5",
"gateway explicite": "10.0.0.1",
}
for label, ip := range cases {
s, db := newTestServer(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24")
kv.AddInDB(db, "subnet/sn-1/interface_ip", "10.0.0.254")
kv.AddInDB(db, "subnet/sn-1/relay_ip", "10.0.0.253")
kv.AddInDB(db, "subnet/sn-1/gateway", "10.0.0.1")
body, _ := json.Marshal(VMCreateRequest{
Name: "vm-ip",
Interfaces: []VMInterface{{Subnet: "sn-1", IP: ip, Primary: true}},
Storage: []VMStorage{{Path: "/data/root.qcow2", Dev: "vda"}},
})
w := httptest.NewRecorder()
s.VmsHandler(w, httptest.NewRequest(http.MethodPost, "/vms", bytes.NewReader(body)))
if w.Code != http.StatusUnprocessableEntity {
t.Errorf("%s : attendu 422, obtenu %d — %s", label, w.Code, w.Body.String())
}
if _, err := kv.GetFromDB(db, "vm/vm-ip/state"); err == nil {
t.Errorf("%s : la VM ne doit pas être créée", label)
}
}
}
func TestStartVM_AcceptsHostAddressBesideReservedOnes(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24")
kv.AddInDB(db, "subnet/sn-1/interface_ip", "10.0.0.254")
kv.AddInDB(db, "subnet/sn-1/relay_ip", "10.0.0.253")
body, _ := json.Marshal(VMCreateRequest{
Name: "vm-ip",
Interfaces: []VMInterface{{Subnet: "sn-1", IP: "10.0.0.252", Primary: true}},
Storage: []VMStorage{{Path: "/data/root.qcow2", Dev: "vda"}},
})
w := httptest.NewRecorder()
s.VmsHandler(w, httptest.NewRequest(http.MethodPost, "/vms", bytes.NewReader(body)))
if w.Code != http.StatusAccepted {
t.Fatalf("attendu 202, obtenu %d : %s", w.Code, w.Body.String())
}
}
func TestStartVM_RejectsSubnetWithoutCIDR(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
body, _ := json.Marshal(VMCreateRequest{
Name: "vm-ip",
Interfaces: []VMInterface{{Subnet: "sn-1", IP: "10.0.0.5", Primary: true}},
Storage: []VMStorage{{Path: "/data/root.qcow2", Dev: "vda"}},
})
w := httptest.NewRecorder()
s.VmsHandler(w, httptest.NewRequest(http.MethodPost, "/vms", bytes.NewReader(body)))
if w.Code != http.StatusUnprocessableEntity || !strings.Contains(w.Body.String(), "has no cidr") {
t.Errorf("attendu 422 « has no cidr », obtenu %d : %s", w.Code, w.Body.String())
}
}

View file

@ -316,3 +316,27 @@ func TestGenerateConfig_MissingInterfaceIPIsAnError(t *testing.T) {
t.Error("sans interface_ip aucune route metadata n'est possible : il faut échouer, pas écrire une conf muette")
}
}
func TestGenerateConfig_ListensOnTheAnycastGateway(t *testing.T) {
conf := newConf(t, "192.168.1.0/29")
conf.Listen = "gw-s9r1"
conf.Except = "br-s9r1"
path, _, _ := GenerateConfig(conf)
content, _ := os.ReadFile(path)
for _, line := range []string{"\ninterface=gw-s9r1\n", "\nexcept-interface=br-s9r1\n"} {
if !strings.Contains(string(content), line) {
t.Errorf("%q absente du fichier généré :\n%s", strings.TrimSpace(line), content)
}
}
}
func TestGenerateConfig_NoInterfaceLinesByDefault(t *testing.T) {
conf := newConf(t, "192.168.1.0/29")
path, _, _ := GenerateConfig(conf)
content, _ := os.ReadFile(path)
if strings.Contains(string(content), "interface=") {
t.Errorf("aucune directive d'interface attendue sans Listen :\n%s", content)
}
}

View file

@ -18,6 +18,12 @@ func GenerateConfig(c Config) (string, map[string]string, error) {
var sb strings.Builder
fmt.Fprintf(&sb, "no-resolv\n")
if c.Listen != "" {
fmt.Fprintf(&sb, "interface=%s\n", c.Listen)
}
if c.Except != "" {
fmt.Fprintf(&sb, "except-interface=%s\n", c.Except)
}
fmt.Fprintf(&sb, "dhcp-range=%s,static,%s,12h\n", c.Network.IP.String(), mask)
fmt.Fprintf(&sb, "dhcp-option=121,%s\n", strings.Join(classlessRoutes(c), ","))
if c.DefaultGateway != nil {

View file

@ -13,4 +13,6 @@ type Config struct {
DefaultGateway net.IP // if non-nil, default route via option 3 and 0.0.0.0/0 in option 121
Name string
ConfDir string
Listen string
Except string
}

View file

@ -11,6 +11,7 @@ type Subnet struct {
Name string
VPC string
Bridge string
Listen string
Network *net.IPNet
InterfaceIP net.IP
VPCRoute *net.IPNet

View file

@ -28,7 +28,7 @@ func (Dnsmasq) Unit(s Subnet) string {
}
func (b Dnsmasq) config(s Subnet) dhcp.Config {
return dhcp.Config{
c := dhcp.Config{
Network: s.Network,
Name: s.Instance(),
ConfDir: b.confDir(),
@ -36,6 +36,11 @@ func (b Dnsmasq) config(s Subnet) dhcp.Config {
VPCRoute: s.VPCRoute,
DefaultGateway: s.DefaultGateway,
}
if s.Listen != "" && s.Listen != s.Bridge {
c.Listen = s.Listen
c.Except = s.Bridge
}
return c
}
func (b Dnsmasq) ConfigureSubnet(s Subnet) error {

View file

@ -111,3 +111,22 @@ func TestDnsmasqSetVM_RejectsAVMWithoutReservation(t *testing.T) {
t.Fatal("a vm with no reservation would get no address: that must be reported")
}
}
func TestDnsmasqConfig_ListenOnGatewayExcludesTheBridge(t *testing.T) {
c := Dnsmasq{}.config(Subnet{VPC: "vp-s9", Bridge: "br-s9r1", Listen: "gw-s9r1"})
if c.Listen != "gw-s9r1" || c.Except != "br-s9r1" {
t.Errorf("Listen %q, Except %q : gw-s9r1 et br-s9r1 attendus", c.Listen, c.Except)
}
if c.Name != "vp-s9_br-s9r1" {
t.Errorf("instance %q : le nom doit rester celui du bridge", c.Name)
}
}
func TestDnsmasqConfig_NoListenKeepsTheCommandLineInterface(t *testing.T) {
for _, listen := range []string{"", "br-s9r1"} {
c := Dnsmasq{}.config(Subnet{VPC: "vp-s9", Bridge: "br-s9r1", Listen: listen})
if c.Listen != "" || c.Except != "" {
t.Errorf("Listen=%q : Listen %q, Except %q, vides attendus", listen, c.Listen, c.Except)
}
}
}

View file

@ -38,6 +38,20 @@ func (c CreateSubnetCommand) Prepare(db *badger.DB, cfg *configuration.Config) e
if _, err := kv.GetFromDB(db, "subnet/"+c.Name+"/state"); err == nil {
return fmt.Errorf("subnet %q already exists", c.Name)
}
relayIP := ""
if c.Mode == subnet.ModeVxlan {
if c.InterfaceIP != "" {
return fmt.Errorf("interface_ip is computed for vxlan subnets, do not set it")
}
addrs, err := subnet.AnycastAddresses(c.CIDR)
if err != nil {
return err
}
c.InterfaceIP = addrs.Gateway.String()
relayIP = addrs.Relay.String()
} else if c.InterfaceIP == "" {
return fmt.Errorf("interface_ip is required for %s subnets", c.Mode)
}
vpcState, err := state.Get(db, "vpc/"+c.VPC)
if err != nil {
return fmt.Errorf("vpc %q not found", c.VPC)
@ -58,6 +72,7 @@ func (c CreateSubnetCommand) Prepare(db *badger.DB, cfg *configuration.Config) e
kv.AddInDB(db, "subnet/"+c.Name+"/default_route", strconv.FormatBool(c.DefaultRoute))
if c.Mode == subnet.ModeVxlan {
kv.AddInDB(db, "subnet/"+c.Name+"/vxlan_id", strconv.Itoa(c.VxlanID))
kv.AddInDB(db, "subnet/"+c.Name+"/relay_ip", relayIP)
}
if c.Gateway != "" {
if err := kv.AddInDB(db, "subnet/"+c.Name+"/gateway", c.Gateway); err != nil {

View file

@ -22,7 +22,7 @@ func TestCreateSubnetCommand_Prepare_Success(t *testing.T) {
kv.AddInDB(db, "vpc/vpc-1/state", "running")
cmd := CreateSubnetCommand{
Name: "sn-1", VPC: "vpc-1", VxlanID: 100,
IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
IfaceType: "vms", CIDR: "10.0.0.0/24",
}
if err := cmd.Prepare(db, testCfg()); err != nil {
t.Fatalf("Prepare a échoué : %v", err)
@ -35,6 +35,10 @@ func TestCreateSubnetCommand_Prepare_Success(t *testing.T) {
if vpc != "vpc-1" {
t.Errorf("vpc attendu vpc-1, obtenu %q", vpc)
}
ip, _ := kv.GetFromDB(db, "subnet/sn-1/interface_ip")
if ip != "10.0.0.254" {
t.Errorf("interface_ip attendue 10.0.0.254, obtenu %q", ip)
}
}
func TestCreateSubnetCommand_Prepare_UsesIfaceTypeMapping(t *testing.T) {
@ -42,7 +46,7 @@ func TestCreateSubnetCommand_Prepare_UsesIfaceTypeMapping(t *testing.T) {
kv.AddInDB(db, "vpc/vpc-1/state", "running")
cmd := CreateSubnetCommand{
Name: "sn-1", VPC: "vpc-1", VxlanID: 100,
IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
IfaceType: "vms", CIDR: "10.0.0.0/24",
}
cmd.Prepare(db, testCfg())
iface, _ := kv.GetFromDB(db, "subnet/sn-1/local_iface")
@ -56,7 +60,7 @@ func TestCreateSubnetCommand_Prepare_UsesDefaultIfaceWhenTypeUnknown(t *testing.
kv.AddInDB(db, "vpc/vpc-1/state", "running")
cmd := CreateSubnetCommand{
Name: "sn-1", VPC: "vpc-1", VxlanID: 100,
IfaceType: "inconnu", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
IfaceType: "inconnu", CIDR: "10.0.0.0/24",
}
cmd.Prepare(db, testCfg())
iface, _ := kv.GetFromDB(db, "subnet/sn-1/local_iface")
@ -71,7 +75,7 @@ func TestCreateSubnetCommand_Prepare_Duplicate(t *testing.T) {
kv.AddInDB(db, "subnet/sn-exist/state", "running")
cmd := CreateSubnetCommand{
Name: "sn-exist", VPC: "vpc-1", VxlanID: 100,
IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
IfaceType: "vms", CIDR: "10.0.0.0/24",
}
if err := cmd.Prepare(db, testCfg()); err == nil {
t.Error("Prepare devrait échouer sur un subnet déjà existant")
@ -82,7 +86,7 @@ func TestCreateSubnetCommand_Prepare_VPCNotFound(t *testing.T) {
_, db := newTestDispatcher(t)
cmd := CreateSubnetCommand{
Name: "sn-1", VPC: "vpc-inexistant", VxlanID: 100,
IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
IfaceType: "vms", CIDR: "10.0.0.0/24",
}
if err := cmd.Prepare(db, testCfg()); err == nil {
t.Error("Prepare devrait échouer si le VPC n'existe pas")
@ -94,7 +98,7 @@ func TestCreateSubnetCommand_Prepare_VPCDeleting(t *testing.T) {
kv.AddInDB(db, "vpc/vpc-dying/state", "deleting")
cmd := CreateSubnetCommand{
Name: "sn-1", VPC: "vpc-dying", VxlanID: 100,
IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
IfaceType: "vms", CIDR: "10.0.0.0/24",
}
if err := cmd.Prepare(db, testCfg()); err == nil {
t.Error("Prepare devrait échouer si le VPC est en cours de suppression")
@ -106,7 +110,7 @@ func TestCreateSubnetCommand_Prepare_VPCDeleted(t *testing.T) {
kv.AddInDB(db, "vpc/vpc-gone/state", "deleted")
cmd := CreateSubnetCommand{
Name: "sn-1", VPC: "vpc-gone", VxlanID: 100,
IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
IfaceType: "vms", CIDR: "10.0.0.0/24",
}
if err := cmd.Prepare(db, testCfg()); err == nil {
t.Error("Prepare devrait échouer si le VPC est supprimé")
@ -118,7 +122,7 @@ func TestCreateSubnetCommand_Prepare_DefaultsToVxlanMode(t *testing.T) {
kv.AddInDB(db, "vpc/vpc-1/state", "running")
cmd := CreateSubnetCommand{
Name: "sn-1", VPC: "vpc-1", VxlanID: 100,
IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
IfaceType: "vms", CIDR: "10.0.0.0/24",
}
cmd.Prepare(db, testCfg())
mode, _ := kv.GetFromDB(db, "subnet/sn-1/mode")
@ -180,7 +184,7 @@ func TestCreateSubnetCommand_Prepare_DefaultRouteStored(t *testing.T) {
kv.AddInDB(db, "vpc/vpc-1/state", "running")
cmd := CreateSubnetCommand{
Name: "sn-1", VPC: "vpc-1", VxlanID: 100,
IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
IfaceType: "vms", CIDR: "10.0.0.0/24",
DefaultRoute: true,
}
if err := cmd.Prepare(db, testCfg()); err != nil {
@ -200,7 +204,7 @@ func TestCreateSubnetCommand_Prepare_DefaultRouteFalseByDefault(t *testing.T) {
kv.AddInDB(db, "vpc/vpc-1/state", "running")
cmd := CreateSubnetCommand{
Name: "sn-1", VPC: "vpc-1", VxlanID: 100,
IfaceType: "vms", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
IfaceType: "vms", CIDR: "10.0.0.0/24",
}
cmd.Prepare(db, testCfg())
val, _ := kv.GetFromDB(db, "subnet/sn-1/default_route")
@ -209,6 +213,76 @@ func TestCreateSubnetCommand_Prepare_DefaultRouteFalseByDefault(t *testing.T) {
}
}
func TestCreateSubnetCommand_Prepare_VxlanComputesAnycastAddresses(t *testing.T) {
db, err := prepareSubnet(t, CreateSubnetCommand{
Name: "sn-any", VxlanID: 100, IfaceType: "vms", CIDR: "10.1.0.0/16",
})
if err != nil {
t.Fatalf("Prepare a échoué : %v", err)
}
if ip, _ := kv.GetFromDB(db, "subnet/sn-any/interface_ip"); ip != "10.1.255.254" {
t.Errorf("interface_ip attendue 10.1.255.254, obtenu %q", ip)
}
if relay, _ := kv.GetFromDB(db, "subnet/sn-any/relay_ip"); relay != "10.1.255.253" {
t.Errorf("relay_ip attendu 10.1.255.253, obtenu %q", relay)
}
}
func TestCreateSubnetCommand_Prepare_VxlanRefusesInterfaceIP(t *testing.T) {
for _, mode := range []string{"", "vxlan"} {
db, err := prepareSubnet(t, CreateSubnetCommand{
Name: "sn-ip", Mode: mode, VxlanID: 100, IfaceType: "vms",
InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
})
if err == nil || !strings.Contains(err.Error(), "interface_ip is computed") {
t.Errorf("mode %q : une interface_ip fournie doit être refusée, obtenu %v", mode, err)
}
if _, err := kv.GetFromDB(db, "subnet/sn-ip/state"); err == nil {
t.Errorf("mode %q : rien ne doit être écrit après un refus", mode)
}
}
}
func TestCreateSubnetCommand_Prepare_VxlanRefusesSlash30(t *testing.T) {
db, err := prepareSubnet(t, CreateSubnetCommand{
Name: "sn-small", VxlanID: 100, IfaceType: "vms", CIDR: "10.0.0.0/30",
})
if err == nil {
t.Fatal("un /30 doit être refusé en mode vxlan")
}
if _, err := kv.GetFromDB(db, "subnet/sn-small/state"); err == nil {
t.Error("rien ne doit être écrit après un refus")
}
}
func TestCreateSubnetCommand_Prepare_BridgeRequiresInterfaceIP(t *testing.T) {
db, err := prepareSubnet(t, CreateSubnetCommand{
Name: "sn-br", Mode: "bridge", IfaceType: "vms", CIDR: "10.0.0.0/24",
})
if err == nil || !strings.Contains(err.Error(), "interface_ip is required") {
t.Errorf("une interface_ip absente doit être refusée en mode bridge, obtenu %v", err)
}
if _, err := kv.GetFromDB(db, "subnet/sn-br/state"); err == nil {
t.Error("rien ne doit être écrit après un refus")
}
}
func TestCreateSubnetCommand_Prepare_BridgeStoresGivenInterfaceIPWithoutRelay(t *testing.T) {
db, err := prepareSubnet(t, CreateSubnetCommand{
Name: "sn-br", Mode: "bridge", IfaceType: "vms",
InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
})
if err != nil {
t.Fatalf("Prepare a échoué : %v", err)
}
if ip, _ := kv.GetFromDB(db, "subnet/sn-br/interface_ip"); ip != "10.0.0.1" {
t.Errorf("interface_ip attendue 10.0.0.1, obtenu %q", ip)
}
if _, err := kv.GetFromDB(db, "subnet/sn-br/relay_ip"); err == nil {
t.Error("relay_ip ne doit être écrit qu'en mode vxlan")
}
}
// --- DeleteSubnetCommand.Prepare ---
func TestDeleteSubnetCommand_Prepare_Success(t *testing.T) {
@ -273,7 +347,7 @@ func prepareSubnet(t *testing.T, cmd CreateSubnetCommand) (*badger.DB, error) {
func TestCreateSubnetCommand_Prepare_StoresGateway(t *testing.T) {
db, err := prepareSubnet(t, CreateSubnetCommand{
Name: "sn-gw", VxlanID: 100, IfaceType: "vms",
InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
CIDR: "10.0.0.0/24",
DefaultRoute: true, Gateway: "10.0.0.254",
})
if err != nil {
@ -291,7 +365,7 @@ func TestCreateSubnetCommand_Prepare_StoresGateway(t *testing.T) {
func TestCreateSubnetCommand_Prepare_NoGatewayWritesNoKey(t *testing.T) {
db, err := prepareSubnet(t, CreateSubnetCommand{
Name: "sn-nogw", VxlanID: 100, IfaceType: "vms",
InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24",
CIDR: "10.0.0.0/24",
})
if err != nil {
t.Fatalf("Prepare a échoué : %v", err)

View file

@ -9,6 +9,7 @@ import (
configuration "git.g3e.fr/syonad/two/internal/config/agent"
"git.g3e.fr/syonad/two/internal/state"
"git.g3e.fr/syonad/two/internal/subnet"
"git.g3e.fr/syonad/two/internal/vm"
"git.g3e.fr/syonad/two/pkg/db/kv"
"github.com/dgraph-io/badger/v4"
@ -106,6 +107,16 @@ func (c StartVMCommand) validateNICs(db *badger.DB) error {
if subnetState != state.Creating && subnetState != state.Running {
return fmt.Errorf("subnet %q is %s", n.Subnet, subnetState)
}
cidr, err := kv.GetFromDB(db, "subnet/"+n.Subnet+"/cidr")
if err != nil {
return fmt.Errorf("subnet %q has no cidr", n.Subnet)
}
interfaceIP, _ := kv.GetFromDB(db, "subnet/"+n.Subnet+"/interface_ip")
relayIP, _ := kv.GetFromDB(db, "subnet/"+n.Subnet+"/relay_ip")
gateway, _ := kv.GetFromDB(db, "subnet/"+n.Subnet+"/gateway")
if err := subnet.CheckHostAddress(cidr, n.IP, interfaceIP, relayIP, gateway); err != nil {
return fmt.Errorf("vm %q on subnet %q: %w", c.Name, n.Subnet, err)
}
}
if primaries != 1 {
return fmt.Errorf("vm %q has %d primary interfaces, expected exactly one", c.Name, primaries)

View file

@ -13,6 +13,7 @@ func TestStartVMCommand_Prepare_SingleDisk(t *testing.T) {
_, db := newTestDispatcher(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24")
cmd := StartVMCommand{
Name: "vm-1",
@ -36,6 +37,7 @@ func TestStartVMCommand_Prepare_MultiDisk(t *testing.T) {
_, db := newTestDispatcher(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24")
cmd := StartVMCommand{
Name: "vm-2",
@ -67,6 +69,7 @@ func TestStartVMCommand_Prepare_SlotGap(t *testing.T) {
_, db := newTestDispatcher(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24")
// sdb absent au boot — slot réservé pour hotplug
cmd := StartVMCommand{
@ -96,6 +99,7 @@ func TestStartVMCommand_Prepare_NoVolumePath(t *testing.T) {
_, db := newTestDispatcher(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24")
cmd := StartVMCommand{
Name: "vm-4",
@ -177,6 +181,7 @@ func prepareWithDocuments(t *testing.T, docs map[string]string) *badger.DB {
_, db := newTestDispatcher(t)
kv.AddInDB(db, "subnet/sn-1/state", "running")
kv.AddInDB(db, "subnet/sn-1/vpc", "vpc-1")
kv.AddInDB(db, "subnet/sn-1/cidr", "10.0.0.0/24")
cmd := StartVMCommand{
Name: "vm-doc",

View file

@ -58,3 +58,34 @@ func DeleteDHCP(iface, ip string) error {
"--ip-source", ip,
"-j", "DROP")
}
func confineRules(iface, mac string) [][]string {
return [][]string{
{"-t", "nat", "PREROUTING", "--in-interface", iface, "-s", mac, "-j", "DROP"},
{"-t", "filter", "FORWARD", "--out-interface", iface, "-s", mac, "-j", "DROP"},
{"-t", "filter", "OUTPUT", "--out-interface", iface, "-s", mac, "-j", "DROP"},
}
}
func withAction(action string, rule []string) []string {
return append([]string{rule[0], rule[1], action}, rule[2:]...)
}
func ConfineMAC(iface, mac string) error {
for _, rule := range confineRules(iface, mac) {
if err := exec.Command("ebtables", withAction("-A", rule)...).Run(); err != nil {
return fmt.Errorf("ebtables confine %s on %s (%s %s): %w", mac, iface, rule[1], rule[2], err)
}
}
return nil
}
func DeleteConfineMAC(iface, mac string) error {
var first error
for _, rule := range confineRules(iface, mac) {
if err := exec.Command("ebtables", withAction("-D", rule)...).Run(); err != nil && first == nil {
first = fmt.Errorf("ebtables unconfine %s on %s (%s %s): %w", mac, iface, rule[1], rule[2], err)
}
}
return first
}

View file

@ -0,0 +1,43 @@
package ebtables
import (
"strings"
"testing"
)
func TestConfineRules(t *testing.T) {
want := []string{
"-t nat -A PREROUTING --in-interface v-s9r1-i -s 02:01:00:00:0b:5f -j DROP",
"-t filter -A FORWARD --out-interface v-s9r1-i -s 02:01:00:00:0b:5f -j DROP",
"-t filter -A OUTPUT --out-interface v-s9r1-i -s 02:01:00:00:0b:5f -j DROP",
}
rules := confineRules("v-s9r1-i", "02:01:00:00:0b:5f")
if len(rules) != len(want) {
t.Fatalf("%d règles, %d attendues", len(rules), len(want))
}
for i, rule := range rules {
if got := strings.Join(withAction("-A", rule), " "); got != want[i] {
t.Errorf("règle %d : %q, %q attendu", i, got, want[i])
}
}
}
func TestDeleteUsesTheSameRules(t *testing.T) {
for _, rule := range confineRules("v-x-i", "02:01:00:00:00:01") {
added := withAction("-A", rule)
deleted := withAction("-D", rule)
if strings.Replace(strings.Join(added, " "), " -A ", " -D ", 1) != strings.Join(deleted, " ") {
t.Errorf("ajout %v et suppression %v divergent", added, deleted)
}
}
}
func TestWithActionDoesNotAlterTheRule(t *testing.T) {
rule := confineRules("v-x-i", "02:01:00:00:00:01")[0]
before := strings.Join(rule, " ")
withAction("-A", rule)
withAction("-D", rule)
if strings.Join(rule, " ") != before {
t.Errorf("la règle a été modifiée : %q devenu %q", before, strings.Join(rule, " "))
}
}

View file

@ -0,0 +1,51 @@
//go:build linux
package netif
import (
"bytes"
"net"
"syscall"
"github.com/vishvananda/netlink"
)
func bridgeLocalEntry(bridgeIndex int, mac net.HardwareAddr) *netlink.Neigh {
return &netlink.Neigh{
LinkIndex: bridgeIndex,
Family: syscall.AF_BRIDGE,
State: netlink.NUD_PERMANENT,
Flags: netlink.NTF_SELF,
HardwareAddr: mac,
}
}
func hasBridgeLocalMAC(entries []netlink.Neigh, bridgeIndex int, mac net.HardwareAddr) bool {
for _, e := range entries {
if e.LinkIndex == bridgeIndex && e.MasterIndex == bridgeIndex &&
e.State&netlink.NUD_PERMANENT != 0 && bytes.Equal(e.HardwareAddr, mac) {
return true
}
}
return false
}
func BridgeAddLocalMAC(bridge string, mac net.HardwareAddr) error {
link, err := netlink.LinkByName(bridge)
if err != nil {
return err
}
return netlink.NeighAdd(bridgeLocalEntry(link.Attrs().Index, mac))
}
func BridgeHasLocalMAC(bridge string, mac net.HardwareAddr) (bool, error) {
link, err := netlink.LinkByName(bridge)
if err != nil {
return false, err
}
entries, err := netlink.NeighList(link.Attrs().Index, syscall.AF_BRIDGE)
if err != nil {
return false, err
}
return hasBridgeLocalMAC(entries, link.Attrs().Index, mac), nil
}

View file

@ -0,0 +1,43 @@
//go:build linux
package netif
import (
"syscall"
"testing"
"github.com/vishvananda/netlink"
)
func TestBridgeLocalEntry(t *testing.T) {
mac, _ := AnycastMAC(2911)
e := bridgeLocalEntry(7, mac)
if e.LinkIndex != 7 || e.Family != syscall.AF_BRIDGE {
t.Errorf("index ou famille inattendus : %d, %d", e.LinkIndex, e.Family)
}
if e.State != netlink.NUD_PERMANENT || e.Flags != netlink.NTF_SELF {
t.Errorf("état %#x et drapeaux %#x, entrée permanente du bridge attendue", e.State, e.Flags)
}
}
func TestHasBridgeLocalMAC(t *testing.T) {
mac, _ := AnycastMAC(2911)
other, _ := AnycastMAC(2912)
local := netlink.Neigh{LinkIndex: 7, MasterIndex: 7, State: netlink.NUD_PERMANENT, HardwareAddr: mac}
cases := []struct {
label string
entries []netlink.Neigh
want bool
}{
{"entrée locale du bridge", []netlink.Neigh{local}, true},
{"seulement la liste unicast du bridge (macvlan)", []netlink.Neigh{{LinkIndex: 7, State: netlink.NUD_PERMANENT, Flags: netlink.NTF_SELF, HardwareAddr: mac}}, false},
{"apprise sur un port", []netlink.Neigh{{LinkIndex: 9, MasterIndex: 7, State: netlink.NUD_REACHABLE, HardwareAddr: mac}}, false},
{"autre MAC", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 7, State: netlink.NUD_PERMANENT, HardwareAddr: other}}, false},
{"aucune entrée", nil, false},
}
for _, c := range cases {
if got := hasBridgeLocalMAC(c.entries, 7, mac); got != c.want {
t.Errorf("%s : %v, %v attendu", c.label, got, c.want)
}
}
}

View file

@ -0,0 +1,16 @@
//go:build !linux
package netif
import (
"errors"
"net"
)
func BridgeAddLocalMAC(_ string, _ net.HardwareAddr) error {
return errors.New("not supported on this platform")
}
func BridgeHasLocalMAC(_ string, _ net.HardwareAddr) (bool, error) {
return false, errors.New("not supported on this platform")
}

View file

@ -2,6 +2,7 @@ package netif
import (
"net"
"syscall"
"github.com/vishvananda/netlink"
)
@ -13,3 +14,27 @@ func LinkIsUp(name string) (bool, error) {
}
return link.Attrs().Flags&net.FlagUp != 0, nil
}
func LinkMAC(name string) (net.HardwareAddr, error) {
link, err := netlink.LinkByName(name)
if err != nil {
return nil, err
}
return link.Attrs().HardwareAddr, nil
}
func LinkIPv4(name string) ([]net.IP, error) {
link, err := netlink.LinkByName(name)
if err != nil {
return nil, err
}
addrs, err := netlink.AddrList(link, syscall.AF_INET)
if err != nil {
return nil, err
}
ips := make([]net.IP, 0, len(addrs))
for _, a := range addrs {
ips = append(ips, a.IP)
}
return ips, nil
}

View file

@ -8,8 +8,11 @@ import (
const (
locallyAdministered byte = 0x02
RoleRouter byte = 0x02
RoleHostGateway byte = 0x03
RoleAnycastGateway byte = 0x01
RoleRouter byte = 0x02
RoleHostGateway byte = 0x03
MaxVNI = 1<<24 - 1
)
func HostMAC(role byte, vtep net.IP) (net.HardwareAddr, error) {
@ -19,3 +22,10 @@ func HostMAC(role byte, vtep net.IP) (net.HardwareAddr, error) {
}
return net.HardwareAddr{locallyAdministered, role, ip[0], ip[1], ip[2], ip[3]}, nil
}
func AnycastMAC(vni int) (net.HardwareAddr, error) {
if vni < 1 || vni > MaxVNI {
return nil, fmt.Errorf("vni %d out of range 1-%d", vni, MaxVNI)
}
return net.HardwareAddr{locallyAdministered, RoleAnycastGateway, 0x00, byte(vni >> 16), byte(vni >> 8), byte(vni)}, nil
}

View file

@ -58,3 +58,43 @@ func TestHostMACRejectsANonIPv4VTEP(t *testing.T) {
}
}
}
func TestAnycastMAC(t *testing.T) {
cases := map[int]string{
1: "02:01:00:00:00:01",
2911: "02:01:00:00:0b:5f",
70000: "02:01:00:01:11:70",
MaxVNI: "02:01:00:ff:ff:ff",
0x123456: "02:01:00:12:34:56",
}
for vni, want := range cases {
got, err := AnycastMAC(vni)
if err != nil {
t.Fatalf("VNI %d : erreur inattendue %v", vni, err)
}
if got.String() != want {
t.Errorf("VNI %d : %s, %s attendu", vni, got, want)
}
if got[0]&0x02 == 0 || got[0]&0x01 != 0 {
t.Errorf("VNI %d : %s n'est pas une MAC unicast administrée localement", vni, got)
}
}
}
func TestAnycastMACRefusesOutOfRangeVNI(t *testing.T) {
for _, vni := range []int{0, -1, MaxVNI + 1} {
if _, err := AnycastMAC(vni); err == nil {
t.Errorf("VNI %d : une erreur était attendue", vni)
}
}
}
func TestAnycastMACDiffersFromHostMACs(t *testing.T) {
anycast, _ := AnycastMAC(2911)
for _, role := range []byte{RoleRouter, RoleHostGateway} {
host, _ := HostMAC(role, net.ParseIP("192.168.14.11"))
if host[1] == anycast[1] {
t.Errorf("rôle %#x : même octet de rôle que la MAC anycast (%s, %s)", role, host, anycast)
}
}
}

26
internal/netif/macvlan.go Normal file
View file

@ -0,0 +1,26 @@
package netif
import (
"net"
"github.com/vishvananda/netlink"
)
func macvlanLink(name string, parentIndex int, mac net.HardwareAddr) *netlink.Macvlan {
return &netlink.Macvlan{
LinkAttrs: netlink.LinkAttrs{
Name: name,
ParentIndex: parentIndex,
HardwareAddr: mac,
},
Mode: netlink.MACVLAN_MODE_BRIDGE,
}
}
func CreateMacvlan(name, parent string, mac net.HardwareAddr) error {
link, err := netlink.LinkByName(parent)
if err != nil {
return err
}
return netlink.LinkAdd(macvlanLink(name, link.Attrs().Index, mac))
}

View file

@ -0,0 +1,25 @@
package netif
import (
"net"
"testing"
"github.com/vishvananda/netlink"
)
func TestMacvlanLink(t *testing.T) {
mac, _ := AnycastMAC(2911)
link := macvlanLink("gw-sn1", 7, mac)
if link.Name != "gw-sn1" || link.ParentIndex != 7 {
t.Errorf("nom ou parent inattendu : %s, %d", link.Name, link.ParentIndex)
}
if link.HardwareAddr.String() != "02:01:00:00:0b:5f" {
t.Errorf("MAC %s, 02:01:00:00:0b:5f attendue", link.HardwareAddr)
}
if link.Mode != netlink.MACVLAN_MODE_BRIDGE {
t.Errorf("mode %v, bridge attendu", link.Mode)
}
if link.Flags&net.FlagUp != 0 {
t.Error("le macvlan doit être créé éteint")
}
}

View file

@ -9,6 +9,10 @@ import (
)
func RouteAdd(iface string, subnet *net.IPNet) error {
return RouteAddFrom(iface, subnet, nil)
}
func RouteAddFrom(iface string, subnet *net.IPNet, src net.IP) error {
link, err := netlink.LinkByName(iface)
if err != nil {
return err
@ -16,6 +20,7 @@ func RouteAdd(iface string, subnet *net.IPNet) error {
return netlink.RouteAdd(&netlink.Route{
LinkIndex: link.Attrs().Index,
Dst: subnet,
Src: src,
Scope: netlink.SCOPE_LINK,
})
}

View file

@ -11,6 +11,10 @@ func RouteAdd(_ string, _ *net.IPNet) error {
return errors.New("not supported on this platform")
}
func RouteAddFrom(_ string, _ *net.IPNet, _ net.IP) error {
return errors.New("not supported on this platform")
}
func TableRoutesVia(_ int, _ string) ([]*net.IPNet, error) {
return nil, errors.New("route listing is only implemented on linux")
}

View file

@ -0,0 +1,88 @@
package subnet
import (
"fmt"
"net/netip"
)
const MaxAnycastPrefix = 29
type Addresses struct {
Prefix netip.Prefix
Network netip.Addr
Broadcast netip.Addr
Gateway netip.Addr
Relay netip.Addr
}
func ParsePrefix(cidr string) (netip.Prefix, error) {
prefix, err := netip.ParsePrefix(cidr)
if err != nil {
return netip.Prefix{}, fmt.Errorf("invalid cidr %q", cidr)
}
if !prefix.Addr().Is4() {
return netip.Prefix{}, fmt.Errorf("cidr %q is not ipv4", cidr)
}
if prefix.Masked() != prefix {
return netip.Prefix{}, fmt.Errorf("cidr %q has host bits set, expected %s", cidr, prefix.Masked())
}
return prefix, nil
}
func broadcastOf(prefix netip.Prefix) netip.Addr {
b := prefix.Addr().As4()
host := uint32(1)<<(32-prefix.Bits()) - 1
v := uint32(b[0])<<24 | uint32(b[1])<<16 | uint32(b[2])<<8 | uint32(b[3]) | host
return netip.AddrFrom4([4]byte{byte(v >> 24), byte(v >> 16), byte(v >> 8), byte(v)})
}
func AnycastAddresses(cidr string) (Addresses, error) {
prefix, err := ParsePrefix(cidr)
if err != nil {
return Addresses{}, err
}
if prefix.Bits() > MaxAnycastPrefix {
return Addresses{}, fmt.Errorf("cidr %q is too small for a vxlan subnet, at most /%d", cidr, MaxAnycastPrefix)
}
broadcast := broadcastOf(prefix)
gateway := broadcast.Prev()
return Addresses{
Prefix: prefix,
Network: prefix.Addr(),
Broadcast: broadcast,
Gateway: gateway,
Relay: gateway.Prev(),
}, nil
}
func CheckHostAddress(cidr, ip string, reserved ...string) error {
prefix, err := netip.ParsePrefix(cidr)
if err != nil || !prefix.Addr().Is4() {
return fmt.Errorf("invalid ipv4 cidr %q", cidr)
}
prefix = prefix.Masked()
addr, err := netip.ParseAddr(ip)
if err != nil {
return fmt.Errorf("invalid ip %q", ip)
}
if !prefix.Contains(addr) {
return fmt.Errorf("ip %s is outside %s", addr, prefix)
}
if prefix.Bits() < 31 {
if addr == prefix.Addr() {
return fmt.Errorf("ip %s is the network address of %s", addr, prefix)
}
if addr == broadcastOf(prefix) {
return fmt.Errorf("ip %s is the broadcast address of %s", addr, prefix)
}
}
for _, r := range reserved {
if r == "" {
continue
}
if other, err := netip.ParseAddr(r); err == nil && other == addr {
return fmt.Errorf("ip %s is reserved by the subnet", addr)
}
}
return nil
}

View file

@ -0,0 +1,146 @@
package subnet
import (
"strings"
"testing"
)
func TestAnycastAddresses_Slash24(t *testing.T) {
a, err := AnycastAddresses("10.0.0.0/24")
if err != nil {
t.Fatalf("AnycastAddresses a échoué : %v", err)
}
for label, c := range map[string][2]string{
"network": {"10.0.0.0", a.Network.String()},
"broadcast": {"10.0.0.255", a.Broadcast.String()},
"gateway": {"10.0.0.254", a.Gateway.String()},
"relay": {"10.0.0.253", a.Relay.String()},
} {
if c[0] != c[1] {
t.Errorf("%s attendu %s, obtenu %s", label, c[0], c[1])
}
}
if a.Prefix.String() != "10.0.0.0/24" {
t.Errorf("prefix attendu 10.0.0.0/24, obtenu %s", a.Prefix)
}
}
func TestAnycastAddresses_Slash16(t *testing.T) {
a, err := AnycastAddresses("172.16.0.0/16")
if err != nil {
t.Fatalf("AnycastAddresses a échoué : %v", err)
}
if a.Broadcast.String() != "172.16.255.255" {
t.Errorf("broadcast attendu 172.16.255.255, obtenu %s", a.Broadcast)
}
if a.Gateway.String() != "172.16.255.254" {
t.Errorf("gateway attendue 172.16.255.254, obtenu %s", a.Gateway)
}
if a.Relay.String() != "172.16.255.253" {
t.Errorf("relay attendu 172.16.255.253, obtenu %s", a.Relay)
}
}
func TestAnycastAddresses_Slash29IsTheSmallestAccepted(t *testing.T) {
a, err := AnycastAddresses("192.168.1.8/29")
if err != nil {
t.Fatalf("un /29 doit être accepté : %v", err)
}
if a.Gateway.String() != "192.168.1.14" {
t.Errorf("gateway attendue 192.168.1.14, obtenu %s", a.Gateway)
}
if a.Relay.String() != "192.168.1.13" {
t.Errorf("relay attendu 192.168.1.13, obtenu %s", a.Relay)
}
}
func TestAnycastAddresses_Refused(t *testing.T) {
cases := map[string]struct {
cidr string
want string
}{
"/30 trop petit": {"10.0.0.0/30", "too small"},
"bits d'hôte": {"10.0.0.1/24", "host bits"},
"ipv6": {"fd00::/64", "not ipv4"},
"cidr illisible": {"pas-un-cidr", "invalid cidr"},
"adresse sans prefix": {"10.0.0.0", "invalid cidr"},
}
for label, c := range cases {
_, err := AnycastAddresses(c.cidr)
if err == nil {
t.Errorf("%s : %q devrait être refusé", label, c.cidr)
continue
}
if !strings.Contains(err.Error(), c.want) {
t.Errorf("%s : erreur attendue contenant %q, obtenu %v", label, c.want, err)
}
}
}
func TestCheckHostAddress_ValidHost(t *testing.T) {
if err := CheckHostAddress("10.0.0.0/24", "10.0.0.5", "10.0.0.254", "10.0.0.253"); err != nil {
t.Errorf("10.0.0.5 devrait être accepté : %v", err)
}
}
func TestCheckHostAddress_Refused(t *testing.T) {
cases := map[string]struct {
ip string
want string
}{
"hors cidr": {"10.0.1.5", "outside"},
"adresse réseau": {"10.0.0.0", "network address"},
"adresse broadcast": {"10.0.0.255", "broadcast address"},
"passerelle réservée": {"10.0.0.254", "reserved"},
"relais réservé": {"10.0.0.253", "reserved"},
"ip illisible": {"10.0.0", "invalid ip"},
"ipv6": {"fd00::5", "outside"},
}
for label, c := range cases {
err := CheckHostAddress("10.0.0.0/24", c.ip, "10.0.0.254", "10.0.0.253")
if err == nil {
t.Errorf("%s : %s devrait être refusé", label, c.ip)
continue
}
if !strings.Contains(err.Error(), c.want) {
t.Errorf("%s : erreur attendue contenant %q, obtenu %v", label, c.want, err)
}
}
}
func TestCheckHostAddress_EmptyReservedIgnored(t *testing.T) {
if err := CheckHostAddress("10.0.0.0/24", "10.0.0.5", "", ""); err != nil {
t.Errorf("des réservations vides ne doivent rien bloquer : %v", err)
}
}
func TestCheckHostAddress_LenientCIDRWithHostBits(t *testing.T) {
if err := CheckHostAddress("10.0.0.1/24", "10.0.0.5"); err != nil {
t.Errorf("un cidr avec bits d'hôte doit être normalisé : %v", err)
}
if err := CheckHostAddress("10.0.0.1/24", "10.0.0.0"); err == nil {
t.Error("l'adresse réseau du cidr normalisé doit rester refusée")
}
}
func TestCheckHostAddress_Slash31And32HaveNoNetworkOrBroadcast(t *testing.T) {
for _, ip := range []string{"10.0.0.0", "10.0.0.1"} {
if err := CheckHostAddress("10.0.0.0/31", ip); err != nil {
t.Errorf("/31 : %s devrait être accepté : %v", ip, err)
}
}
if err := CheckHostAddress("10.0.0.7/32", "10.0.0.7"); err != nil {
t.Errorf("/32 : 10.0.0.7 devrait être accepté : %v", err)
}
if err := CheckHostAddress("10.0.0.7/32", "10.0.0.8"); err == nil {
t.Error("/32 : 10.0.0.8 est hors du cidr et devrait être refusé")
}
}
func TestCheckHostAddress_InvalidCIDR(t *testing.T) {
for _, cidr := range []string{"", "pas-un-cidr", "fd00::/64"} {
if err := CheckHostAddress(cidr, "10.0.0.5"); err == nil {
t.Errorf("cidr %q devrait être refusé", cidr)
}
}
}

View file

@ -0,0 +1,94 @@
package subnet
import (
"errors"
"fmt"
"net"
"git.g3e.fr/syonad/two/internal/ebtables"
"git.g3e.fr/syonad/two/internal/netif"
"git.g3e.fr/syonad/two/internal/netns"
"git.g3e.fr/syonad/two/internal/sysctl"
)
func (d subnetData) anycast() bool { return d.mode == ModeVxlan && d.relayIP != nil }
func (d subnetData) gatewayLink() string { return "gw-" + d.subnetID }
func arpSysctls(iface string) [][2]string {
return [][2]string{
{"net.ipv4.conf." + iface + ".arp_ignore", "1"},
{"net.ipv4.conf." + iface + ".arp_announce", "2"},
}
}
func setupAnycastGateway(d subnetData, vethI string) error {
mac, err := netif.AnycastMAC(d.vxlanID)
if err != nil {
return err
}
gw := d.gatewayLink()
steps := []struct {
name string
fn func() error
}{
{"confine " + mac.String(), func() error { return ebtables.ConfineMAC(vethI, mac.String()) }},
{"arp sysctls on " + d.bridge, func() error { return setSysctls(arpSysctls(d.bridge)) }},
{"relay address on " + d.bridge, func() error { return netif.AddrAdd(d.bridge, d.relayIP) }},
{"create " + gw, func() error { return netif.CreateMacvlan(gw, d.bridge, mac) }},
{"local fdb entry " + mac.String(), func() error { return netif.BridgeAddLocalMAC(d.bridge, mac) }},
{"arp sysctls on " + gw, func() error { return setSysctls(arpSysctls(gw)) }},
{"gateway address on " + gw, func() error { return netif.AddrAdd(gw, d.interfaceIP) }},
{"route " + d.cidr.String(), func() error { return netif.RouteAddFrom(d.bridge, d.cidr, d.interfaceIP) }},
{"set up " + gw, func() error { return netif.LinkSetUp(gw) }},
{"drop arp to gateway", func() error { return ebtables.DropARPToGateway(vethI, d.interfaceIP.String()) }},
{"drop arp to relay", func() error { return ebtables.DropARPToGateway(vethI, d.relayIP.String()) }},
{"drop dhcp from gateway", func() error { return ebtables.DropDHCP(vethI, d.interfaceIP.String()) }},
{"drop dhcp from relay", func() error { return ebtables.DropDHCP(vethI, d.relayIP.String()) }},
}
return netns.Call(d.vpc, func() error {
for _, step := range steps {
if err := step.fn(); err != nil {
return fmt.Errorf("%s: %w", step.name, err)
}
}
return nil
})
}
func deleteAnycastGateway(d subnetData, vethI string) error {
mac, err := netif.AnycastMAC(d.vxlanID)
if err != nil {
return err
}
return netns.Call(d.vpc, func() error {
var errs []error
for _, ip := range []net.IP{d.interfaceIP, d.relayIP} {
if err := ebtables.DeleteARPToGateway(vethI, ip.String()); err != nil {
errs = append(errs, fmt.Errorf("delete ebtables arp rule %s: %w", ip, err))
}
if err := ebtables.DeleteDHCP(vethI, ip.String()); err != nil {
errs = append(errs, fmt.Errorf("delete ebtables dhcp rule %s: %w", ip, err))
}
}
if err := ebtables.DeleteConfineMAC(vethI, mac.String()); err != nil {
errs = append(errs, err)
}
if err := netif.DeleteLink(d.gatewayLink()); err != nil {
errs = append(errs, fmt.Errorf("delete %s: %w", d.gatewayLink(), err))
}
if err := netif.DeleteLink(d.bridge); err != nil {
errs = append(errs, fmt.Errorf("delete bridge: %w", err))
}
return errors.Join(errs...)
})
}
func setSysctls(values [][2]string) error {
for _, kv := range values {
if err := sysctl.Set(kv[0], kv[1]); err != nil {
return err
}
}
return nil
}

View file

@ -0,0 +1,51 @@
package subnet
import (
"net"
"testing"
)
func TestAnycastOnlyForVxlanWithRelay(t *testing.T) {
relay := net.ParseIP("10.0.0.253")
cases := []struct {
label string
d subnetData
want bool
}{
{"vxlan avec relay_ip", subnetData{mode: ModeVxlan, relayIP: relay}, true},
{"vxlan existant sans relay_ip", subnetData{mode: ModeVxlan}, false},
{"bridge", subnetData{mode: ModeBridge, relayIP: relay}, false},
{"public_ip", subnetData{mode: ModePublicIP, relayIP: relay}, false},
}
for _, c := range cases {
if got := c.d.anycast(); got != c.want {
t.Errorf("%s : %v, %v attendu", c.label, got, c.want)
}
}
}
func TestGatewayLinkFitsInterfaceNameLimit(t *testing.T) {
d := subnetData{subnetID: "s9r1", bridge: "br-s9r1"}
if d.gatewayLink() != "gw-s9r1" {
t.Errorf("%s, gw-s9r1 attendu", d.gatewayLink())
}
if len(d.gatewayLink()) != len(d.bridge) {
t.Errorf("%s et %s doivent avoir la même longueur", d.gatewayLink(), d.bridge)
}
}
func TestArpSysctls(t *testing.T) {
want := [][2]string{
{"net.ipv4.conf.br-s9r1.arp_ignore", "1"},
{"net.ipv4.conf.br-s9r1.arp_announce", "2"},
}
got := arpSysctls("br-s9r1")
if len(got) != len(want) {
t.Fatalf("%d sysctls, %d attendus", len(got), len(want))
}
for i := range want {
if got[i] != want[i] {
t.Errorf("sysctl %d : %v, %v attendu", i, got[i], want[i])
}
}
}

View file

@ -105,8 +105,12 @@ func createSubnet(db *badger.DB, subnetName string, d subnetData, backend dhcpba
return fmt.Errorf("set up interfaces in netns: %w", err)
}
switch d.mode {
case "vxlan":
switch {
case d.anycast():
if err := setupAnycastGateway(d, vethI); err != nil {
return fmt.Errorf("configure netns: %w", err)
}
case d.mode == ModeVxlan:
if err := netns.Call(d.vpc, func() error {
if err := netif.AddrAdd(d.bridge, d.interfaceIP); err != nil {
return fmt.Errorf("add addr: %w", err)
@ -121,7 +125,7 @@ func createSubnet(db *badger.DB, subnetName string, d subnetData, backend dhcpba
}); err != nil {
return fmt.Errorf("configure netns: %w", err)
}
case "bridge":
case d.mode == ModeBridge:
if err := netns.Call(d.vpc, func() error {
if err := netif.AddrAdd(d.bridge, d.interfaceIP); err != nil {
return fmt.Errorf("add addr: %w", err)
@ -171,10 +175,15 @@ func startDHCP(db *badger.DB, subnetName string, d subnetData, backend dhcpbacke
return fmt.Errorf("store dhcp entries: %w", err)
}
listen := ""
if d.anycast() {
listen = d.gatewayLink()
}
return backend.ConfigureSubnet(dhcpbackend.Subnet{
Name: subnetName,
VPC: d.vpc,
Bridge: d.bridge,
Listen: listen,
Network: d.cidr,
InterfaceIP: d.interfaceIP,
VPCRoute: vpcRoute,

View file

@ -18,6 +18,7 @@ type subnetData struct {
vxlanID int
localIface string
interfaceIP net.IP
relayIP net.IP
cidr *net.IPNet
vpcCIDR *net.IPNet
defaultRoute bool
@ -70,6 +71,14 @@ func loadSubnet(db *badger.DB, name string) (subnetData, error) {
}
d.interfaceIP = interfaceIP
if relayStr, err := kv.GetFromDB(db, "subnet/"+name+"/relay_ip"); err == nil && relayStr != "" {
relayIP := net.ParseIP(relayStr)
if relayIP == nil {
return d, fmt.Errorf("invalid relay_ip: %s", relayStr)
}
d.relayIP = relayIP
}
cidrStr, err := kv.GetFromDB(db, "subnet/"+name+"/cidr")
if err != nil {
return d, fmt.Errorf("get cidr: %w", err)

View file

@ -79,7 +79,11 @@ func deleteSubnetVxlan(d subnetData) error {
vxlanIface := fmt.Sprintf("vxlan-%d", d.vxlanID)
vethI := "v-" + d.subnetID + "-i"
if err := netns.Call(d.vpc, func() error {
if d.anycast() {
if err := deleteAnycastGateway(d, vethI); err != nil {
return fmt.Errorf("delete netns resources: %w", err)
}
} else if err := netns.Call(d.vpc, func() error {
if err := ebtables.DeleteARPToGateway(vethI, d.interfaceIP.String()); err != nil {
return fmt.Errorf("delete ebtables arp rule: %w", err)
}

View file

@ -0,0 +1,128 @@
package watchdog
import (
"fmt"
"net"
"strconv"
"strings"
"git.g3e.fr/syonad/two/internal/netif"
"git.g3e.fr/syonad/two/internal/netns"
"git.g3e.fr/syonad/two/internal/watchdog/notify"
"git.g3e.fr/syonad/two/pkg/db/kv"
"github.com/dgraph-io/badger/v4"
)
type gatewayState struct {
MAC string
LocalFDB bool
GatewayAddrs []string
BridgeAddrs []string
}
func hasAddr(addrs []string, ip string) bool {
for _, a := range addrs {
if a == ip {
return true
}
}
return false
}
func gatewayProblems(gw, bridge string, got gatewayState, wantMAC, gatewayIP, relayIP string) []string {
var problems []string
if got.MAC != wantMAC {
problems = append(problems, fmt.Sprintf("interface %s has mac %q, expected anycast %s", gw, got.MAC, wantMAC))
}
if !got.LocalFDB {
problems = append(problems, fmt.Sprintf("bridge %s has no local fdb entry for %s, frames to the gateway are flooded", bridge, wantMAC))
}
if !hasAddr(got.GatewayAddrs, gatewayIP) {
problems = append(problems, fmt.Sprintf("interface %s lacks the gateway address %s", gw, gatewayIP))
}
if !hasAddr(got.BridgeAddrs, relayIP) {
problems = append(problems, fmt.Sprintf("interface %s lacks the relay address %s", bridge, relayIP))
}
if hasAddr(got.BridgeAddrs, gatewayIP) {
problems = append(problems, fmt.Sprintf("interface %s carries the gateway address %s, guests would bypass the anycast mac", bridge, gatewayIP))
}
return problems
}
func readGatewayState(gw, bridge string, anycast net.HardwareAddr) (gatewayState, error) {
var st gatewayState
mac, err := netif.LinkMAC(gw)
if err != nil {
return st, err
}
st.MAC = mac.String()
if st.LocalFDB, err = netif.BridgeHasLocalMAC(bridge, anycast); err != nil {
return st, err
}
for _, side := range []struct {
iface string
dst *[]string
}{{gw, &st.GatewayAddrs}, {bridge, &st.BridgeAddrs}} {
ips, err := netif.LinkIPv4(side.iface)
if err != nil {
return st, err
}
*side.dst = ipStrings(ips)
}
return st, nil
}
func ipStrings(ips []net.IP) []string {
out := make([]string, 0, len(ips))
for _, ip := range ips {
out = append(out, ip.String())
}
return out
}
func checkAnycastGateway(db *badger.DB, name, vpc, bridge string, n notify.Notifier) {
relayIP, err := kv.GetFromDB(db, prefixSubnet+name+"/relay_ip")
if err != nil || relayIP == "" {
return
}
gatewayIP, err := kv.GetFromDB(db, prefixSubnet+name+"/interface_ip")
if err != nil {
n.Notify(kindSubnet, name, fmt.Sprintf("interface_ip unreadable in database: %v", err))
return
}
raw, err := kv.GetFromDB(db, prefixSubnet+name+"/vxlan_id")
if err != nil {
return
}
vni, err := strconv.Atoi(raw)
if err != nil {
return
}
wantMAC, err := netif.AnycastMAC(vni)
if err != nil {
n.Notify(kindSubnet, name, err.Error())
return
}
if !netns.Exist(vpc) {
return
}
gw := "gw-" + strings.TrimPrefix(bridge, "br-")
if err := netns.Call(vpc, func() error {
if p := linkProblem(gw); p != "" {
n.Notify(kindSubnet, name, p+" (in netns "+vpc+")")
return nil
}
st, err := readGatewayState(gw, bridge, wantMAC)
if err != nil {
n.Notify(kindSubnet, name, fmt.Sprintf("anycast gateway unreadable in netns %s: %v", vpc, err))
return nil
}
for _, p := range gatewayProblems(gw, bridge, st, wantMAC.String(), gatewayIP, relayIP) {
n.Notify(kindSubnet, name, p+" (in netns "+vpc+")")
}
return nil
}); err != nil {
n.Notify(kindSubnet, name, fmt.Sprintf("cannot enter netns %s: %v", vpc, err))
}
}

View file

@ -0,0 +1,64 @@
package watchdog
import (
"strings"
"testing"
)
func TestGatewayProblems_Healthy(t *testing.T) {
st := gatewayState{
MAC: "02:01:00:00:0b:5f",
LocalFDB: true,
GatewayAddrs: []string{"10.0.0.254"},
BridgeAddrs: []string{"10.0.0.253"},
}
if p := gatewayProblems("gw-x", "br-x", st, "02:01:00:00:0b:5f", "10.0.0.254", "10.0.0.253"); len(p) != 0 {
t.Errorf("aucun problème attendu, obtenu %v", p)
}
}
func TestGatewayProblems_EachDefectIsReported(t *testing.T) {
healthy := func() gatewayState {
return gatewayState{
MAC: "02:01:00:00:0b:5f",
LocalFDB: true,
GatewayAddrs: []string{"10.0.0.254"},
BridgeAddrs: []string{"10.0.0.253"},
}
}
cases := []struct {
label string
mutate func(*gatewayState)
want string
}{
{"MAC du macvlan changée", func(s *gatewayState) { s.MAC = "02:03:c0:a8:0e:0b" }, "expected anycast 02:01:00:00:0b:5f"},
{"entrée FDB locale absente du bridge", func(s *gatewayState) { s.LocalFDB = false }, "no local fdb entry for 02:01:00:00:0b:5f"},
{"gateway absente du macvlan", func(s *gatewayState) { s.GatewayAddrs = nil }, "lacks the gateway address 10.0.0.254"},
{"adresse d'émission absente du bridge", func(s *gatewayState) { s.BridgeAddrs = nil }, "lacks the relay address 10.0.0.253"},
{"gateway posée sur le bridge", func(s *gatewayState) { s.BridgeAddrs = append(s.BridgeAddrs, "10.0.0.254") }, "bypass the anycast mac"},
}
for _, c := range cases {
st := healthy()
c.mutate(&st)
p := gatewayProblems("gw-x", "br-x", st, "02:01:00:00:0b:5f", "10.0.0.254", "10.0.0.253")
if len(p) != 1 || !strings.Contains(p[0], c.want) {
t.Errorf("%s : un problème contenant %q attendu, obtenu %v", c.label, c.want, p)
}
}
}
func TestCheckSubnets_LegacyVxlanHasNoAnycastCheck(t *testing.T) {
db := newTestDB(t)
seedSubnet(t, db, "br-000042", "vp-admin", modeVxlan)
seedKV(t, db, prefixSubnet+"br-000042/vxlan_id", "42")
r := &recorder{}
if err := CheckSubnets(db, dnsmasqConfig(), newFakeUnits(), r); err != nil {
t.Fatalf("erreur inattendue: %v", err)
}
for _, c := range r.calls {
if strings.Contains(c.problem, "gw-") || strings.Contains(c.problem, "anycast") {
t.Errorf("un subnet sans relay_ip ne doit rien signaler sur la gateway anycast : %q", c.problem)
}
}
}

View file

@ -89,6 +89,9 @@ func checkSubnet(db *badger.DB, name string, backend dhcpbackend.Backend, u unit
}
checkSubnetNetns(name, vpc, nsVeth, bridge, n)
if mode == modeVxlan {
checkAnycastGateway(db, name, vpc, bridge, n)
}
checkDHCP(db, name, dhcpbackend.Subnet{Name: name, VPC: vpc, Bridge: bridge}, backend, u, n)
}

View file

@ -58,12 +58,25 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
- Le démarrage échoue si la section est incomplète, si FRR tourne déjà sous un autre AS ou si
`vtysh` ne répond pas
**Gateway des subnets `vxlan`**
**Gateway anycast des subnets `vxlan` (#57)**
- Le bridge du subnet porte une **MAC propre à l'hôte**, `02:03:<IPv4 du VTEP>`, posée à la
création du subnet. Une MAC identique sur tous les hôtes (anycast) a été essayée puis retirée :
annoncée en double en EVPN, elle empêchait aussi une gateway de joindre en L2 une VM d'un autre
hôte (#57)
- La gateway et l'adresse d'émission sont **calculées** par l'agent : avant-dernière adresse du
`cidr` (`.254` en `/24`) pour la gateway, exposée comme `interface_ip`, et celle d'avant
(`.253`) pour l'adresse d'émission, exposée comme nouveau champ `relay_ip`. Le `cidr` doit
être sans bits d'hôte et faire au plus `/29`
- La gateway est portée par un macvlan `gw-<subnet>` à **MAC anycast** `02:01:00:<VNI sur 24 bits>`,
identique sur tous les hôtes qui portent le subnet : une VM résout toujours sa gateway vers son
hôte. Le bridge garde une MAC propre à l'hôte, `02:03:<IPv4 du VTEP>`, et porte l'adresse
d'émission, d'où partent les requêtes ARP du netns
- Une VM qui reçoit la requête ARP d'un autre hôte ne change plus de gateway : jusqu'ici, elle
envoyait pendant quelques secondes son trafic à cet hôte, coupant métadonnées, renouvellement
DHCP et sessions depuis le netns. Mesuré en lab : aucune perte pendant cette fenêtre
- La MAC anycast est confinée au netns — règles ebtables sur le veth du subnet et entrée FDB
locale dans le bridge — et n'apparaît jamais en EVPN. Le DHCP écoute sur `gw-<subnet>` ; la
route du subnet a la gateway pour source
- Une VM ne peut prendre ni la gateway, ni l'adresse d'émission, ni la `gateway` explicite, ni
l'adresse de réseau ou de broadcast du subnet, ni une adresse hors de son `cidr` (422)
- Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l'entrée FDB
**Exploitation**
@ -109,9 +122,8 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
- **L3VNI** : pas de migration à chaud ; le cache ARP d'une VM qui changerait d'hôte reste à
traiter (#57). MTU 1500 de bout en bout (#56). Un seul route reflector qualifié (#54). Le
transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. MTU
1500 de bout en bout (#56). Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
rejetés comme « martiens » (traceroute partiel)
- Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas :
au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52)
@ -136,10 +148,16 @@ curl -O https://git.g3e.fr/syonad/two/raw/branch/main/scripts/deploy.sh
bash ./deploy.sh -t 0.2.0
```
Aucune action n'est requise : sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le
comportement est celui de la 0.1.0, à une exception près — **un subnet encore utilisé par une VM
ne se supprime plus** : supprimer les VM d'abord. Les subnets `vxlan` existants gardent leur MAC
de gateway jusqu'à leur recréation.
Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à
deux exceptions près, qui touchent les appelants de l'API :
- **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le
calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières
adresses utilisables du subnet. Il reste obligatoire en `bridge` et `public_ip`
- **un subnet encore utilisé par une VM ne se supprime plus** : supprimer les VM d'abord
Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le
bridge) jusqu'à leur recréation.
Pour router entre hyperviseurs : ajouter la section `bgp`, réduire `frr.conf` à `hostname` et
`log` (l'agent pose le reste), puis créer les VPC avec `l3vni`. Pour passer au serveur intégré, suivre la procédure de bascule dans la

View file

@ -54,12 +54,16 @@ vpc_create () {
}
subnet_create () {
local name="${1}" vpc="${2}" vni="${3}" gw="${4}" cidr="${5}" extra="${6:-}"
local name="${1}" vpc="${2}" vni="${3}" cidr="${4}" extra="${5:-}"
api_state "subnets/${name}" | grep -qx running && return 0
api_post subnets "{\"name\":\"${name}\",\"vpc\":\"${vpc}\",\"mode\":\"vxlan\",\"vxlan_id\":${vni},\"iface_type\":\"vms\",\"interface_ip\":\"${gw}\",\"cidr\":\"${cidr}\"${extra}}" \
api_post subnets "{\"name\":\"${name}\",\"vpc\":\"${vpc}\",\"mode\":\"vxlan\",\"vxlan_id\":${vni},\"iface_type\":\"vms\",\"cidr\":\"${cidr}\"${extra}}" \
&& wait_state "subnets/${name}" running
}
anycast_mac () {
printf '02:01:00:%02x:%02x:%02x\n' $(( ${1} >> 16 & 255 )) $(( ${1} >> 8 & 255 )) $(( ${1} & 255 ))
}
two_image () {
[ -f "${TWO_IMAGE}" ] && return 0
local work

View file

@ -193,6 +193,23 @@ test_vpc_create_sends_the_l3vni_only_when_given () {
teardown
}
test_subnet_create_lets_the_agent_compute_the_gateway () {
setup "subnet_create : vxlan sans interface_ip, champs supplémentaires ajoutés"
local stub='api_state () { echo; }; wait_state () { :; }; api_post () { echo "$1 $2"; }; '
[[ $(node "${stub}subnet_create sn-s1a vp-s1 2101 10.210.1.0/24") == 'subnets {"name":"sn-s1a","vpc":"vp-s1","mode":"vxlan","vxlan_id":2101,"iface_type":"vms","cidr":"10.210.1.0/24"}' ]] \
|| fail "sans extra : $(node "${stub}subnet_create sn-s1a vp-s1 2101 10.210.1.0/24")"
[[ $(node "${stub}subnet_create sn-s2b vp-s2 2202 10.220.2.0/24 ',\"default_route\":true'") == 'subnets {"name":"sn-s2b","vpc":"vp-s2","mode":"vxlan","vxlan_id":2202,"iface_type":"vms","cidr":"10.220.2.0/24","default_route":true}' ]] \
|| fail "avec extra : $(node "${stub}subnet_create sn-s2b vp-s2 2202 10.220.2.0/24 ',\"default_route\":true'")"
teardown
}
test_anycast_mac_encodes_the_vni_on_24_bits () {
setup "anycast_mac : 02:01:00 suivi de la VNI sur 24 bits"
[[ $(node 'anycast_mac 2911') == 02:01:00:00:0b:5f ]] || fail "2911 : $(node 'anycast_mac 2911')"
[[ $(node 'anycast_mac 16777215') == 02:01:00:ff:ff:ff ]] || fail "VNI max : $(node 'anycast_mac 16777215')"
teardown
}
test_api_code_returns_the_http_status () {
setup "api_code : méthode, chemin et code HTTP"
[[ $(node 'curl () { echo "$*" >&2; echo 409; }; api_code DELETE subnets/sn-a 2>/dev/null') == 409 ]] || fail "code"

View file

@ -2,8 +2,8 @@ on hv1 <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two"; exit 0; }
KEY=$(vm_key)
check "VPC vp-s1" vpc_create vp-s1 10.210.0.0/16
check "subnet sn-s1a" subnet_create sn-s1a vp-s1 2101 10.210.1.1 10.210.1.0/24
check "subnet sn-s1b" subnet_create sn-s1b vp-s1 2102 10.210.2.1 10.210.2.0/24
check "subnet sn-s1a" subnet_create sn-s1a vp-s1 2101 10.210.1.0/24
check "subnet sn-s1b" subnet_create sn-s1b vp-s1 2102 10.210.2.0/24
check "backend two : socket de contrôle de sn-s1a" test -S /run/two/dhcp/vp-s1_br-s1a.sock
check "backend two : socket de contrôle de sn-s1b" test -S /run/two/dhcp/vp-s1_br-s1b.sock
check "VM s1-a1, démarrée seule" vm_create s1-a1 sn-s1a 10.210.1.10 "${KEY}"
@ -16,7 +16,7 @@ wait "${A}"; RA=$?
wait "${B}"; RB=$?
check "VM s1-a2, démarrée en même temps que s1-b2" test "${RA}" -eq 0
check "VM s1-b2, démarrée en même temps que s1-a2" test "${RB}" -eq 0
for vm in 10.210.1.10:10.210.1.1 10.210.1.11:10.210.1.1 10.210.2.10:10.210.2.1 10.210.2.11:10.210.2.1; do
for vm in 10.210.1.10:10.210.1.254 10.210.1.11:10.210.1.254 10.210.2.10:10.210.2.254 10.210.2.11:10.210.2.254; do
ip=${vm%%:*}; gw=${vm#*:}
check "${ip} joignable" vm_wait vp-s1 "${ip}"
check "${ip} : adresse de son propre subnet" has_addr vp-s1 "${ip}"

View file

@ -0,0 +1,53 @@
for host in hv1 hv2; do
on "${host}" "HOST=${host}" <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two (${HOST})"; exit 0; }
KEY=$(vm_key)
case "${HOST}" in hv1) n=1 ;; hv2) n=2 ;; esac
check "${HOST} : VPC vp-s11, sans l3vni" vpc_create vp-s11 10.252.0.0/16
check "${HOST} : subnet sn-s11a (VNI 3111)" subnet_create sn-s11a vp-s11 3111 10.252.1.0/24
check "${HOST} : subnet sn-s11b (VNI 3112)" subnet_create sn-s11b vp-s11 3112 10.252.2.0/24
check "${HOST} : VM s11-a${n} 10.252.1.1${n}" vm_create "s11-a${n}" sn-s11a "10.252.1.1${n}" "${KEY}"
check "${HOST} : VM s11-b${n} 10.252.2.1${n}" vm_create "s11-b${n}" sn-s11b "10.252.2.1${n}" "${KEY}"
check "${HOST} : s11-a${n} joignable" vm_wait vp-s11 "10.252.1.1${n}"
check "${HOST} : s11-b${n} joignable" vm_wait vp-s11 "10.252.2.1${n}"
check "${HOST} : MAC anycast inscrite dans la FDB du bridge de sn-s11a" sh -c 'ip netns exec vp-s11 bridge fdb show br br-s11a | grep -qi "^$1 dev br-s11a master br-s11a permanent"' _ "$(anycast_mac 3111)"
check "${HOST} : le netns émet vers sn-s11a depuis la gateway 10.252.1.254" sh -c "ip -n vp-s11 -4 route get 10.252.1.1${n} | grep -q 'src 10.252.1.254 '"
NODE
done
on hv2 <<'NODE'
check "prérequis : s11-a2 résout sa gateway vers la MAC anycast" vm_grep vp-s11 10.252.1.12 'ping -n -c 1 -W 2 10.252.1.254 >/dev/null; ip neigh show 10.252.1.254' "lladdr $(anycast_mac 3111) "
rm -f /tmp/s11.log
nohup ip netns exec vp-s11 bash -c 'for i in $(seq 1 80); do if timeout 1 bash -c "</dev/tcp/10.252.1.12/22" 2>/dev/null; then echo "$(date +%T.%N) ok"; else echo "$(date +%T.%N) KO"; fi; sleep 0.5; done' > /tmp/s11.log 2>&1 &
sleep 3
NODE
on hv1 <<'NODE'
check "hv1 : entrées ARP du netns retirées sur sn-s11a" ip -n vp-s11 neigh flush dev br-s11a
check "s11-b1 (hv1) joint s11-a2 (hv2), autre subnet : relais L2 depuis l'adresse d'émission de hv1" vm_ssh vp-s11 10.252.2.11 'ping -n -c 3 -W 2 10.252.1.12'
NODE
on hv2 <<'NODE'
MAC=$(anycast_mac 3111)
check "fenêtre ouverte : s11-a2 associe l'adresse d'émission 10.252.1.253 à la MAC de hv1" vm_grep vp-s11 10.252.1.12 'ip neigh show 10.252.1.253' 'lladdr 02:03:c0:a8:0e:0b '
check "pendant la fenêtre : la gateway de s11-a2 reste la MAC anycast ${MAC}" vm_grep vp-s11 10.252.1.12 'ip neigh show 10.252.1.254' "lladdr ${MAC} "
check "pendant la fenêtre : métadonnées servies à s11-a2" vm_grep vp-s11 10.252.1.12 "python3 -c \"import urllib.request; print(urllib.request.urlopen('http://169.254.169.254/meta-data', timeout=5).read().decode())\"" 'instance-id: s11-a2'
BEFORE=$(vm_ssh vp-s11 10.252.1.12 'stat -c %Y /run/systemd/netif/leases/*')
sleep 2
check "pendant la fenêtre : renouvellement DHCP demandé" vm_ssh vp-s11 10.252.1.12 'sudo networkctl renew ens3'
renewed () {
local i
for i in $(seq 1 15); do
[ "$(vm_ssh vp-s11 10.252.1.12 'stat -c %Y /run/systemd/netif/leases/*')" != "${BEFORE}" ] && return 0
sleep 1
done
echo "bail non réécrit" >&2
return 1
}
check "pendant la fenêtre : bail renouvelé" renewed
check "bail tenu par la gateway 10.252.1.254" vm_grep vp-s11 10.252.1.12 'cat /run/systemd/netif/leases/*' 'SERVER_ADDRESS=10.252.1.254'
check "s11-a2 garde son adresse après le renouvellement" has_addr vp-s11 10.252.1.12
for i in $(seq 1 60); do [ "$(wc -l < /tmp/s11.log)" -ge 80 ] && break; sleep 1; done
info "connexions TCP du netns de hv2 vers s11-a2:22 : $(grep -c ' ok$' /tmp/s11.log) réussies, $(grep -c ' KO$' /tmp/s11.log) perdues ; $(grep ' KO$' /tmp/s11.log | head -3 | tr '\n' ' ')"
check "aucune connexion TCP du netns de hv2 vers sa VM perdue pendant la fenêtre (80/80)" test "$(grep -c ' ok$' /tmp/s11.log)" -eq 80
NODE

View file

@ -2,25 +2,35 @@ on hv1 <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two"; exit 0; }
KEY=$(vm_key)
check "VPC vp-s2" vpc_create vp-s2 10.220.0.0/16
check "subnet sn-s2a, default_route absent" subnet_create sn-s2a vp-s2 2201 10.220.1.1 10.220.1.0/24
check "subnet sn-s2b, default_route et gateway 10.220.2.254" subnet_create sn-s2b vp-s2 2202 10.220.2.1 10.220.2.0/24 ',"default_route":true,"gateway":"10.220.2.254"'
check "subnet sn-s2a, default_route absent" subnet_create sn-s2a vp-s2 2201 10.220.1.0/24
check "subnet sn-s2b, default_route et gateway 10.220.2.1" subnet_create sn-s2b vp-s2 2202 10.220.2.0/24 ',"default_route":true,"gateway":"10.220.2.1"'
check "sn-s2a : gateway calculée 10.220.1.254 et adresse d'émission 10.220.1.253" sh -c "curl -fsS ${API}/subnets/sn-s2a | jq -e '.interface_ip == \"10.220.1.254\" and .relay_ip == \"10.220.1.253\"'"
vm_refused () {
curl -s -X POST -H 'Content-Type: application/json' "${API}/vms" \
-d "{\"name\":\"s2-x\",\"memory\":512,\"cpus\":1,\"interfaces\":[{\"subnet\":\"sn-s2a\",\"ip\":\"${1}\",\"primary\":true}],\"storage\":[{\"path\":\"/nonexistent\",\"dev\":\"vda\"}]}" |
grep -q 'reserved by the subnet'
}
check "VM refusée sur la gateway calculée" vm_refused 10.220.1.254
check "VM refusée sur l'adresse d'émission" vm_refused 10.220.1.253
check "interface_ip fourni sur un subnet vxlan refusé" sh -c "curl -s -X POST -H 'Content-Type: application/json' -d '{\"name\":\"sn-s2x\",\"vpc\":\"vp-s2\",\"mode\":\"vxlan\",\"vxlan_id\":2203,\"iface_type\":\"vms\",\"interface_ip\":\"10.220.3.1\",\"cidr\":\"10.220.3.0/24\"}' ${API}/subnets | grep -q 'computed for vxlan'"
check "VM s2-a" vm_create s2-a sn-s2a 10.220.1.10 "${KEY}"
check "VM s2-b" vm_create s2-b sn-s2b 10.220.2.10 "${KEY}"
check "s2-a joignable" vm_wait vp-s2 10.220.1.10
check "s2-b joignable" vm_wait vp-s2 10.220.2.10
check "sn-s2a : route par défaut via interface_ip 10.220.1.1" route_via vp-s2 10.220.1.10 default 10.220.1.1
check "sn-s2a : route vers la VPC via interface_ip" route_via vp-s2 10.220.1.10 10.220.0.0/16 10.220.1.1
check "sn-s2a : route /32 vers les métadonnées via interface_ip" route_via vp-s2 10.220.1.10 169.254.169.254 10.220.1.1
check "sn-s2b : route par défaut via la gateway 10.220.2.254" route_via vp-s2 10.220.2.10 default 10.220.2.254
check "sn-s2b : route vers la VPC via interface_ip, pas via la gateway" route_via vp-s2 10.220.2.10 10.220.0.0/16 10.220.2.1
check "sn-s2b : route /32 vers les métadonnées via interface_ip" route_via vp-s2 10.220.2.10 169.254.169.254 10.220.2.1
check "sn-s2a : route par défaut via la gateway 10.220.1.254" route_via vp-s2 10.220.1.10 default 10.220.1.254
check "sn-s2a : route vers la VPC via la gateway" route_via vp-s2 10.220.1.10 10.220.0.0/16 10.220.1.254
check "sn-s2a : route /32 vers les métadonnées via la gateway" route_via vp-s2 10.220.1.10 169.254.169.254 10.220.1.254
check "sn-s2b : route par défaut via la gateway explicite 10.220.2.1" route_via vp-s2 10.220.2.10 default 10.220.2.1
check "sn-s2b : route vers la VPC via la gateway du subnet, pas via la gateway explicite" route_via vp-s2 10.220.2.10 10.220.0.0/16 10.220.2.254
check "sn-s2b : route /32 vers les métadonnées via la gateway du subnet" route_via vp-s2 10.220.2.10 169.254.169.254 10.220.2.254
check "suppression de s2-a" vm_delete s2-a
check "suppression de sn-s2a" api_delete subnets/sn-s2a
check "sn-s2a supprimé" wait_state subnets/sn-s2a deleted
check "sn-s2a recréé" subnet_create sn-s2a vp-s2 2201 10.220.1.1 10.220.1.0/24
check "sn-s2a : plus de macvlan gw-s2a dans le netns" sh -c "! ip -n vp-s2 link show gw-s2a >/dev/null 2>&1"
check "sn-s2a recréé" subnet_create sn-s2a vp-s2 2201 10.220.1.0/24
check "VM s2-a2 sur le subnet recréé" vm_create s2-a2 sn-s2a 10.220.1.11 "${KEY}"
check "s2-a2 joignable" vm_wait vp-s2 10.220.1.11
check "après recréation : route par défaut via interface_ip 10.220.1.1" route_via vp-s2 10.220.1.11 default 10.220.1.1
check "après recréation : route vers la VPC via interface_ip" route_via vp-s2 10.220.1.11 10.220.0.0/16 10.220.1.1
check "après recréation : route /32 vers les métadonnées" route_via vp-s2 10.220.1.11 169.254.169.254 10.220.1.1
check "après recréation : route par défaut via la gateway 10.220.1.254" route_via vp-s2 10.220.1.11 default 10.220.1.254
check "après recréation : route vers la VPC via la gateway" route_via vp-s2 10.220.1.11 10.220.0.0/16 10.220.1.254
check "après recréation : route /32 vers les métadonnées" route_via vp-s2 10.220.1.11 169.254.169.254 10.220.1.254
NODE

View file

@ -3,13 +3,13 @@ two_image || { echo "ÉCHOUÉ: image compatible two"; exit 0; }
KEY=$(vm_key)
check "VPC vp-s3a" vpc_create vp-s3a 10.230.0.0/16
check "VPC vp-s3b" vpc_create vp-s3b 10.231.0.0/16
check "subnet sn-s3a" subnet_create sn-s3a vp-s3a 2301 10.230.1.1 10.230.1.0/24
check "subnet sn-s3b" subnet_create sn-s3b vp-s3b 2302 10.231.1.1 10.231.1.0/24
check "subnet sn-s3a" subnet_create sn-s3a vp-s3a 2301 10.230.1.0/24
check "subnet sn-s3b" subnet_create sn-s3b vp-s3b 2302 10.231.1.0/24
check "VM s3-x dans vp-s3a" vm_create s3-x sn-s3a 10.230.1.10 "${KEY}"
check "VM s3-y dans vp-s3b" vm_create s3-y sn-s3b 10.231.1.10 "${KEY}"
check "s3-x joignable depuis sa VPC" vm_wait vp-s3a 10.230.1.10
check "s3-y joignable depuis sa VPC (témoin : la cible est vivante)" vm_wait vp-s3b 10.231.1.10
check "s3-x joint sa passerelle (témoin)" vm_ssh vp-s3a 10.230.1.10 'ping -c 2 -W 2 10.230.1.1'
check "s3-x joint sa passerelle (témoin)" vm_ssh vp-s3a 10.230.1.10 'ping -c 2 -W 2 10.230.1.254'
check "s3-x ne joint pas s3-y en ICMP" vm_fails vp-s3a 10.230.1.10 'ping -c 2 -W 2 10.231.1.10'
check "s3-x n'ouvre pas de connexion TCP vers s3-y:22" vm_fails vp-s3a 10.230.1.10 'timeout 5 bash -c "</dev/tcp/10.231.1.10/22"'
check "s3-y ne joint pas s3-x en ICMP" vm_fails vp-s3b 10.231.1.10 'ping -c 2 -W 2 10.230.1.10'

View file

@ -2,14 +2,14 @@ on hv1 <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two (hv1)"; exit 0; }
KEY=$(vm_key)
check "hv1 : VPC vp-s4" vpc_create vp-s4 10.240.0.0/16
check "hv1 : subnet sn-s4" subnet_create sn-s4 vp-s4 2401 10.240.1.1 10.240.1.0/24
check "hv1 : subnet sn-s4" subnet_create sn-s4 vp-s4 2401 10.240.1.0/24
check "hv1 : vxlan-2401 porte l'adresse VTEP locale 192.168.14.11" sh -c "ip -d link show vxlan-2401 | grep -q 'local 192.168.14.11 '"
check "hv1 : VM s4-p" vm_create s4-p sn-s4 10.240.1.10 "${KEY}"
NODE
on hv2 <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two (hv2)"; exit 0; }
check "hv2 : VPC vp-s4" vpc_create vp-s4 10.240.0.0/16
check "hv2 : subnet sn-s4" subnet_create sn-s4 vp-s4 2401 10.240.1.1 10.240.1.0/24
check "hv2 : subnet sn-s4" subnet_create sn-s4 vp-s4 2401 10.240.1.0/24
check "hv2 : vxlan-2401 porte l'adresse VTEP locale 192.168.14.12" sh -c "ip -d link show vxlan-2401 | grep -q 'local 192.168.14.12 '"
check "hv2 : VM s4-q" vm_create s4-q sn-s4 10.240.1.11
NODE

View file

@ -2,16 +2,16 @@ on hv1 <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two (hv1)"; exit 0; }
KEY=$(vm_key)
check "hv1 : VPC vp-s5a" vpc_create vp-s5a 10.245.0.0/16
check "hv1 : subnet sn-s5a (VNI 2501)" subnet_create sn-s5a vp-s5a 2501 10.245.1.1 10.245.1.0/24
check "hv1 : subnet sn-s5a (VNI 2501)" subnet_create sn-s5a vp-s5a 2501 10.245.1.0/24
check "hv1 : VM s5-r dans vp-s5a" vm_create s5-r sn-s5a 10.245.1.10 "${KEY}"
NODE
on hv2 <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two (hv2)"; exit 0; }
check "hv2 : VPC vp-s5a" vpc_create vp-s5a 10.245.0.0/16
check "hv2 : subnet sn-s5a (VNI 2501)" subnet_create sn-s5a vp-s5a 2501 10.245.1.1 10.245.1.0/24
check "hv2 : subnet sn-s5a (VNI 2501)" subnet_create sn-s5a vp-s5a 2501 10.245.1.0/24
check "hv2 : VM s5-t dans vp-s5a (témoin)" vm_create s5-t sn-s5a 10.245.1.12
check "hv2 : VPC vp-s5b, même plage" vpc_create vp-s5b 10.245.0.0/16
check "hv2 : subnet sn-s5b (VNI 2502), même plage" subnet_create sn-s5b vp-s5b 2502 10.245.1.1 10.245.1.0/24
check "hv2 : subnet sn-s5b (VNI 2502), même plage" subnet_create sn-s5b vp-s5b 2502 10.245.1.0/24
check "hv2 : VM s5-s dans vp-s5b" vm_create s5-s sn-s5b 10.245.1.11
NODE
on hv1 <<'NODE'

View file

@ -3,22 +3,22 @@ two_image || { echo "ÉCHOUÉ: image compatible two (hv1)"; exit 0; }
KEY=$(vm_key)
check "hv1 : base BGP posée par l'agent et enregistrée dans frr.conf" grep -qx ' neighbor 10.255.255.1 peer-group fabric' /etc/frr/frr.conf
check "hv1 : VPC vp-s7, l3vni 2700" vpc_create vp-s7 10.241.0.0/16 2700
check "hv1 : subnet sn-s7d (VNI 2711), seulement sur hv1" subnet_create sn-s7d vp-s7 2711 10.241.1.1 10.241.1.0/24
check "hv1 : subnet sn-s7d (VNI 2711), seulement sur hv1" subnet_create sn-s7d vp-s7 2711 10.241.1.0/24
check "hv1 : VM s7-a" vm_create s7-a sn-s7d 10.241.1.10 "${KEY}"
NODE
on hv2 <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two (hv2)"; exit 0; }
check "hv2 : VPC vp-s7, l3vni 2700" vpc_create vp-s7 10.241.0.0/16 2700
check "hv2 : subnet sn-s7e (VNI 2712), seulement sur hv2" subnet_create sn-s7e vp-s7 2712 10.241.2.1 10.241.2.0/24
check "hv2 : subnet sn-s7e (VNI 2712), seulement sur hv2" subnet_create sn-s7e vp-s7 2712 10.241.2.0/24
check "hv2 : VM s7-b" vm_create s7-b sn-s7e 10.241.2.10
check "hv2 : VPC vp-s7b, même plage, l3vni 2701" vpc_create vp-s7b 10.241.0.0/16 2701
check "hv2 : subnet sn-s7x (VNI 2713), même plage que sn-s7e" subnet_create sn-s7x vp-s7b 2713 10.241.2.1 10.241.2.0/24
check "hv2 : subnet sn-s7x (VNI 2713), même plage que sn-s7e" subnet_create sn-s7x vp-s7b 2713 10.241.2.0/24
check "hv2 : VM s7-x dans vp-s7b" vm_create s7-x sn-s7x 10.241.2.20
check "hv2 : l3vni 2700 déjà prise par vp-s7, refusée (409)" test "$(curl -s -o /dev/null -w '%{http_code}' -X POST -H 'Content-Type: application/json' -d '{"name":"vp-s7c","cidr":"10.249.0.0/16","l3vni":2700}' "${API}/vpcs")" = 409
NODE
on hv1 <<'NODE'
check "s7-a joignable" vm_wait vp-s7 10.241.1.10
check "s7-a : route vers la VPC 10.241.0.0/16 via interface_ip (DHCP)" route_via vp-s7 10.241.1.10 10.241.0.0/16 10.241.1.1
check "s7-a : route vers la VPC 10.241.0.0/16 via la gateway (DHCP)" route_via vp-s7 10.241.1.10 10.241.0.0/16 10.241.1.254
check "hv1 : vrf-s7 contient exactement brl3-s7 et l3-s7-o" sh -c "[ \"\$1\" = 'brl3-s7 l3-s7-o' ]" _ "$(vrf_members vp-s7)"
check "hv1 : brl3-s7 sans adresse IPv4" sh -c "! ip -4 -o addr show dev brl3-s7 | grep -q inet"
check "hv1 : RMAC de brl3-s7 dérivée du VTEP 192.168.14.11" sh -c "ip -o link show brl3-s7 | grep -q 'link/ether 02:02:c0:a8:0e:0b '"
@ -51,7 +51,7 @@ for i in $(seq 1 24); do vm_ssh vp-s7 10.241.1.10 'ping -c 1 -W 2 10.241.2.10' >
check "s7-a (sn-s7d, hv1) joint s7-b (sn-s7e, hv2) par le L3VNI, forwarding par interface" vm_ssh vp-s7 10.241.1.10 'ping -c 3 -W 2 10.241.2.10'
check "trame pleine taille : 1472 octets en -M do" vm_ssh vp-s7 10.241.1.10 'ping -M do -s 1472 -c 2 -W 2 10.241.2.10'
check "1473 octets refusés localement (MTU 1500)" vm_grep vp-s7 10.241.1.10 'ping -M do -s 1473 -c 1 -W 2 10.241.2.10' 'message too long'
check "TTL 1 : expire à la gateway du subnet, netns de hv1 (10.241.1.1)" vm_grep vp-s7 10.241.1.10 'ping -n -c 3 -i 1.2 -W 2 -t 1 10.241.2.10' 'From 10.241.1.1 .*exceeded'
check "TTL 1 : expire à la gateway du subnet, netns de hv1 (10.241.1.254)" vm_grep vp-s7 10.241.1.10 'ping -n -c 3 -i 1.2 -W 2 -t 1 10.241.2.10' 'From 10.241.1.254 .*exceeded'
check "TTL 2 : expire dans la VRF de hv1 (169.254.0.1)" vm_grep vp-s7 10.241.1.10 'ping -n -c 3 -i 1.2 -W 2 -t 2 10.241.2.10' 'From 169.254.0.1 .*exceeded'
check "TTL 5 : atteint s7-b — quatre routeurs : gateway hv1, VRF hv1, VRF hv2, netns hv2" vm_ssh vp-s7 10.241.1.10 'ping -n -c 1 -W 2 -t 5 10.241.2.10'
check "hv1 : vrf-s7 n'importe pas 10.241.2.20/32 de vp-s7b (RT 64600:2701)" sh -c "[ -z \"\$(ip -4 route show vrf vrf-s7 10.241.2.20)\" ]"

View file

@ -1,7 +1,7 @@
on hv1 <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two (hv1)"; exit 0; }
check "hv1 : VPC vp-s8, l3vni 2800" vpc_create vp-s8 10.242.0.0/16 2800
check "hv1 : subnet sn-s8s (VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.1 10.242.1.0/24
check "hv1 : subnet sn-s8s (VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.0/24
check "hv1 : VM s8-m1 10.242.1.50" vm_create s8-m1 sn-s8s 10.242.1.50
check "hv1 : s8-m1 répond depuis son netns" netns_ping_wait vp-s8 10.242.1.50
check "hv1 : /24 et /32 exportés par l'agent" sh -c "ip -4 route show vrf vrf-s8 | grep -q '^10.242.1.0/24 via 169.254.0.2' && ip -4 route show vrf vrf-s8 | grep -q '^10.242.1.50 via 169.254.0.2'"
@ -15,7 +15,7 @@ on hv3 <<'NODE'
two_image || { echo "ÉCHOUÉ: image compatible two (hv3)"; exit 0; }
KEY=$(vm_key)
check "hv3 : VPC vp-s8, l3vni 2800" vpc_create vp-s8 10.242.0.0/16 2800
check "hv3 : subnet sn-s8t (VNI 2812), seulement sur hv3" subnet_create sn-s8t vp-s8 2812 10.242.2.1 10.242.2.0/24
check "hv3 : subnet sn-s8t (VNI 2812), seulement sur hv3" subnet_create sn-s8t vp-s8 2812 10.242.2.0/24
check "hv3 : VM observatrice s8-o 10.242.2.10" vm_create s8-o sn-s8t 10.242.2.10 "${KEY}"
check "s8-o joignable" vm_wait vp-s8 10.242.2.10
check "hv3 : aucun VXLAN de sn-s8s sur l'observateur" sh -c "! ip link show vxlan-2811 >/dev/null 2>&1"
@ -33,7 +33,7 @@ check "hv3 : plus aucun /32 pour 10.242.1.50" wait_vrf_nexthops vp-s8 10.242.1.5
check "hv3 : le /24 de sn-s8s reste annoncé par hv1 (filet)" wait_vrf_nexthops vp-s8 10.242.1.0/24 192.168.14.11
NODE
on hv2 <<'NODE'
check "migration simple, 2 — sn-s8s créé sur hv2 (même VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.1 10.242.1.0/24
check "migration simple, 2 — sn-s8s créé sur hv2 (même VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.0/24
check "migration simple, 3 — VM s8-m2 10.242.1.50 sur hv2" vm_create s8-m2 sn-s8s 10.242.1.50
check "hv2 : s8-m2 répond depuis son netns" netns_ping_wait vp-s8 10.242.1.50
NODE
@ -52,10 +52,16 @@ check "orchestrée, 2 — VM s8-m3 10.242.1.50 sur hv1 pendant que s8-m2 tourne
check "hv1 : s8-m3 répond depuis son netns" netns_ping_wait vp-s8 10.242.1.50
NODE
on rr1 <<'NODE'
check "rr1 : MAC de gateway de sn-s8s propre à chaque hôte, hv1 (02:03:c0:a8:0e:0b) et hv2 (02:03:c0:a8:0e:0c)" sh -c "r=\$(vtysh -c 'show bgp l2vpn evpn route type macip'); echo \"\$r\" | grep -qi '02:03:c0:a8:0e:0b' && echo \"\$r\" | grep -qi '02:03:c0:a8:0e:0c'"
MAC=$(anycast_mac 2811)
R=$(vtysh -c 'show bgp l2vpn evpn route type macip')
check "rr1 : routes EVPN de type 2 reçues (témoin)" sh -c 'echo "$1" | grep -q "\[2\]:"' _ "${R}"
check "rr1 : aucune route de type 2 pour la MAC anycast de sn-s8s (${MAC}), présente sur hv1 et hv2" sh -c '! echo "$1" | grep -qi "$2"' _ "${R}" "${MAC}"
NODE
on hv1 <<'NODE'
MAC=$(anycast_mac 2811)
check "hv1 : aucune MAC en double sur la VNI 2811" sh -c "! vtysh -c 'show evpn mac vni 2811 duplicate' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'"
check "hv1 : table EVPN de la VNI 2811 non vide (témoin)" sh -c "vtysh -c 'show evpn mac vni 2811' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'"
check "hv1 : MAC anycast ${MAC} absente de la table EVPN de la VNI 2811" sh -c '! vtysh -c "show evpn mac vni 2811" | grep -qi "$1"' _ "${MAC}"
NODE
on hv3 <<'NODE'
for i in $(seq 1 30); do [ "$(bgp_paths vp-s8 10.242.1.50/32)" -ge 2 ] && break; sleep 2; done

View file

@ -4,13 +4,13 @@ two_image || { echo "ÉCHOUÉ: image compatible two (${HOST})"; exit 0; }
KEY=$(vm_key)
case "${HOST}" in hv2) n=1 ;; hv3) n=2 ;; esac
check "${HOST} : VPC vp-s9r, l3vni 2900" vpc_create vp-s9r 10.250.0.0/16 2900
check "${HOST} : subnet sn-s9r1 (VNI 2911)" subnet_create sn-s9r1 vp-s9r 2911 10.250.1.1 10.250.1.0/24
check "${HOST} : subnet sn-s9r2 (VNI 2912)" subnet_create sn-s9r2 vp-s9r 2912 10.250.2.1 10.250.2.0/24
check "${HOST} : subnet sn-s9r1 (VNI 2911)" subnet_create sn-s9r1 vp-s9r 2911 10.250.1.0/24
check "${HOST} : subnet sn-s9r2 (VNI 2912)" subnet_create sn-s9r2 vp-s9r 2912 10.250.2.0/24
check "${HOST} : VM s9-r1-${n} 10.250.1.1${n}" vm_create "s9-r1-${n}" sn-s9r1 "10.250.1.1${n}" "${KEY}"
check "${HOST} : VM s9-r2-${n} 10.250.2.1${n}" vm_create "s9-r2-${n}" sn-s9r2 "10.250.2.1${n}" "${KEY}"
check "${HOST} : VPC vp-s9n, sans l3vni" vpc_create vp-s9n 10.251.0.0/16
check "${HOST} : subnet sn-s9n1 (VNI 2921)" subnet_create sn-s9n1 vp-s9n 2921 10.251.1.1 10.251.1.0/24
check "${HOST} : subnet sn-s9n2 (VNI 2922)" subnet_create sn-s9n2 vp-s9n 2922 10.251.2.1 10.251.2.0/24
check "${HOST} : subnet sn-s9n1 (VNI 2921)" subnet_create sn-s9n1 vp-s9n 2921 10.251.1.0/24
check "${HOST} : subnet sn-s9n2 (VNI 2922)" subnet_create sn-s9n2 vp-s9n 2922 10.251.2.0/24
check "${HOST} : VM s9-n1-${n} 10.251.1.1${n}" vm_create "s9-n1-${n}" sn-s9n1 "10.251.1.1${n}" "${KEY}"
check "${HOST} : VM s9-n2-${n} 10.251.2.1${n}" vm_create "s9-n2-${n}" sn-s9n2 "10.251.2.1${n}" "${KEY}"
NODE
@ -18,15 +18,17 @@ done
for host in hv2 hv3; do
on "${host}" "HOST=${host}" <<'NODE'
case "${HOST}" in hv2) n=1; mac=02:03:c0:a8:0e:0c ;; hv3) n=2; mac=02:03:c0:a8:0e:0d ;; esac
case "${HOST}" in hv2) n=1 ;; hv3) n=2 ;; esac
for v in r n; do
vpc="vp-s9${v}"
net="10.25$([ "${v}" = r ] && echo 0 || echo 1)"
for s in 1 2; do
src="${net}.${s}.1${n}"
gw="${net}.${s}.254"
mac=$(anycast_mac "29$([ "${v}" = r ] && echo 1 || echo 2)${s}")
check "${HOST} : ${src} joignable" vm_wait "${vpc}" "${src}"
check "${HOST} : ${src} joint sa gateway ${net}.${s}.1" vm_ssh "${vpc}" "${src}" "ping -n -c 2 -W 2 ${net}.${s}.1"
check "${HOST} : ${src} voit la MAC de gateway de son hôte (${mac})" vm_grep "${vpc}" "${src}" "ip neigh show ${net}.${s}.1" "lladdr ${mac} "
check "${HOST} : ${src} joint sa gateway ${gw}" vm_ssh "${vpc}" "${src}" "ping -n -c 2 -W 2 ${gw}"
check "${HOST} : ${src} voit la MAC anycast de la gateway (${mac})" vm_grep "${vpc}" "${src}" "ip neigh show ${gw}" "lladdr ${mac} "
for d in 1 2; do
for m in 1 2; do
dst="${net}.${d}.1${m}"
@ -40,6 +42,7 @@ for v in r n; do
done
for vni in 2911 2912 2921 2922; do
check "${HOST} : aucune MAC en double sur la VNI ${vni}" sh -c "! vtysh -c 'show evpn mac vni ${vni} duplicate' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'"
check "${HOST} : MAC anycast $(anycast_mac "${vni}") absente de la table EVPN de la VNI ${vni}" sh -c '! vtysh -c "show evpn mac vni $1" | grep -qi "$2"' _ "${vni}" "$(anycast_mac "${vni}")"
done
NODE
done