Merge branch 'feature-81'
All checks were successful
Documentation / publish (push) Successful in 1m45s

This commit is contained in:
GnomeZworc 2026-10-25 19:23:04 +01:00
commit 7672445fe7
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
19 changed files with 290 additions and 19 deletions

View file

@ -234,7 +234,8 @@ paths:
"400":
description: >
Missing required field; interface_ip missing on a bridge or public_ip subnet, or
supplied on a vxlan subnet (it is computed)
supplied on a vxlan subnet (it is computed); default_route true without gateway on a
vxlan or public_ip subnet
content:
application/json:
schema:
@ -408,8 +409,9 @@ components:
description: >
A default route is always advertised via DHCP; this flag only chooses its next-hop.
When false, the next-hop is the subnet interface_ip. When true, it is the `gateway`
field if supplied, otherwise the gateway read from the host routing table.
The route to the VPC CIDR always keeps interface_ip as its next-hop (except in bridge
field if supplied, otherwise the gateway read from the host routing table — this last
case is bridge mode only (400 in vxlan and public_ip modes, whose guests do not share
the L2 segment of the host gateway). The route to the VPC CIDR always keeps interface_ip as its next-hop (except in bridge
mode, which has no VPC route), so VPC traffic never leaves through a public gateway.
default: false
gateway:

View file

@ -29,6 +29,13 @@ Réseau
* **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis
la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par
tous les hôtes, une réponse peut partir vers un autre hôte.
* **Chaque VRF de VPC porte une route ``unreachable default`` de métrique maximale.** Sans elle,
une recherche manquée dans la VRF retombe dans la table ``main`` de l'hôte et le paquet du
locataire sort par l'underlay. Elle survit à la suppression de la VRF (aucune interface) : la
retirer explicitement au démontage.
* **``default_route: true`` sans ``gateway`` est réservé au mode ``bridge``** : en ``vxlan``, la
gateway de l'hôte n'est pas sur le subnet, la route par défaut serait inutilisable, et jointe
elle contournerait le netns et la VRF.
* ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur.
QEMU et VM

View file

@ -172,7 +172,9 @@ seule. Le champ ``default_route`` ne choisit que son next-hop :
``default_route: true``
next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage
de l'host.
de l'host, à la création du subnet. Ce dernier cas est **réservé au mode** ``bridge``, où la VM
partage le L2 de cette gateway : sans ``gateway``, ``default_route: true`` est refusé (400) en
``vxlan`` et en ``public_ip``.
``gateway`` n'est **pas validé** par l'agent : sa joignabilité et sa cohérence avec le CIDR du
subnet relèvent de l'appelant. Fourni avec ``default_route: false``, il est ignoré.

View file

@ -44,7 +44,7 @@ subnets. L'agent n'impose que la première borne (le RD ``<VTEP>:<l3vni>`` porte
.. code-block:: text
vrf-<id> VRF, table de routage = l3vni
vrf-<id> VRF, table de routage = l3vni, unreachable default metric 4278198272
├── brl3-<id> bridge sans adresse, MAC de routeur 02:02:<IPv4 du VTEP>
│ └── vxl3-<id> VXLAN du l3vni, VTEP = IPv4 primaire de default_interface
└── l3-<id>-o 169.254.0.1/30 ── l3-<id>-i 169.254.0.2/30, dans le netns du VPC
@ -56,8 +56,18 @@ touche pas au réglage global, que ``bootstrap_kvm.sh`` met déjà à 1. FRR re
``router bgp <asn> vrf vrf-<id>`` avec RD ``<VTEP>:<l3vni>`` et RT ``<asn>:<l3vni>``, et
l'export des routes du ``cidr`` présentes dans la VRF.
La suppression retire d'abord la configuration de routage de FRR, puis les interfaces, puis la
VRF de FRR. Cet ordre est imposé : supprimer la VRF du noyau sous une instance BGP encore
La table de la VRF reçoit, juste après sa création, une route ``unreachable default`` de métrique
maximale (``4278198272``, valeur recommandée par la documentation VRF du noyau). Sans elle, une
recherche qui échoue dans la VRF continue dans les règles suivantes, donc dans la table ``main``
de l'hôte : un paquet d'un locataire vers une adresse inconnue de la VRF sortirait par l'underlay,
avec ``169.254.0.2`` pour source (mesuré, `#81 <https://git.g3e.fr/syonad/two/issues/81>`_). La
métrique maximale laisse passer avant elle toute route réelle de la VRF. Cette route n'est pas
annoncée en EVPN : le route-map de la VRF n'exporte que le ``cidr`` du VPC. Elle n'est liée à
aucune interface et ne disparaît pas avec la VRF : la suppression la retire explicitement. IPv4
seulement.
La suppression retire d'abord la configuration de routage de FRR, puis les interfaces, la route
``unreachable default``, puis la VRF de FRR. Cet ordre est imposé : supprimer la VRF du noyau sous une instance BGP encore
configurée fait planter ``bgpd`` (FRR 10.7.1).
Subnet

View file

@ -296,7 +296,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
* - ``11-validation``
- validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base
- hv1
- #41, #57, #33, #62, #74
- #41, #57, #33, #62, #74, #81
* - ``12-etats``
- machine d'états — 409 pendant creating, suppression depuis error, dépendances VM → subnet → VPC, recréation sous le même nom
- hv1
@ -370,17 +370,17 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
- hv1 hv2
- #57
* - ``51-l3vni``
- routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d'un VPC routé
- routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé
- hv1 hv2
- #41
- #41, #81
* - ``52-migration``
- migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN
- hv1 hv2 hv3
- #41, #57
* - ``53-watchdog-l3``
- watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais
- watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais
- hv1 hv3
- #41
- #41, #81
* - ``61-redemarrage-agent``
- redémarrage de l'agent avec des VM en marche — rien ne disparaît ni n'est recréé, trafic routé sans perte, DHCP et métadonnées servis, base BGP réappliquée à l'identique, ressources toujours gérées
- hv1 hv2

View file

@ -45,7 +45,10 @@ Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de co
``Established`` (``show bgp neighbors <ip>``).
* **VPC routés** (``l3vni``, état ``running``) : présence et état des interfaces ``vrf-<id>``,
``brl3-<id>``, ``vxl3-<id>``, ``l3-<id>-o`` et, dans le netns, ``l3-<id>-i`` ; L3VNI de type
``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni <l3vni>``).
``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni <l3vni>``) ; route
``unreachable default`` de métrique ``4278198272`` dans la table de la VRF. Un VPC routé créé
par une version antérieure à la 0.3.0 ne l'a pas : il est signalé à chaque tick jusqu'à sa
recréation, l'agent ne la pose pas au démarrage.
* **Réconciliation des routes exportées** dans la VRF : chaque ``/24`` de subnet ``vxlan`` et chaque
``/32`` d'interface de VM ``running`` doit être exporté ; à l'inverse, une route exportée dont
le propriétaire n'existe plus — ni ``running``, ni en ``creating``, ``deleting`` ou ``error`` —

View file

@ -499,3 +499,42 @@ func TestGetSubnet_RelayIPOnlyForVxlan(t *testing.T) {
t.Errorf("relay_ip inattendus dans la liste : %v", relays)
}
}
func TestPostSubnet_DefaultRouteWithoutGatewayOnlyForBridge(t *testing.T) {
for _, req := range []SubnetCreateRequest{
{Mode: "", CIDR: "10.0.0.0/24"},
{Mode: "vxlan", VxlanID: 1101, CIDR: "10.0.0.0/24"},
{Mode: "public_ip", InterfaceIP: "203.0.113.254", CIDR: "203.0.113.0/24"},
} {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
req.Name, req.VPC, req.DefaultRoute = "sn-1", "vpc-1", true
w := postSubnetRequest(t, s, req)
if w.Code != http.StatusBadRequest {
t.Errorf("mode %q : attendu 400, obtenu %d : %s", req.Mode, w.Code, w.Body.String())
}
if !strings.Contains(w.Body.String(), "default_route without gateway is only allowed for bridge subnets") {
t.Errorf("mode %q : message %s", req.Mode, w.Body.String())
}
if _, err := kv.GetFromDB(db, "subnet/sn-1/state"); err == nil {
t.Errorf("mode %q : aucun subnet ne doit être créé", req.Mode)
}
}
}
func TestPostSubnet_DefaultRouteAccepted(t *testing.T) {
for _, req := range []SubnetCreateRequest{
{Mode: "bridge", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24"},
{Mode: "bridge", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", Gateway: "10.0.0.254"},
{Mode: "", CIDR: "10.0.0.0/24", Gateway: "10.0.0.1"},
{Mode: "vxlan", VxlanID: 1101, CIDR: "10.0.0.0/24", Gateway: "10.0.0.1"},
{Mode: "public_ip", InterfaceIP: "203.0.113.254", CIDR: "203.0.113.0/24", Gateway: "203.0.113.1"},
} {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
req.Name, req.VPC, req.DefaultRoute = "sn-1", "vpc-1", true
if w := postSubnetRequest(t, s, req); w.Code != http.StatusAccepted {
t.Errorf("mode %q gateway %q : attendu 202, obtenu %d : %s", req.Mode, req.Gateway, w.Code, w.Body.String())
}
}
}

View file

@ -78,6 +78,11 @@ func (s *Server) postSubnet(w http.ResponseWriter, r *http.Request) {
json.NewEncoder(w).Encode(ErrorResponse{Error: "interface_ip is computed for vxlan subnets, do not set it"})
return
}
if req.DefaultRoute && req.Gateway == "" && req.Mode != subnet.ModeBridge {
w.WriteHeader(http.StatusBadRequest)
json.NewEncoder(w).Encode(ErrorResponse{Error: "default_route without gateway is only allowed for bridge subnets: the host gateway is not on the subnet"})
return
}
cmd := dispatcher.CreateSubnetCommand{
Name: req.Name,
VPC: req.VPC,

View file

@ -23,6 +23,8 @@ type host interface {
DeleteLink(name string) error
TableRouteVia(table uint32, dst *net.IPNet, gw net.IP, iface string) error
TableRouteDel(table uint32, dst *net.IPNet) error
TableUnreachableDefault(table uint32) error
TableUnreachableDefaultDel(table uint32) error
ApplyVRF(v frr.VRF) error
WithdrawVRF(v frr.VRF) error
RemoveVRF(v frr.VRF) error
@ -87,6 +89,14 @@ func (system) TableRouteDel(table uint32, dst *net.IPNet) error {
return netif.RouteDelIfExists(int(table), dst)
}
func (system) TableUnreachableDefault(table uint32) error {
return netif.RouteReplaceUnreachableDefault(int(table), UnreachableMetric)
}
func (system) TableUnreachableDefaultDel(table uint32) error {
return netif.RouteDelUnreachableDefaultIfExists(int(table), UnreachableMetric)
}
func (s system) ApplyVRF(v frr.VRF) error { return s.frr.ApplyVRF(v) }
func (s system) WithdrawVRF(v frr.VRF) error { return s.frr.WithdrawVRF(v) }

View file

@ -14,6 +14,8 @@ import (
"github.com/dgraph-io/badger/v4"
)
const UnreachableMetric = 4278198272
var (
transitHost = &net.IPNet{IP: net.IPv4(169, 254, 0, 1).To4(), Mask: net.CIDRMask(30, 32)}
transitNetns = &net.IPNet{IP: net.IPv4(169, 254, 0, 2).To4(), Mask: net.CIDRMask(30, 32)}
@ -84,6 +86,7 @@ func createL3(h host, cfg *configuration.Config, v l3VPC) error {
run func() error
}{
{"create " + v.vrf(), func() error { return h.CreateVRF(v.vrf(), v.vni) }},
{"unreachable default in " + v.vrf(), func() error { return h.TableUnreachableDefault(v.vni) }},
{"create " + v.bridge(), func() error { return h.CreateBridge(v.bridge(), mtu, rmac) }},
{"attach " + v.bridge(), func() error { return h.SetMaster(v.bridge(), v.vrf()) }},
{"create " + v.vxlan(), func() error { return h.CreateVxlan(v.vxlan(), int(v.vni), cfg.DefaultInterface, mtu) }},
@ -123,6 +126,9 @@ func deleteL3(h host, v l3VPC) error {
return fmt.Errorf("l3vni %d: delete %s: %w", v.vni, link, err)
}
}
if err := h.TableUnreachableDefaultDel(v.vni); err != nil {
return fmt.Errorf("l3vni %d: delete unreachable default from table %d: %w", v.vni, v.vni, err)
}
if err := h.RemoveVRF(frrVRF); err != nil {
return fmt.Errorf("l3vni %d: remove frr vrf: %w", v.vni, err)
}

View file

@ -83,6 +83,14 @@ func (f *fakeHost) TableRouteDel(table uint32, dst *net.IPNet) error {
return f.record(fmt.Sprintf("table %d del %s", table, dst))
}
func (f *fakeHost) TableUnreachableDefault(table uint32) error {
return f.record(fmt.Sprintf("table %d unreachable default", table))
}
func (f *fakeHost) TableUnreachableDefaultDel(table uint32) error {
return f.record(fmt.Sprintf("table %d del unreachable default", table))
}
func (f *fakeHost) ApplyVRF(v frr.VRF) error {
return f.record(fmt.Sprintf("frr apply asn=%d id=%s vni=%d vtep=%s supernet=%s", v.ASN, v.ID, v.L3VNI, v.VTEP, v.Supernet))
}
@ -121,6 +129,7 @@ func TestCreateL3FollowsTheLabRecipe(t *testing.T) {
want := []string{
"vtep br-000000",
"vrf vrf-s7 table 2700",
"table 2700 unreachable default",
"bridge brl3-s7 mtu 1450 mac 02:02:c0:a8:0e:0b",
"master brl3-s7 vrf-s7",
"vxlan vxl3-s7 id 2700 dev br-000000 mtu 1450",
@ -179,6 +188,7 @@ func TestDeleteL3WithdrawsFRRThenTheKernelThenTheVRF(t *testing.T) {
"del vxl3-s7",
"del brl3-s7",
"del vrf-s7",
"table 2700 del unreachable default",
"frr remove asn=0 id=s7 vni=0",
}
if !reflect.DeepEqual(f.calls, want) {
@ -209,9 +219,39 @@ func TestDeleteL3KeepsTheFRRVRFWhenAKernelLinkCannotBeDeleted(t *testing.T) {
}
}
func TestCreateL3LeavesNoVRFWithoutItsUnreachableDefault(t *testing.T) {
f := &fakeHost{fail: map[string]error{"table 2700 unreachable default": errors.New("operation not permitted")}}
err := createL3(f, bgpConfig(), labL3(t))
if err == nil || !strings.Contains(err.Error(), "l3vni 2700: unreachable default in vrf-s7: operation not permitted") {
t.Errorf("erreur %v", err)
}
if last := f.calls[len(f.calls)-1]; last != "table 2700 unreachable default" {
t.Errorf("appels après l'échec : %q", f.calls)
}
}
func TestDeleteL3KeepsTheFRRVRFWhenTheUnreachableDefaultCannotBeDeleted(t *testing.T) {
f := &fakeHost{fail: map[string]error{"table 2700 del unreachable default": errors.New("operation not permitted")}}
err := deleteL3(f, labL3(t))
if err == nil || !strings.Contains(err.Error(), "delete unreachable default from table 2700") {
t.Errorf("erreur %v", err)
}
for _, c := range f.calls {
if strings.HasPrefix(c, "frr remove") {
t.Errorf("étape exécutée après l'échec : %q", f.calls)
}
}
}
func TestUnreachableMetricIsTheHighestRecommendedByTheKernel(t *testing.T) {
if UnreachableMetric != 4278198272 {
t.Errorf("UnreachableMetric = %d", UnreachableMetric)
}
}
func TestDeleteL3DoesNotDependOnTheAgentBGPSection(t *testing.T) {
f := &fakeHost{}
if err := deleteL3(f, labL3(t)); err != nil || len(f.calls) != 6 {
if err := deleteL3(f, labL3(t)); err != nil || len(f.calls) != 7 {
t.Errorf("erreur %v, appels %q", err, f.calls)
}
}

View file

@ -3,11 +3,16 @@
package netif
import (
"errors"
"net"
"syscall"
"github.com/vishvananda/netlink"
"golang.org/x/sys/unix"
)
var defaultIPv4 = &net.IPNet{IP: net.IPv4zero.To4(), Mask: net.CIDRMask(0, 32)}
func RouteAdd(iface string, subnet *net.IPNet) error {
return RouteAddFrom(iface, subnet, nil)
}
@ -45,3 +50,44 @@ func TableRoutesVia(table int, iface string) ([]*net.IPNet, error) {
}
return dsts, nil
}
func unreachableDefault(table, metric int) *netlink.Route {
return &netlink.Route{
Dst: defaultIPv4,
Table: table,
Type: unix.RTN_UNREACHABLE,
Priority: metric,
}
}
func RouteReplaceUnreachableDefault(table, metric int) error {
return netlink.RouteReplace(unreachableDefault(table, metric))
}
func RouteDelUnreachableDefaultIfExists(table, metric int) error {
if err := netlink.RouteDel(unreachableDefault(table, metric)); err != nil && !errors.Is(err, syscall.ESRCH) {
return err
}
return nil
}
func HasUnreachableDefault(table, metric int) (bool, error) {
routes, err := netlink.RouteListFiltered(netlink.FAMILY_V4, &netlink.Route{
Table: table,
Type: unix.RTN_UNREACHABLE,
}, netlink.RT_FILTER_TABLE|netlink.RT_FILTER_TYPE)
if err != nil {
return false, err
}
for _, r := range routes {
if r.Priority == metric && (r.Dst == nil || isDefault(r.Dst)) {
return true, nil
}
}
return false, nil
}
func isDefault(dst *net.IPNet) bool {
ones, _ := dst.Mask.Size()
return ones == 0
}

View file

@ -18,3 +18,15 @@ func RouteAddFrom(_ string, _ *net.IPNet, _ net.IP) error {
func TableRoutesVia(_ int, _ string) ([]*net.IPNet, error) {
return nil, errors.New("route listing is only implemented on linux")
}
func RouteReplaceUnreachableDefault(_, _ int) error {
return errors.New("not supported on this platform")
}
func RouteDelUnreachableDefaultIfExists(_, _ int) error {
return errors.New("not supported on this platform")
}
func HasUnreachableDefault(_, _ int) (bool, error) {
return false, errors.New("route listing is only implemented on linux")
}

View file

@ -25,6 +25,7 @@ type l3Probe interface {
NeighborEstablished(peer net.IP) (bool, error)
VNI(vni uint32) (frr.VNIState, error)
ExportedRoutes(table uint32, iface string) ([]*net.IPNet, error)
UnreachableDefault(table uint32) (bool, error)
LinkProblem(ns, iface string) string
}
@ -44,6 +45,10 @@ func (systemProbe) ExportedRoutes(table uint32, iface string) ([]*net.IPNet, err
return netif.TableRoutesVia(int(table), iface)
}
func (systemProbe) UnreachableDefault(table uint32) (bool, error) {
return netif.HasUnreachableDefault(int(table), l3vni.UnreachableMetric)
}
func (systemProbe) LinkProblem(ns, iface string) string {
if ns == "" {
return linkProblem(iface)
@ -145,6 +150,14 @@ func checkL3VPC(db *badger.DB, name string, r l3vni.Routing, rmac string, p l3Pr
n.Notify(kindVPC, name, fmt.Sprintf("l3vni %d has router mac %q in frr, expected %s", r.VNI, s.RouterMAC, rmac))
}
present, err := p.UnreachableDefault(r.VNI)
switch {
case err != nil:
n.Notify(kindVPC, name, fmt.Sprintf("unreachable default of %s unreadable: %v", r.VRF, err))
case !present:
n.Notify(kindVPC, name, fmt.Sprintf("no unreachable default in %s: traffic to an unknown destination leaves through the host routing table", r.VRF))
}
actual, err := p.ExportedRoutes(r.VNI, r.VethHost)
if err != nil {
n.Notify(kindVPC, name, fmt.Sprintf("routes of %s unreadable: %v", r.VRF, err))

View file

@ -19,6 +19,8 @@ type fakeProbe struct {
routesErr error
links map[string]string
vtepErr error
unreachable map[uint32]bool
unreachErr error
}
func (f *fakeProbe) VTEPAddress(string) (net.IP, error) {
@ -49,6 +51,13 @@ func (f *fakeProbe) ExportedRoutes(table uint32, _ string) ([]*net.IPNet, error)
return out, f.routesErr
}
func (f *fakeProbe) UnreachableDefault(table uint32) (bool, error) {
if f.unreachable == nil {
return true, f.unreachErr
}
return f.unreachable[table], f.unreachErr
}
func (f *fakeProbe) LinkProblem(ns, iface string) string {
return f.links[ns+"/"+iface]
}
@ -240,3 +249,32 @@ func TestCheckL3VPCsReportsUnreadableRoutesAndVTEP(t *testing.T) {
t.Errorf("RMAC comparée sans VTEP : %q", notified(r))
}
}
func TestCheckL3VPCsReportsAVRFWithoutUnreachableDefault(t *testing.T) {
db := newTestDB(t)
seedResource(t, db, prefixVPC, "vp-s7", state.Running)
seedKV(t, db, "vpc/vp-s7/cidr", "10.241.0.0/16")
seedKV(t, db, "vpc/vp-s7/l3vni", "2700")
seedResource(t, db, prefixVPC, "vp-s8", state.Running)
seedKV(t, db, "vpc/vp-s8/cidr", "10.242.0.0/16")
seedKV(t, db, "vpc/vp-s8/l3vni", "2800")
p := seedRoutedVPC(t)
p.vni[2800] = frr.VNIState{Type: "L3", State: "Up", RouterMAC: "02:02:c0:a8:0e:0b"}
p.unreachable = map[uint32]bool{2700: true}
r := &recorder{}
if err := CheckL3VPCs(db, bgpCfg(), p, r); err != nil {
t.Fatal(err)
}
want := []string{"vpc vp-s8: no unreachable default in vrf-s8: traffic to an unknown destination leaves through the host routing table"}
if got := notified(r); !reflect.DeepEqual(got, want) {
t.Errorf("notifications :\n%q\nattendu :\n%q", got, want)
}
p.unreachable = map[uint32]bool{2700: true, 2800: true}
p.unreachErr = errors.New("netlink refused")
r = &recorder{}
CheckL3VPCs(db, bgpCfg(), p, r)
if !r.hasProblemContaining("unreachable default of vrf-s7 unreadable: netlink refused") || r.hasProblemContaining("no unreachable default") {
t.Errorf("notifications %q", notified(r))
}
}

25
release_notes/0.3.0.md Normal file
View file

@ -0,0 +1,25 @@
# Gabriel
## Correctifs
- **Chaque VRF de VPC porte une route `unreachable default` (#81).** Une recherche qui échouait
dans la table d'une VRF continuait dans la table `main` de l'hôte : un paquet d'un locataire
vers une adresse inconnue de son VPC sortait par l'underlay, avec `169.254.0.2` pour source
(mesuré en lab). La route est posée juste après la VRF, avec la métrique maximale
`4278198272`, de sorte que toute route réelle reste prioritaire ; elle n'est pas annoncée en
EVPN et elle est retirée au démontage du VPC. Le watchdog signale une VRF qui ne l'a pas.
IPv4 seulement
- **`default_route: true` sans `gateway` est réservé au mode `bridge` (#81)** : refusé (400) en
`vxlan` et en `public_ip`. Hors `bridge`, la gateway lue dans la table de routage de l'hôte
n'est pas sur le subnet des VM : la route par défaut annoncée était inutilisable
## Mise à jour depuis la 0.2.0
- **`default_route: true` exige une `gateway` hors mode `bridge`** : un appel qui l'omettait en
`vxlan` reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils
annonçaient jusqu'à leur recréation
- **Les VPC routés existants n'ont pas la route `unreachable default`** : l'agent ne la pose pas
au démarrage, le watchdog les signale à chaque tick. La recréation du VPC la pose ; d'ici là,
la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC,
la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC :
`ip route replace unreachable default metric 4278198272 table <l3vni>`

View file

@ -1,6 +1,6 @@
# fonctionnalité: validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base
# hôtes: hv1
# tickets: #41, #57, #33, #62, #74
# tickets: #41, #57, #33, #62, #74, #81
on hv1 <<'NODE'
check "VPC vp-t11a, l3vni 1100 (témoin)" vpc_create vp-t11a 10.11.0.0/16 1100
@ -19,6 +19,8 @@ check "sn-t11a : adresse d'émission calculée .253" test "$(api_field subnets/s
check "subnet : nom déjà pris, 409" expect_code 409 api_post_code subnets '{"name":"sn-t11a","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1101,"cidr":"10.11.1.0/24"}'
check "subnet : mode inconnu, 422" expect_code 422 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vlan","vxlan_id":1109,"cidr":"10.11.9.0/24"}'
check "subnet : interface_ip fournie en vxlan, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/24","interface_ip":"10.11.9.1"}'
check "subnet : default_route sans gateway en vxlan, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/24","default_route":true}'
check "subnet : default_route sans gateway, mode omis, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","vxlan_id":1109,"cidr":"10.11.9.0/24","default_route":true}'
check "subnet : interface_ip absente en bridge, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"bridge","cidr":"10.11.9.0/24"}'
check "subnet : préfixe /30 en vxlan, 422" expect_code 422 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/30"}'
check "subnet : préfixe /29 en vxlan accepté (témoin)" expect_code 202 api_post_code subnets '{"name":"sn-t11p","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1103,"cidr":"10.11.3.0/29"}'

View file

@ -1,6 +1,6 @@
# fonctionnalité: routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d'un VPC routé
# fonctionnalité: routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé
# hôtes: hv1 hv2
# tickets: #41
# tickets: #41, #81
on hv1 <<'NODE'
KEY=$(vm_key)
@ -23,6 +23,9 @@ check "hv1 : vrf-t51 contient exactement brl3-t51 et l3-t51-o" sh -c "[ \"\$1\"
check "hv1 : brl3-t51 sans adresse IPv4" sh -c "! ip -4 -o addr show dev brl3-t51 | grep -q inet"
check "hv1 : RMAC de brl3-t51 dérivée du VTEP 192.168.14.11" sh -c "ip -o link show brl3-t51 | grep -q 'link/ether 02:02:c0:a8:0e:0b '"
check "hv1 : route du supernet dans vp-t51 vers le transit" sh -c "ip -n vp-t51 -4 route show 10.51.0.0/18 | grep -q 'via 169.254.0.1 dev l3-t51-i'"
check "hv1 : table 5100 de vrf-t51 : unreachable default de métrique 4278198272" sh -c "ip -4 route show table 5100 | grep -q '^unreachable default metric 4278198272'"
check "hv1 : adresse du VPC inconnue (10.51.5.5) injoignable dans vrf-t51, pas de repli sur la table main" sh -c "ip -4 route get 10.51.5.5 vrf vrf-t51 2>&1 | grep -q 'No route to host'"
check "hv1 : adresse externe (8.8.8.8) injoignable dans vrf-t51" sh -c "ip -4 route get 8.8.8.8 vrf vrf-t51 2>&1 | grep -q 'No route to host'"
check "hv1 : forwarding sur brl3-t51 et l3-t51-o" sh -c "[ \"\$(sysctl -n net.ipv4.conf.brl3-t51.forwarding net.ipv4.conf.l3-t51-o.forwarding | tr '\n' ' ')\" = '1 1 ' ]"
check "hv1 : ip_forward dans le netns vp-t51" sh -c "[ \"\$(ip netns exec vp-t51 sysctl -n net.ipv4.ip_forward)\" = 1 ]"
info "hv1 : ip_forward global de l'hôte : $(sysctl -n net.ipv4.ip_forward) (non modifié par l'agent)"
@ -41,6 +44,7 @@ check "hv2 : RMAC de hv1 dans la FDB de vxl3-t51" sh -c "bridge fdb show dev vxl
NODE
on rr1 <<'NODE'
check "rr1 : RT-5 10.51.1.10/32 de hv1 (RD 192.168.14.11:5100) reçue et réfléchie" sh -c "vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.11:5100 type prefix' | grep -q '\[10.51.1.10\]'"
check "rr1 : aucune RT-5 0.0.0.0/0 de hv1 (RD 192.168.14.11:5100) : l'unreachable default n'est pas annoncée" sh -c "! vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.11:5100 type prefix' | grep -q '\[0.0.0.0\]'"
check "rr1 : RT-5 10.51.2.20/32 de vp-t51b (RD 192.168.14.12:5101) présente (témoin du test négatif)" sh -c "vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.12:5101 type prefix' | grep -q '\[10.51.2.20\]'"
NODE
on hv1 <<'NODE'
@ -56,6 +60,7 @@ check "TTL 2 : expire dans la VRF de hv1 (169.254.0.1)" vm_grep vp-t51 10.51.1.1
check "TTL 5 : atteint t51-b — quatre routeurs : gateway hv1, VRF hv1, VRF hv2, netns hv2" vm_ssh vp-t51 10.51.1.10 'ping -n -c 1 -W 2 -t 5 10.51.2.10'
check "hv1 : vrf-t51 n'importe pas 10.51.2.20/32 de vp-t51b (RT 64600:5101)" sh -c "[ -z \"\$(ip -4 route show vrf vrf-t51 10.51.2.20)\" ]"
check "t51-a ne joint pas t51-x, autre VPC, même plage" vm_fails vp-t51 10.51.1.10 'ping -c 3 -W 2 10.51.2.20'
check "t51-a vers une adresse inconnue du VPC (10.51.5.5) : refusé par vrf-t51 (169.254.0.1), rien vers l'underlay" vm_grep vp-t51 10.51.1.10 'ping -n -c 2 -W 2 10.51.5.5' 'From 169.254.0.1 .*Unreachable'
NODE
on hv2 <<'NODE'
BGPD=$(pidof bgpd)
@ -64,9 +69,11 @@ check "hv2 : suppression de t51-x" vm_delete t51-x
check "hv2 : vrf-t51b ne porte plus le /32 de t51-x" test -z "$(ip -4 route show vrf vrf-t51b 10.51.2.20/32)"
check "hv2 : suppression de sn-t51x" api_delete subnets/sn-t51x
check "hv2 : sn-t51x supprimé" wait_state subnets/sn-t51x deleted
check "hv2 : table 5101 de vrf-t51b : unreachable default avant le démontage (témoin)" sh -c "ip -4 route show table 5101 | grep -q '^unreachable default metric 4278198272'"
check "hv2 : suppression de vp-t51b" api_delete vpcs/vp-t51b
check "hv2 : vp-t51b supprimé" wait_state vpcs/vp-t51b deleted
check "hv2 : plus aucune interface de vp-t51b" sh -c "! ip -o link show | grep -qE '(vrf|brl3|vxl3)-t51b|l3-t51b-o'"
check "hv2 : table 5101 vide après le démontage, unreachable default comprise" sh -c "! ip -4 route show table 5101 2>&1 | grep -qE '^(unreachable|default|[0-9])'"
check "hv2 : plus rien de vrf-t51b dans FRR, en mémoire ni dans frr.conf" sh -c "! vtysh -c 'show running-config' | grep -q 'vrf-t51b' && ! grep -q 'vrf-t51b' /etc/frr/frr.conf"
check "hv2 : bgpd n'a pas redémarré pendant le démontage" sh -c "[ \"\$(pidof bgpd)\" = '${BGPD}' ]"
check "hv2 : vp-t51 toujours en service" wait_l3vni 5100 02:02:c0:a8:0e:0c

View file

@ -1,6 +1,6 @@
# fonctionnalité: watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais
# fonctionnalité: watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais
# hôtes: hv1 hv3
# tickets: #41
# tickets: #41, #81
on hv1 <<'NODE'
check "hv1 : VPC vp-t53, l3vni 5300" vpc_create vp-t53 10.53.0.0/16 5300
@ -28,6 +28,10 @@ check "watchdog : /32 de t53-m retiré à la main" ip route del 10.53.1.50/32 vr
check "hypothèse du test : FRR retire le /32 de t53-m de sa table BGP quand la route du noyau disparaît" wait_bgp_paths vp-t53 10.53.1.50/32 0
check "watchdog : /32 manquant signalé" wait_watchdog "route 10.53.1.50/32 not exported in vrf-t53"
check "watchdog : /32 de t53-m rétabli" ip route replace 10.53.1.50/32 via 169.254.0.2 dev l3-t53-o vrf vrf-t53
check "watchdog : aucune alerte sur l'unreachable default avant son retrait (témoin)" watchdog_quiet_about 60 "no unreachable default"
check "watchdog : unreachable default retirée à la main de la table 5300" ip route del unreachable default metric 4278198272 table 5300
check "watchdog : unreachable default absente signalée" wait_watchdog "no unreachable default in vrf-t53"
check "watchdog : unreachable default rétablie" ip route replace unreachable default metric 4278198272 table 5300
check "watchdog : aucune alerte BGP ni L3VNI sur hv1" watchdog_l3_quiet 60
NODE
on hv3 <<'NODE'