From dd9844284d5837ac369d97ff3859bfc4576f63e0 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 11:53:33 +0100 Subject: [PATCH 1/5] =?UTF-8?q?f-81:=20api:=20default=5Froute=20sans=20gat?= =?UTF-8?q?eway=20r=C3=A9serv=C3=A9=20au=20mode=20bridge=20#81?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: GnomeZworc --- api/agent.yaml | 8 ++++--- internal/api/agent/subnet_test.go | 39 +++++++++++++++++++++++++++++++ internal/api/agent/subnets.go | 5 ++++ 3 files changed, 49 insertions(+), 3 deletions(-) diff --git a/api/agent.yaml b/api/agent.yaml index 65c2603..1f0b7bb 100644 --- a/api/agent.yaml +++ b/api/agent.yaml @@ -234,7 +234,8 @@ paths: "400": description: > Missing required field; interface_ip missing on a bridge or public_ip subnet, or - supplied on a vxlan subnet (it is computed) + supplied on a vxlan subnet (it is computed); default_route true without gateway on a + vxlan or public_ip subnet content: application/json: schema: @@ -408,8 +409,9 @@ components: description: > A default route is always advertised via DHCP; this flag only chooses its next-hop. When false, the next-hop is the subnet interface_ip. When true, it is the `gateway` - field if supplied, otherwise the gateway read from the host routing table. - The route to the VPC CIDR always keeps interface_ip as its next-hop (except in bridge + field if supplied, otherwise the gateway read from the host routing table — this last + case is bridge mode only (400 in vxlan and public_ip modes, whose guests do not share + the L2 segment of the host gateway). The route to the VPC CIDR always keeps interface_ip as its next-hop (except in bridge mode, which has no VPC route), so VPC traffic never leaves through a public gateway. default: false gateway: diff --git a/internal/api/agent/subnet_test.go b/internal/api/agent/subnet_test.go index 705a293..b6b84a9 100644 --- a/internal/api/agent/subnet_test.go +++ b/internal/api/agent/subnet_test.go @@ -499,3 +499,42 @@ func TestGetSubnet_RelayIPOnlyForVxlan(t *testing.T) { t.Errorf("relay_ip inattendus dans la liste : %v", relays) } } + +func TestPostSubnet_DefaultRouteWithoutGatewayOnlyForBridge(t *testing.T) { + for _, req := range []SubnetCreateRequest{ + {Mode: "", CIDR: "10.0.0.0/24"}, + {Mode: "vxlan", VxlanID: 1101, CIDR: "10.0.0.0/24"}, + {Mode: "public_ip", InterfaceIP: "203.0.113.254", CIDR: "203.0.113.0/24"}, + } { + s, db := newTestServer(t) + kv.AddInDB(db, "vpc/vpc-1/state", "running") + req.Name, req.VPC, req.DefaultRoute = "sn-1", "vpc-1", true + w := postSubnetRequest(t, s, req) + if w.Code != http.StatusBadRequest { + t.Errorf("mode %q : attendu 400, obtenu %d : %s", req.Mode, w.Code, w.Body.String()) + } + if !strings.Contains(w.Body.String(), "default_route without gateway is only allowed for bridge subnets") { + t.Errorf("mode %q : message %s", req.Mode, w.Body.String()) + } + if _, err := kv.GetFromDB(db, "subnet/sn-1/state"); err == nil { + t.Errorf("mode %q : aucun subnet ne doit être créé", req.Mode) + } + } +} + +func TestPostSubnet_DefaultRouteAccepted(t *testing.T) { + for _, req := range []SubnetCreateRequest{ + {Mode: "bridge", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24"}, + {Mode: "bridge", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", Gateway: "10.0.0.254"}, + {Mode: "", CIDR: "10.0.0.0/24", Gateway: "10.0.0.1"}, + {Mode: "vxlan", VxlanID: 1101, CIDR: "10.0.0.0/24", Gateway: "10.0.0.1"}, + {Mode: "public_ip", InterfaceIP: "203.0.113.254", CIDR: "203.0.113.0/24", Gateway: "203.0.113.1"}, + } { + s, db := newTestServer(t) + kv.AddInDB(db, "vpc/vpc-1/state", "running") + req.Name, req.VPC, req.DefaultRoute = "sn-1", "vpc-1", true + if w := postSubnetRequest(t, s, req); w.Code != http.StatusAccepted { + t.Errorf("mode %q gateway %q : attendu 202, obtenu %d : %s", req.Mode, req.Gateway, w.Code, w.Body.String()) + } + } +} diff --git a/internal/api/agent/subnets.go b/internal/api/agent/subnets.go index 5390d57..64f3ac7 100644 --- a/internal/api/agent/subnets.go +++ b/internal/api/agent/subnets.go @@ -78,6 +78,11 @@ func (s *Server) postSubnet(w http.ResponseWriter, r *http.Request) { json.NewEncoder(w).Encode(ErrorResponse{Error: "interface_ip is computed for vxlan subnets, do not set it"}) return } + if req.DefaultRoute && req.Gateway == "" && req.Mode != subnet.ModeBridge { + w.WriteHeader(http.StatusBadRequest) + json.NewEncoder(w).Encode(ErrorResponse{Error: "default_route without gateway is only allowed for bridge subnets: the host gateway is not on the subnet"}) + return + } cmd := dispatcher.CreateSubnetCommand{ Name: req.Name, VPC: req.VPC, From cc8ddfe8824d2f2059929c52007abeb4292c37bb Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 11:53:39 +0100 Subject: [PATCH 2/5] f-81: l3vni: route unreachable default dans chaque VRF de VPC #81 Signed-off-by: GnomeZworc --- internal/l3vni/host.go | 10 ++++++++ internal/l3vni/l3.go | 6 +++++ internal/l3vni/l3_test.go | 42 +++++++++++++++++++++++++++++++- internal/netif/route_linux.go | 46 +++++++++++++++++++++++++++++++++++ internal/netif/route_other.go | 12 +++++++++ 5 files changed, 115 insertions(+), 1 deletion(-) diff --git a/internal/l3vni/host.go b/internal/l3vni/host.go index 4899d3e..24a6c98 100644 --- a/internal/l3vni/host.go +++ b/internal/l3vni/host.go @@ -23,6 +23,8 @@ type host interface { DeleteLink(name string) error TableRouteVia(table uint32, dst *net.IPNet, gw net.IP, iface string) error TableRouteDel(table uint32, dst *net.IPNet) error + TableUnreachableDefault(table uint32) error + TableUnreachableDefaultDel(table uint32) error ApplyVRF(v frr.VRF) error WithdrawVRF(v frr.VRF) error RemoveVRF(v frr.VRF) error @@ -87,6 +89,14 @@ func (system) TableRouteDel(table uint32, dst *net.IPNet) error { return netif.RouteDelIfExists(int(table), dst) } +func (system) TableUnreachableDefault(table uint32) error { + return netif.RouteReplaceUnreachableDefault(int(table), UnreachableMetric) +} + +func (system) TableUnreachableDefaultDel(table uint32) error { + return netif.RouteDelUnreachableDefaultIfExists(int(table), UnreachableMetric) +} + func (s system) ApplyVRF(v frr.VRF) error { return s.frr.ApplyVRF(v) } func (s system) WithdrawVRF(v frr.VRF) error { return s.frr.WithdrawVRF(v) } diff --git a/internal/l3vni/l3.go b/internal/l3vni/l3.go index 65bd453..ad22ac2 100644 --- a/internal/l3vni/l3.go +++ b/internal/l3vni/l3.go @@ -14,6 +14,8 @@ import ( "github.com/dgraph-io/badger/v4" ) +const UnreachableMetric = 4278198272 + var ( transitHost = &net.IPNet{IP: net.IPv4(169, 254, 0, 1).To4(), Mask: net.CIDRMask(30, 32)} transitNetns = &net.IPNet{IP: net.IPv4(169, 254, 0, 2).To4(), Mask: net.CIDRMask(30, 32)} @@ -84,6 +86,7 @@ func createL3(h host, cfg *configuration.Config, v l3VPC) error { run func() error }{ {"create " + v.vrf(), func() error { return h.CreateVRF(v.vrf(), v.vni) }}, + {"unreachable default in " + v.vrf(), func() error { return h.TableUnreachableDefault(v.vni) }}, {"create " + v.bridge(), func() error { return h.CreateBridge(v.bridge(), mtu, rmac) }}, {"attach " + v.bridge(), func() error { return h.SetMaster(v.bridge(), v.vrf()) }}, {"create " + v.vxlan(), func() error { return h.CreateVxlan(v.vxlan(), int(v.vni), cfg.DefaultInterface, mtu) }}, @@ -123,6 +126,9 @@ func deleteL3(h host, v l3VPC) error { return fmt.Errorf("l3vni %d: delete %s: %w", v.vni, link, err) } } + if err := h.TableUnreachableDefaultDel(v.vni); err != nil { + return fmt.Errorf("l3vni %d: delete unreachable default from table %d: %w", v.vni, v.vni, err) + } if err := h.RemoveVRF(frrVRF); err != nil { return fmt.Errorf("l3vni %d: remove frr vrf: %w", v.vni, err) } diff --git a/internal/l3vni/l3_test.go b/internal/l3vni/l3_test.go index 17e0c8c..7855f27 100644 --- a/internal/l3vni/l3_test.go +++ b/internal/l3vni/l3_test.go @@ -83,6 +83,14 @@ func (f *fakeHost) TableRouteDel(table uint32, dst *net.IPNet) error { return f.record(fmt.Sprintf("table %d del %s", table, dst)) } +func (f *fakeHost) TableUnreachableDefault(table uint32) error { + return f.record(fmt.Sprintf("table %d unreachable default", table)) +} + +func (f *fakeHost) TableUnreachableDefaultDel(table uint32) error { + return f.record(fmt.Sprintf("table %d del unreachable default", table)) +} + func (f *fakeHost) ApplyVRF(v frr.VRF) error { return f.record(fmt.Sprintf("frr apply asn=%d id=%s vni=%d vtep=%s supernet=%s", v.ASN, v.ID, v.L3VNI, v.VTEP, v.Supernet)) } @@ -121,6 +129,7 @@ func TestCreateL3FollowsTheLabRecipe(t *testing.T) { want := []string{ "vtep br-000000", "vrf vrf-s7 table 2700", + "table 2700 unreachable default", "bridge brl3-s7 mtu 1450 mac 02:02:c0:a8:0e:0b", "master brl3-s7 vrf-s7", "vxlan vxl3-s7 id 2700 dev br-000000 mtu 1450", @@ -179,6 +188,7 @@ func TestDeleteL3WithdrawsFRRThenTheKernelThenTheVRF(t *testing.T) { "del vxl3-s7", "del brl3-s7", "del vrf-s7", + "table 2700 del unreachable default", "frr remove asn=0 id=s7 vni=0", } if !reflect.DeepEqual(f.calls, want) { @@ -209,9 +219,39 @@ func TestDeleteL3KeepsTheFRRVRFWhenAKernelLinkCannotBeDeleted(t *testing.T) { } } +func TestCreateL3LeavesNoVRFWithoutItsUnreachableDefault(t *testing.T) { + f := &fakeHost{fail: map[string]error{"table 2700 unreachable default": errors.New("operation not permitted")}} + err := createL3(f, bgpConfig(), labL3(t)) + if err == nil || !strings.Contains(err.Error(), "l3vni 2700: unreachable default in vrf-s7: operation not permitted") { + t.Errorf("erreur %v", err) + } + if last := f.calls[len(f.calls)-1]; last != "table 2700 unreachable default" { + t.Errorf("appels après l'échec : %q", f.calls) + } +} + +func TestDeleteL3KeepsTheFRRVRFWhenTheUnreachableDefaultCannotBeDeleted(t *testing.T) { + f := &fakeHost{fail: map[string]error{"table 2700 del unreachable default": errors.New("operation not permitted")}} + err := deleteL3(f, labL3(t)) + if err == nil || !strings.Contains(err.Error(), "delete unreachable default from table 2700") { + t.Errorf("erreur %v", err) + } + for _, c := range f.calls { + if strings.HasPrefix(c, "frr remove") { + t.Errorf("étape exécutée après l'échec : %q", f.calls) + } + } +} + +func TestUnreachableMetricIsTheHighestRecommendedByTheKernel(t *testing.T) { + if UnreachableMetric != 4278198272 { + t.Errorf("UnreachableMetric = %d", UnreachableMetric) + } +} + func TestDeleteL3DoesNotDependOnTheAgentBGPSection(t *testing.T) { f := &fakeHost{} - if err := deleteL3(f, labL3(t)); err != nil || len(f.calls) != 6 { + if err := deleteL3(f, labL3(t)); err != nil || len(f.calls) != 7 { t.Errorf("erreur %v, appels %q", err, f.calls) } } diff --git a/internal/netif/route_linux.go b/internal/netif/route_linux.go index a7be050..1001a53 100644 --- a/internal/netif/route_linux.go +++ b/internal/netif/route_linux.go @@ -3,11 +3,16 @@ package netif import ( + "errors" "net" + "syscall" "github.com/vishvananda/netlink" + "golang.org/x/sys/unix" ) +var defaultIPv4 = &net.IPNet{IP: net.IPv4zero.To4(), Mask: net.CIDRMask(0, 32)} + func RouteAdd(iface string, subnet *net.IPNet) error { return RouteAddFrom(iface, subnet, nil) } @@ -45,3 +50,44 @@ func TableRoutesVia(table int, iface string) ([]*net.IPNet, error) { } return dsts, nil } + +func unreachableDefault(table, metric int) *netlink.Route { + return &netlink.Route{ + Dst: defaultIPv4, + Table: table, + Type: unix.RTN_UNREACHABLE, + Priority: metric, + } +} + +func RouteReplaceUnreachableDefault(table, metric int) error { + return netlink.RouteReplace(unreachableDefault(table, metric)) +} + +func RouteDelUnreachableDefaultIfExists(table, metric int) error { + if err := netlink.RouteDel(unreachableDefault(table, metric)); err != nil && !errors.Is(err, syscall.ESRCH) { + return err + } + return nil +} + +func HasUnreachableDefault(table, metric int) (bool, error) { + routes, err := netlink.RouteListFiltered(netlink.FAMILY_V4, &netlink.Route{ + Table: table, + Type: unix.RTN_UNREACHABLE, + }, netlink.RT_FILTER_TABLE|netlink.RT_FILTER_TYPE) + if err != nil { + return false, err + } + for _, r := range routes { + if r.Priority == metric && (r.Dst == nil || isDefault(r.Dst)) { + return true, nil + } + } + return false, nil +} + +func isDefault(dst *net.IPNet) bool { + ones, _ := dst.Mask.Size() + return ones == 0 +} diff --git a/internal/netif/route_other.go b/internal/netif/route_other.go index d87bf82..9b7a12b 100644 --- a/internal/netif/route_other.go +++ b/internal/netif/route_other.go @@ -18,3 +18,15 @@ func RouteAddFrom(_ string, _ *net.IPNet, _ net.IP) error { func TableRoutesVia(_ int, _ string) ([]*net.IPNet, error) { return nil, errors.New("route listing is only implemented on linux") } + +func RouteReplaceUnreachableDefault(_, _ int) error { + return errors.New("not supported on this platform") +} + +func RouteDelUnreachableDefaultIfExists(_, _ int) error { + return errors.New("not supported on this platform") +} + +func HasUnreachableDefault(_, _ int) (bool, error) { + return false, errors.New("route listing is only implemented on linux") +} From 45b226f0bccb2f9f4080fd01f8bb54728e7b2fc3 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 11:53:45 +0100 Subject: [PATCH 3/5] =?UTF-8?q?f-81:=20watchdog:=20VRF=20sans=20route=20un?= =?UTF-8?q?reachable=20default=20signal=C3=A9e=20#81?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: GnomeZworc --- internal/watchdog/check_l3.go | 13 ++++++++++ internal/watchdog/check_l3_test.go | 38 ++++++++++++++++++++++++++++++ 2 files changed, 51 insertions(+) diff --git a/internal/watchdog/check_l3.go b/internal/watchdog/check_l3.go index 0fee453..fae7759 100644 --- a/internal/watchdog/check_l3.go +++ b/internal/watchdog/check_l3.go @@ -25,6 +25,7 @@ type l3Probe interface { NeighborEstablished(peer net.IP) (bool, error) VNI(vni uint32) (frr.VNIState, error) ExportedRoutes(table uint32, iface string) ([]*net.IPNet, error) + UnreachableDefault(table uint32) (bool, error) LinkProblem(ns, iface string) string } @@ -44,6 +45,10 @@ func (systemProbe) ExportedRoutes(table uint32, iface string) ([]*net.IPNet, err return netif.TableRoutesVia(int(table), iface) } +func (systemProbe) UnreachableDefault(table uint32) (bool, error) { + return netif.HasUnreachableDefault(int(table), l3vni.UnreachableMetric) +} + func (systemProbe) LinkProblem(ns, iface string) string { if ns == "" { return linkProblem(iface) @@ -145,6 +150,14 @@ func checkL3VPC(db *badger.DB, name string, r l3vni.Routing, rmac string, p l3Pr n.Notify(kindVPC, name, fmt.Sprintf("l3vni %d has router mac %q in frr, expected %s", r.VNI, s.RouterMAC, rmac)) } + present, err := p.UnreachableDefault(r.VNI) + switch { + case err != nil: + n.Notify(kindVPC, name, fmt.Sprintf("unreachable default of %s unreadable: %v", r.VRF, err)) + case !present: + n.Notify(kindVPC, name, fmt.Sprintf("no unreachable default in %s: traffic to an unknown destination leaves through the host routing table", r.VRF)) + } + actual, err := p.ExportedRoutes(r.VNI, r.VethHost) if err != nil { n.Notify(kindVPC, name, fmt.Sprintf("routes of %s unreadable: %v", r.VRF, err)) diff --git a/internal/watchdog/check_l3_test.go b/internal/watchdog/check_l3_test.go index c307b30..f84a6a3 100644 --- a/internal/watchdog/check_l3_test.go +++ b/internal/watchdog/check_l3_test.go @@ -19,6 +19,8 @@ type fakeProbe struct { routesErr error links map[string]string vtepErr error + unreachable map[uint32]bool + unreachErr error } func (f *fakeProbe) VTEPAddress(string) (net.IP, error) { @@ -49,6 +51,13 @@ func (f *fakeProbe) ExportedRoutes(table uint32, _ string) ([]*net.IPNet, error) return out, f.routesErr } +func (f *fakeProbe) UnreachableDefault(table uint32) (bool, error) { + if f.unreachable == nil { + return true, f.unreachErr + } + return f.unreachable[table], f.unreachErr +} + func (f *fakeProbe) LinkProblem(ns, iface string) string { return f.links[ns+"/"+iface] } @@ -240,3 +249,32 @@ func TestCheckL3VPCsReportsUnreadableRoutesAndVTEP(t *testing.T) { t.Errorf("RMAC comparée sans VTEP : %q", notified(r)) } } + +func TestCheckL3VPCsReportsAVRFWithoutUnreachableDefault(t *testing.T) { + db := newTestDB(t) + seedResource(t, db, prefixVPC, "vp-s7", state.Running) + seedKV(t, db, "vpc/vp-s7/cidr", "10.241.0.0/16") + seedKV(t, db, "vpc/vp-s7/l3vni", "2700") + seedResource(t, db, prefixVPC, "vp-s8", state.Running) + seedKV(t, db, "vpc/vp-s8/cidr", "10.242.0.0/16") + seedKV(t, db, "vpc/vp-s8/l3vni", "2800") + p := seedRoutedVPC(t) + p.vni[2800] = frr.VNIState{Type: "L3", State: "Up", RouterMAC: "02:02:c0:a8:0e:0b"} + p.unreachable = map[uint32]bool{2700: true} + r := &recorder{} + if err := CheckL3VPCs(db, bgpCfg(), p, r); err != nil { + t.Fatal(err) + } + want := []string{"vpc vp-s8: no unreachable default in vrf-s8: traffic to an unknown destination leaves through the host routing table"} + if got := notified(r); !reflect.DeepEqual(got, want) { + t.Errorf("notifications :\n%q\nattendu :\n%q", got, want) + } + + p.unreachable = map[uint32]bool{2700: true, 2800: true} + p.unreachErr = errors.New("netlink refused") + r = &recorder{} + CheckL3VPCs(db, bgpCfg(), p, r) + if !r.hasProblemContaining("unreachable default of vrf-s7 unreadable: netlink refused") || r.hasProblemContaining("no unreachable default") { + t.Errorf("notifications %q", notified(r)) + } +} From 583fd89adb89d5656a2fac366b359a8598f21447 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 11:53:52 +0100 Subject: [PATCH 4/5] f-81: e2e: refus du cas 2, unreachable default dans la VRF #81 Signed-off-by: GnomeZworc --- test/e2e/suite/11-validation.sh | 4 +++- test/e2e/suite/51-l3vni.sh | 11 +++++++++-- test/e2e/suite/53-watchdog-l3.sh | 8 ++++++-- 3 files changed, 18 insertions(+), 5 deletions(-) diff --git a/test/e2e/suite/11-validation.sh b/test/e2e/suite/11-validation.sh index c9684a2..04df20d 100644 --- a/test/e2e/suite/11-validation.sh +++ b/test/e2e/suite/11-validation.sh @@ -1,6 +1,6 @@ # fonctionnalité: validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base # hôtes: hv1 -# tickets: #41, #57, #33, #62, #74 +# tickets: #41, #57, #33, #62, #74, #81 on hv1 <<'NODE' check "VPC vp-t11a, l3vni 1100 (témoin)" vpc_create vp-t11a 10.11.0.0/16 1100 @@ -19,6 +19,8 @@ check "sn-t11a : adresse d'émission calculée .253" test "$(api_field subnets/s check "subnet : nom déjà pris, 409" expect_code 409 api_post_code subnets '{"name":"sn-t11a","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1101,"cidr":"10.11.1.0/24"}' check "subnet : mode inconnu, 422" expect_code 422 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vlan","vxlan_id":1109,"cidr":"10.11.9.0/24"}' check "subnet : interface_ip fournie en vxlan, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/24","interface_ip":"10.11.9.1"}' +check "subnet : default_route sans gateway en vxlan, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/24","default_route":true}' +check "subnet : default_route sans gateway, mode omis, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","vxlan_id":1109,"cidr":"10.11.9.0/24","default_route":true}' check "subnet : interface_ip absente en bridge, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"bridge","cidr":"10.11.9.0/24"}' check "subnet : préfixe /30 en vxlan, 422" expect_code 422 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/30"}' check "subnet : préfixe /29 en vxlan accepté (témoin)" expect_code 202 api_post_code subnets '{"name":"sn-t11p","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1103,"cidr":"10.11.3.0/29"}' diff --git a/test/e2e/suite/51-l3vni.sh b/test/e2e/suite/51-l3vni.sh index 879e2cb..4e562f0 100644 --- a/test/e2e/suite/51-l3vni.sh +++ b/test/e2e/suite/51-l3vni.sh @@ -1,6 +1,6 @@ -# fonctionnalité: routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d'un VPC routé +# fonctionnalité: routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé # hôtes: hv1 hv2 -# tickets: #41 +# tickets: #41, #81 on hv1 <<'NODE' KEY=$(vm_key) @@ -23,6 +23,9 @@ check "hv1 : vrf-t51 contient exactement brl3-t51 et l3-t51-o" sh -c "[ \"\$1\" check "hv1 : brl3-t51 sans adresse IPv4" sh -c "! ip -4 -o addr show dev brl3-t51 | grep -q inet" check "hv1 : RMAC de brl3-t51 dérivée du VTEP 192.168.14.11" sh -c "ip -o link show brl3-t51 | grep -q 'link/ether 02:02:c0:a8:0e:0b '" check "hv1 : route du supernet dans vp-t51 vers le transit" sh -c "ip -n vp-t51 -4 route show 10.51.0.0/18 | grep -q 'via 169.254.0.1 dev l3-t51-i'" +check "hv1 : table 5100 de vrf-t51 : unreachable default de métrique 4278198272" sh -c "ip -4 route show table 5100 | grep -q '^unreachable default metric 4278198272'" +check "hv1 : adresse du VPC inconnue (10.51.5.5) injoignable dans vrf-t51, pas de repli sur la table main" sh -c "ip -4 route get 10.51.5.5 vrf vrf-t51 2>&1 | grep -q 'No route to host'" +check "hv1 : adresse externe (8.8.8.8) injoignable dans vrf-t51" sh -c "ip -4 route get 8.8.8.8 vrf vrf-t51 2>&1 | grep -q 'No route to host'" check "hv1 : forwarding sur brl3-t51 et l3-t51-o" sh -c "[ \"\$(sysctl -n net.ipv4.conf.brl3-t51.forwarding net.ipv4.conf.l3-t51-o.forwarding | tr '\n' ' ')\" = '1 1 ' ]" check "hv1 : ip_forward dans le netns vp-t51" sh -c "[ \"\$(ip netns exec vp-t51 sysctl -n net.ipv4.ip_forward)\" = 1 ]" info "hv1 : ip_forward global de l'hôte : $(sysctl -n net.ipv4.ip_forward) (non modifié par l'agent)" @@ -41,6 +44,7 @@ check "hv2 : RMAC de hv1 dans la FDB de vxl3-t51" sh -c "bridge fdb show dev vxl NODE on rr1 <<'NODE' check "rr1 : RT-5 10.51.1.10/32 de hv1 (RD 192.168.14.11:5100) reçue et réfléchie" sh -c "vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.11:5100 type prefix' | grep -q '\[10.51.1.10\]'" +check "rr1 : aucune RT-5 0.0.0.0/0 de hv1 (RD 192.168.14.11:5100) : l'unreachable default n'est pas annoncée" sh -c "! vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.11:5100 type prefix' | grep -q '\[0.0.0.0\]'" check "rr1 : RT-5 10.51.2.20/32 de vp-t51b (RD 192.168.14.12:5101) présente (témoin du test négatif)" sh -c "vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.12:5101 type prefix' | grep -q '\[10.51.2.20\]'" NODE on hv1 <<'NODE' @@ -56,6 +60,7 @@ check "TTL 2 : expire dans la VRF de hv1 (169.254.0.1)" vm_grep vp-t51 10.51.1.1 check "TTL 5 : atteint t51-b — quatre routeurs : gateway hv1, VRF hv1, VRF hv2, netns hv2" vm_ssh vp-t51 10.51.1.10 'ping -n -c 1 -W 2 -t 5 10.51.2.10' check "hv1 : vrf-t51 n'importe pas 10.51.2.20/32 de vp-t51b (RT 64600:5101)" sh -c "[ -z \"\$(ip -4 route show vrf vrf-t51 10.51.2.20)\" ]" check "t51-a ne joint pas t51-x, autre VPC, même plage" vm_fails vp-t51 10.51.1.10 'ping -c 3 -W 2 10.51.2.20' +check "t51-a vers une adresse inconnue du VPC (10.51.5.5) : refusé par vrf-t51 (169.254.0.1), rien vers l'underlay" vm_grep vp-t51 10.51.1.10 'ping -n -c 2 -W 2 10.51.5.5' 'From 169.254.0.1 .*Unreachable' NODE on hv2 <<'NODE' BGPD=$(pidof bgpd) @@ -64,9 +69,11 @@ check "hv2 : suppression de t51-x" vm_delete t51-x check "hv2 : vrf-t51b ne porte plus le /32 de t51-x" test -z "$(ip -4 route show vrf vrf-t51b 10.51.2.20/32)" check "hv2 : suppression de sn-t51x" api_delete subnets/sn-t51x check "hv2 : sn-t51x supprimé" wait_state subnets/sn-t51x deleted +check "hv2 : table 5101 de vrf-t51b : unreachable default avant le démontage (témoin)" sh -c "ip -4 route show table 5101 | grep -q '^unreachable default metric 4278198272'" check "hv2 : suppression de vp-t51b" api_delete vpcs/vp-t51b check "hv2 : vp-t51b supprimé" wait_state vpcs/vp-t51b deleted check "hv2 : plus aucune interface de vp-t51b" sh -c "! ip -o link show | grep -qE '(vrf|brl3|vxl3)-t51b|l3-t51b-o'" +check "hv2 : table 5101 vide après le démontage, unreachable default comprise" sh -c "! ip -4 route show table 5101 2>&1 | grep -qE '^(unreachable|default|[0-9])'" check "hv2 : plus rien de vrf-t51b dans FRR, en mémoire ni dans frr.conf" sh -c "! vtysh -c 'show running-config' | grep -q 'vrf-t51b' && ! grep -q 'vrf-t51b' /etc/frr/frr.conf" check "hv2 : bgpd n'a pas redémarré pendant le démontage" sh -c "[ \"\$(pidof bgpd)\" = '${BGPD}' ]" check "hv2 : vp-t51 toujours en service" wait_l3vni 5100 02:02:c0:a8:0e:0c diff --git a/test/e2e/suite/53-watchdog-l3.sh b/test/e2e/suite/53-watchdog-l3.sh index f0a6def..7d88c7e 100644 --- a/test/e2e/suite/53-watchdog-l3.sh +++ b/test/e2e/suite/53-watchdog-l3.sh @@ -1,6 +1,6 @@ -# fonctionnalité: watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais +# fonctionnalité: watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais # hôtes: hv1 hv3 -# tickets: #41 +# tickets: #41, #81 on hv1 <<'NODE' check "hv1 : VPC vp-t53, l3vni 5300" vpc_create vp-t53 10.53.0.0/16 5300 @@ -28,6 +28,10 @@ check "watchdog : /32 de t53-m retiré à la main" ip route del 10.53.1.50/32 vr check "hypothèse du test : FRR retire le /32 de t53-m de sa table BGP quand la route du noyau disparaît" wait_bgp_paths vp-t53 10.53.1.50/32 0 check "watchdog : /32 manquant signalé" wait_watchdog "route 10.53.1.50/32 not exported in vrf-t53" check "watchdog : /32 de t53-m rétabli" ip route replace 10.53.1.50/32 via 169.254.0.2 dev l3-t53-o vrf vrf-t53 +check "watchdog : aucune alerte sur l'unreachable default avant son retrait (témoin)" watchdog_quiet_about 60 "no unreachable default" +check "watchdog : unreachable default retirée à la main de la table 5300" ip route del unreachable default metric 4278198272 table 5300 +check "watchdog : unreachable default absente signalée" wait_watchdog "no unreachable default in vrf-t53" +check "watchdog : unreachable default rétablie" ip route replace unreachable default metric 4278198272 table 5300 check "watchdog : aucune alerte BGP ni L3VNI sur hv1" watchdog_l3_quiet 60 NODE on hv3 <<'NODE' From 6d3d6314e21944b2d38f0af3e276a4b6d778dd28 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 11:53:58 +0100 Subject: [PATCH 5/5] f-81: doc: unreachable default, default_route, notes 0.3.0 #81 Signed-off-by: GnomeZworc --- docs/architecture/contraintes.rst | 7 +++++++ docs/concepts/modes-reseau.rst | 4 +++- docs/concepts/vpc-subnet-vm.rst | 16 +++++++++++++--- docs/developpement/lab.rst | 10 +++++----- docs/exploitation/observabilite.rst | 5 ++++- release_notes/0.3.0.md | 25 +++++++++++++++++++++++++ 6 files changed, 57 insertions(+), 10 deletions(-) create mode 100644 release_notes/0.3.0.md diff --git a/docs/architecture/contraintes.rst b/docs/architecture/contraintes.rst index 5686cee..dc1ca06 100644 --- a/docs/architecture/contraintes.rst +++ b/docs/architecture/contraintes.rst @@ -29,6 +29,13 @@ Réseau * **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par tous les hôtes, une réponse peut partir vers un autre hôte. +* **Chaque VRF de VPC porte une route ``unreachable default`` de métrique maximale.** Sans elle, + une recherche manquée dans la VRF retombe dans la table ``main`` de l'hôte et le paquet du + locataire sort par l'underlay. Elle survit à la suppression de la VRF (aucune interface) : la + retirer explicitement au démontage. +* **``default_route: true`` sans ``gateway`` est réservé au mode ``bridge``** : en ``vxlan``, la + gateway de l'hôte n'est pas sur le subnet, la route par défaut serait inutilisable, et jointe + elle contournerait le netns et la VRF. * ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur. QEMU et VM diff --git a/docs/concepts/modes-reseau.rst b/docs/concepts/modes-reseau.rst index 8a0503d..0e36516 100644 --- a/docs/concepts/modes-reseau.rst +++ b/docs/concepts/modes-reseau.rst @@ -172,7 +172,9 @@ seule. Le champ ``default_route`` ne choisit que son next-hop : ``default_route: true`` next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage - de l'host. + de l'host, à la création du subnet. Ce dernier cas est **réservé au mode** ``bridge``, où la VM + partage le L2 de cette gateway : sans ``gateway``, ``default_route: true`` est refusé (400) en + ``vxlan`` et en ``public_ip``. ``gateway`` n'est **pas validé** par l'agent : sa joignabilité et sa cohérence avec le CIDR du subnet relèvent de l'appelant. Fourni avec ``default_route: false``, il est ignoré. diff --git a/docs/concepts/vpc-subnet-vm.rst b/docs/concepts/vpc-subnet-vm.rst index 5156a38..0c9e850 100644 --- a/docs/concepts/vpc-subnet-vm.rst +++ b/docs/concepts/vpc-subnet-vm.rst @@ -44,7 +44,7 @@ subnets. L'agent n'impose que la première borne (le RD ``:`` porte .. code-block:: text - vrf- VRF, table de routage = l3vni + vrf- VRF, table de routage = l3vni, unreachable default metric 4278198272 ├── brl3- bridge sans adresse, MAC de routeur 02:02: │ └── vxl3- VXLAN du l3vni, VTEP = IPv4 primaire de default_interface └── l3--o 169.254.0.1/30 ── l3--i 169.254.0.2/30, dans le netns du VPC @@ -56,8 +56,18 @@ touche pas au réglage global, que ``bootstrap_kvm.sh`` met déjà à 1. FRR re ``router bgp vrf vrf-`` avec RD ``:`` et RT ``:``, et l'export des routes du ``cidr`` présentes dans la VRF. -La suppression retire d'abord la configuration de routage de FRR, puis les interfaces, puis la -VRF de FRR. Cet ordre est imposé : supprimer la VRF du noyau sous une instance BGP encore +La table de la VRF reçoit, juste après sa création, une route ``unreachable default`` de métrique +maximale (``4278198272``, valeur recommandée par la documentation VRF du noyau). Sans elle, une +recherche qui échoue dans la VRF continue dans les règles suivantes, donc dans la table ``main`` +de l'hôte : un paquet d'un locataire vers une adresse inconnue de la VRF sortirait par l'underlay, +avec ``169.254.0.2`` pour source (mesuré, `#81 `_). La +métrique maximale laisse passer avant elle toute route réelle de la VRF. Cette route n'est pas +annoncée en EVPN : le route-map de la VRF n'exporte que le ``cidr`` du VPC. Elle n'est liée à +aucune interface et ne disparaît pas avec la VRF : la suppression la retire explicitement. IPv4 +seulement. + +La suppression retire d'abord la configuration de routage de FRR, puis les interfaces, la route +``unreachable default``, puis la VRF de FRR. Cet ordre est imposé : supprimer la VRF du noyau sous une instance BGP encore configurée fait planter ``bgpd`` (FRR 10.7.1). Subnet diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index 632e03a..8296ed4 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -296,7 +296,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé * - ``11-validation`` - validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base - hv1 - - #41, #57, #33, #62, #74 + - #41, #57, #33, #62, #74, #81 * - ``12-etats`` - machine d'états — 409 pendant creating, suppression depuis error, dépendances VM → subnet → VPC, recréation sous le même nom - hv1 @@ -370,17 +370,17 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé - hv1 hv2 - #57 * - ``51-l3vni`` - - routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d'un VPC routé + - routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé - hv1 hv2 - - #41 + - #41, #81 * - ``52-migration`` - migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN - hv1 hv2 hv3 - #41, #57 * - ``53-watchdog-l3`` - - watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais + - watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais - hv1 hv3 - - #41 + - #41, #81 * - ``61-redemarrage-agent`` - redémarrage de l'agent avec des VM en marche — rien ne disparaît ni n'est recréé, trafic routé sans perte, DHCP et métadonnées servis, base BGP réappliquée à l'identique, ressources toujours gérées - hv1 hv2 diff --git a/docs/exploitation/observabilite.rst b/docs/exploitation/observabilite.rst index 46d1a37..34c1197 100644 --- a/docs/exploitation/observabilite.rst +++ b/docs/exploitation/observabilite.rst @@ -45,7 +45,10 @@ Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de co ``Established`` (``show bgp neighbors ``). * **VPC routés** (``l3vni``, état ``running``) : présence et état des interfaces ``vrf-``, ``brl3-``, ``vxl3-``, ``l3--o`` et, dans le netns, ``l3--i`` ; L3VNI de type - ``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni ``). + ``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni ``) ; route + ``unreachable default`` de métrique ``4278198272`` dans la table de la VRF. Un VPC routé créé + par une version antérieure à la 0.3.0 ne l'a pas : il est signalé à chaque tick jusqu'à sa + recréation, l'agent ne la pose pas au démarrage. * **Réconciliation des routes exportées** dans la VRF : chaque ``/24`` de subnet ``vxlan`` et chaque ``/32`` d'interface de VM ``running`` doit être exporté ; à l'inverse, une route exportée dont le propriétaire n'existe plus — ni ``running``, ni en ``creating``, ``deleting`` ou ``error`` — diff --git a/release_notes/0.3.0.md b/release_notes/0.3.0.md new file mode 100644 index 0000000..baca9d6 --- /dev/null +++ b/release_notes/0.3.0.md @@ -0,0 +1,25 @@ +# Gabriel + +## Correctifs + +- **Chaque VRF de VPC porte une route `unreachable default` (#81).** Une recherche qui échouait + dans la table d'une VRF continuait dans la table `main` de l'hôte : un paquet d'un locataire + vers une adresse inconnue de son VPC sortait par l'underlay, avec `169.254.0.2` pour source + (mesuré en lab). La route est posée juste après la VRF, avec la métrique maximale + `4278198272`, de sorte que toute route réelle reste prioritaire ; elle n'est pas annoncée en + EVPN et elle est retirée au démontage du VPC. Le watchdog signale une VRF qui ne l'a pas. + IPv4 seulement +- **`default_route: true` sans `gateway` est réservé au mode `bridge` (#81)** : refusé (400) en + `vxlan` et en `public_ip`. Hors `bridge`, la gateway lue dans la table de routage de l'hôte + n'est pas sur le subnet des VM : la route par défaut annoncée était inutilisable + +## Mise à jour depuis la 0.2.0 + +- **`default_route: true` exige une `gateway` hors mode `bridge`** : un appel qui l'omettait en + `vxlan` reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils + annonçaient jusqu'à leur recréation +- **Les VPC routés existants n'ont pas la route `unreachable default`** : l'agent ne la pose pas + au démarrage, le watchdog les signale à chaque tick. La recréation du VPC la pose ; d'ici là, + la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC, + la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC : + `ip route replace unreachable default metric 4278198272 table `