diff --git a/api/agent.yaml b/api/agent.yaml index 1f0b7bb..65c2603 100644 --- a/api/agent.yaml +++ b/api/agent.yaml @@ -234,8 +234,7 @@ paths: "400": description: > Missing required field; interface_ip missing on a bridge or public_ip subnet, or - supplied on a vxlan subnet (it is computed); default_route true without gateway on a - vxlan or public_ip subnet + supplied on a vxlan subnet (it is computed) content: application/json: schema: @@ -409,9 +408,8 @@ components: description: > A default route is always advertised via DHCP; this flag only chooses its next-hop. When false, the next-hop is the subnet interface_ip. When true, it is the `gateway` - field if supplied, otherwise the gateway read from the host routing table — this last - case is bridge mode only (400 in vxlan and public_ip modes, whose guests do not share - the L2 segment of the host gateway). The route to the VPC CIDR always keeps interface_ip as its next-hop (except in bridge + field if supplied, otherwise the gateway read from the host routing table. + The route to the VPC CIDR always keeps interface_ip as its next-hop (except in bridge mode, which has no VPC route), so VPC traffic never leaves through a public gateway. default: false gateway: diff --git a/docs/architecture/contraintes.rst b/docs/architecture/contraintes.rst index dc1ca06..5686cee 100644 --- a/docs/architecture/contraintes.rst +++ b/docs/architecture/contraintes.rst @@ -29,13 +29,6 @@ Réseau * **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par tous les hôtes, une réponse peut partir vers un autre hôte. -* **Chaque VRF de VPC porte une route ``unreachable default`` de métrique maximale.** Sans elle, - une recherche manquée dans la VRF retombe dans la table ``main`` de l'hôte et le paquet du - locataire sort par l'underlay. Elle survit à la suppression de la VRF (aucune interface) : la - retirer explicitement au démontage. -* **``default_route: true`` sans ``gateway`` est réservé au mode ``bridge``** : en ``vxlan``, la - gateway de l'hôte n'est pas sur le subnet, la route par défaut serait inutilisable, et jointe - elle contournerait le netns et la VRF. * ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur. QEMU et VM diff --git a/docs/concepts/modes-reseau.rst b/docs/concepts/modes-reseau.rst index 0e36516..8a0503d 100644 --- a/docs/concepts/modes-reseau.rst +++ b/docs/concepts/modes-reseau.rst @@ -172,9 +172,7 @@ seule. Le champ ``default_route`` ne choisit que son next-hop : ``default_route: true`` next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage - de l'host, à la création du subnet. Ce dernier cas est **réservé au mode** ``bridge``, où la VM - partage le L2 de cette gateway : sans ``gateway``, ``default_route: true`` est refusé (400) en - ``vxlan`` et en ``public_ip``. + de l'host. ``gateway`` n'est **pas validé** par l'agent : sa joignabilité et sa cohérence avec le CIDR du subnet relèvent de l'appelant. Fourni avec ``default_route: false``, il est ignoré. diff --git a/docs/concepts/vpc-subnet-vm.rst b/docs/concepts/vpc-subnet-vm.rst index 0c9e850..5156a38 100644 --- a/docs/concepts/vpc-subnet-vm.rst +++ b/docs/concepts/vpc-subnet-vm.rst @@ -44,7 +44,7 @@ subnets. L'agent n'impose que la première borne (le RD ``:`` porte .. code-block:: text - vrf- VRF, table de routage = l3vni, unreachable default metric 4278198272 + vrf- VRF, table de routage = l3vni ├── brl3- bridge sans adresse, MAC de routeur 02:02: │ └── vxl3- VXLAN du l3vni, VTEP = IPv4 primaire de default_interface └── l3--o 169.254.0.1/30 ── l3--i 169.254.0.2/30, dans le netns du VPC @@ -56,18 +56,8 @@ touche pas au réglage global, que ``bootstrap_kvm.sh`` met déjà à 1. FRR re ``router bgp vrf vrf-`` avec RD ``:`` et RT ``:``, et l'export des routes du ``cidr`` présentes dans la VRF. -La table de la VRF reçoit, juste après sa création, une route ``unreachable default`` de métrique -maximale (``4278198272``, valeur recommandée par la documentation VRF du noyau). Sans elle, une -recherche qui échoue dans la VRF continue dans les règles suivantes, donc dans la table ``main`` -de l'hôte : un paquet d'un locataire vers une adresse inconnue de la VRF sortirait par l'underlay, -avec ``169.254.0.2`` pour source (mesuré, `#81 `_). La -métrique maximale laisse passer avant elle toute route réelle de la VRF. Cette route n'est pas -annoncée en EVPN : le route-map de la VRF n'exporte que le ``cidr`` du VPC. Elle n'est liée à -aucune interface et ne disparaît pas avec la VRF : la suppression la retire explicitement. IPv4 -seulement. - -La suppression retire d'abord la configuration de routage de FRR, puis les interfaces, la route -``unreachable default``, puis la VRF de FRR. Cet ordre est imposé : supprimer la VRF du noyau sous une instance BGP encore +La suppression retire d'abord la configuration de routage de FRR, puis les interfaces, puis la +VRF de FRR. Cet ordre est imposé : supprimer la VRF du noyau sous une instance BGP encore configurée fait planter ``bgpd`` (FRR 10.7.1). Subnet diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index 8296ed4..632e03a 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -296,7 +296,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé * - ``11-validation`` - validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base - hv1 - - #41, #57, #33, #62, #74, #81 + - #41, #57, #33, #62, #74 * - ``12-etats`` - machine d'états — 409 pendant creating, suppression depuis error, dépendances VM → subnet → VPC, recréation sous le même nom - hv1 @@ -370,17 +370,17 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé - hv1 hv2 - #57 * - ``51-l3vni`` - - routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé + - routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d'un VPC routé - hv1 hv2 - - #41, #81 + - #41 * - ``52-migration`` - migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN - hv1 hv2 hv3 - #41, #57 * - ``53-watchdog-l3`` - - watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais + - watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais - hv1 hv3 - - #41, #81 + - #41 * - ``61-redemarrage-agent`` - redémarrage de l'agent avec des VM en marche — rien ne disparaît ni n'est recréé, trafic routé sans perte, DHCP et métadonnées servis, base BGP réappliquée à l'identique, ressources toujours gérées - hv1 hv2 diff --git a/docs/exploitation/observabilite.rst b/docs/exploitation/observabilite.rst index 34c1197..46d1a37 100644 --- a/docs/exploitation/observabilite.rst +++ b/docs/exploitation/observabilite.rst @@ -45,10 +45,7 @@ Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de co ``Established`` (``show bgp neighbors ``). * **VPC routés** (``l3vni``, état ``running``) : présence et état des interfaces ``vrf-``, ``brl3-``, ``vxl3-``, ``l3--o`` et, dans le netns, ``l3--i`` ; L3VNI de type - ``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni ``) ; route - ``unreachable default`` de métrique ``4278198272`` dans la table de la VRF. Un VPC routé créé - par une version antérieure à la 0.3.0 ne l'a pas : il est signalé à chaque tick jusqu'à sa - recréation, l'agent ne la pose pas au démarrage. + ``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni ``). * **Réconciliation des routes exportées** dans la VRF : chaque ``/24`` de subnet ``vxlan`` et chaque ``/32`` d'interface de VM ``running`` doit être exporté ; à l'inverse, une route exportée dont le propriétaire n'existe plus — ni ``running``, ni en ``creating``, ``deleting`` ou ``error`` — diff --git a/internal/api/agent/subnet_test.go b/internal/api/agent/subnet_test.go index b6b84a9..705a293 100644 --- a/internal/api/agent/subnet_test.go +++ b/internal/api/agent/subnet_test.go @@ -499,42 +499,3 @@ func TestGetSubnet_RelayIPOnlyForVxlan(t *testing.T) { t.Errorf("relay_ip inattendus dans la liste : %v", relays) } } - -func TestPostSubnet_DefaultRouteWithoutGatewayOnlyForBridge(t *testing.T) { - for _, req := range []SubnetCreateRequest{ - {Mode: "", CIDR: "10.0.0.0/24"}, - {Mode: "vxlan", VxlanID: 1101, CIDR: "10.0.0.0/24"}, - {Mode: "public_ip", InterfaceIP: "203.0.113.254", CIDR: "203.0.113.0/24"}, - } { - s, db := newTestServer(t) - kv.AddInDB(db, "vpc/vpc-1/state", "running") - req.Name, req.VPC, req.DefaultRoute = "sn-1", "vpc-1", true - w := postSubnetRequest(t, s, req) - if w.Code != http.StatusBadRequest { - t.Errorf("mode %q : attendu 400, obtenu %d : %s", req.Mode, w.Code, w.Body.String()) - } - if !strings.Contains(w.Body.String(), "default_route without gateway is only allowed for bridge subnets") { - t.Errorf("mode %q : message %s", req.Mode, w.Body.String()) - } - if _, err := kv.GetFromDB(db, "subnet/sn-1/state"); err == nil { - t.Errorf("mode %q : aucun subnet ne doit être créé", req.Mode) - } - } -} - -func TestPostSubnet_DefaultRouteAccepted(t *testing.T) { - for _, req := range []SubnetCreateRequest{ - {Mode: "bridge", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24"}, - {Mode: "bridge", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", Gateway: "10.0.0.254"}, - {Mode: "", CIDR: "10.0.0.0/24", Gateway: "10.0.0.1"}, - {Mode: "vxlan", VxlanID: 1101, CIDR: "10.0.0.0/24", Gateway: "10.0.0.1"}, - {Mode: "public_ip", InterfaceIP: "203.0.113.254", CIDR: "203.0.113.0/24", Gateway: "203.0.113.1"}, - } { - s, db := newTestServer(t) - kv.AddInDB(db, "vpc/vpc-1/state", "running") - req.Name, req.VPC, req.DefaultRoute = "sn-1", "vpc-1", true - if w := postSubnetRequest(t, s, req); w.Code != http.StatusAccepted { - t.Errorf("mode %q gateway %q : attendu 202, obtenu %d : %s", req.Mode, req.Gateway, w.Code, w.Body.String()) - } - } -} diff --git a/internal/api/agent/subnets.go b/internal/api/agent/subnets.go index 64f3ac7..5390d57 100644 --- a/internal/api/agent/subnets.go +++ b/internal/api/agent/subnets.go @@ -78,11 +78,6 @@ func (s *Server) postSubnet(w http.ResponseWriter, r *http.Request) { json.NewEncoder(w).Encode(ErrorResponse{Error: "interface_ip is computed for vxlan subnets, do not set it"}) return } - if req.DefaultRoute && req.Gateway == "" && req.Mode != subnet.ModeBridge { - w.WriteHeader(http.StatusBadRequest) - json.NewEncoder(w).Encode(ErrorResponse{Error: "default_route without gateway is only allowed for bridge subnets: the host gateway is not on the subnet"}) - return - } cmd := dispatcher.CreateSubnetCommand{ Name: req.Name, VPC: req.VPC, diff --git a/internal/l3vni/host.go b/internal/l3vni/host.go index 24a6c98..4899d3e 100644 --- a/internal/l3vni/host.go +++ b/internal/l3vni/host.go @@ -23,8 +23,6 @@ type host interface { DeleteLink(name string) error TableRouteVia(table uint32, dst *net.IPNet, gw net.IP, iface string) error TableRouteDel(table uint32, dst *net.IPNet) error - TableUnreachableDefault(table uint32) error - TableUnreachableDefaultDel(table uint32) error ApplyVRF(v frr.VRF) error WithdrawVRF(v frr.VRF) error RemoveVRF(v frr.VRF) error @@ -89,14 +87,6 @@ func (system) TableRouteDel(table uint32, dst *net.IPNet) error { return netif.RouteDelIfExists(int(table), dst) } -func (system) TableUnreachableDefault(table uint32) error { - return netif.RouteReplaceUnreachableDefault(int(table), UnreachableMetric) -} - -func (system) TableUnreachableDefaultDel(table uint32) error { - return netif.RouteDelUnreachableDefaultIfExists(int(table), UnreachableMetric) -} - func (s system) ApplyVRF(v frr.VRF) error { return s.frr.ApplyVRF(v) } func (s system) WithdrawVRF(v frr.VRF) error { return s.frr.WithdrawVRF(v) } diff --git a/internal/l3vni/l3.go b/internal/l3vni/l3.go index ad22ac2..65bd453 100644 --- a/internal/l3vni/l3.go +++ b/internal/l3vni/l3.go @@ -14,8 +14,6 @@ import ( "github.com/dgraph-io/badger/v4" ) -const UnreachableMetric = 4278198272 - var ( transitHost = &net.IPNet{IP: net.IPv4(169, 254, 0, 1).To4(), Mask: net.CIDRMask(30, 32)} transitNetns = &net.IPNet{IP: net.IPv4(169, 254, 0, 2).To4(), Mask: net.CIDRMask(30, 32)} @@ -86,7 +84,6 @@ func createL3(h host, cfg *configuration.Config, v l3VPC) error { run func() error }{ {"create " + v.vrf(), func() error { return h.CreateVRF(v.vrf(), v.vni) }}, - {"unreachable default in " + v.vrf(), func() error { return h.TableUnreachableDefault(v.vni) }}, {"create " + v.bridge(), func() error { return h.CreateBridge(v.bridge(), mtu, rmac) }}, {"attach " + v.bridge(), func() error { return h.SetMaster(v.bridge(), v.vrf()) }}, {"create " + v.vxlan(), func() error { return h.CreateVxlan(v.vxlan(), int(v.vni), cfg.DefaultInterface, mtu) }}, @@ -126,9 +123,6 @@ func deleteL3(h host, v l3VPC) error { return fmt.Errorf("l3vni %d: delete %s: %w", v.vni, link, err) } } - if err := h.TableUnreachableDefaultDel(v.vni); err != nil { - return fmt.Errorf("l3vni %d: delete unreachable default from table %d: %w", v.vni, v.vni, err) - } if err := h.RemoveVRF(frrVRF); err != nil { return fmt.Errorf("l3vni %d: remove frr vrf: %w", v.vni, err) } diff --git a/internal/l3vni/l3_test.go b/internal/l3vni/l3_test.go index 7855f27..17e0c8c 100644 --- a/internal/l3vni/l3_test.go +++ b/internal/l3vni/l3_test.go @@ -83,14 +83,6 @@ func (f *fakeHost) TableRouteDel(table uint32, dst *net.IPNet) error { return f.record(fmt.Sprintf("table %d del %s", table, dst)) } -func (f *fakeHost) TableUnreachableDefault(table uint32) error { - return f.record(fmt.Sprintf("table %d unreachable default", table)) -} - -func (f *fakeHost) TableUnreachableDefaultDel(table uint32) error { - return f.record(fmt.Sprintf("table %d del unreachable default", table)) -} - func (f *fakeHost) ApplyVRF(v frr.VRF) error { return f.record(fmt.Sprintf("frr apply asn=%d id=%s vni=%d vtep=%s supernet=%s", v.ASN, v.ID, v.L3VNI, v.VTEP, v.Supernet)) } @@ -129,7 +121,6 @@ func TestCreateL3FollowsTheLabRecipe(t *testing.T) { want := []string{ "vtep br-000000", "vrf vrf-s7 table 2700", - "table 2700 unreachable default", "bridge brl3-s7 mtu 1450 mac 02:02:c0:a8:0e:0b", "master brl3-s7 vrf-s7", "vxlan vxl3-s7 id 2700 dev br-000000 mtu 1450", @@ -188,7 +179,6 @@ func TestDeleteL3WithdrawsFRRThenTheKernelThenTheVRF(t *testing.T) { "del vxl3-s7", "del brl3-s7", "del vrf-s7", - "table 2700 del unreachable default", "frr remove asn=0 id=s7 vni=0", } if !reflect.DeepEqual(f.calls, want) { @@ -219,39 +209,9 @@ func TestDeleteL3KeepsTheFRRVRFWhenAKernelLinkCannotBeDeleted(t *testing.T) { } } -func TestCreateL3LeavesNoVRFWithoutItsUnreachableDefault(t *testing.T) { - f := &fakeHost{fail: map[string]error{"table 2700 unreachable default": errors.New("operation not permitted")}} - err := createL3(f, bgpConfig(), labL3(t)) - if err == nil || !strings.Contains(err.Error(), "l3vni 2700: unreachable default in vrf-s7: operation not permitted") { - t.Errorf("erreur %v", err) - } - if last := f.calls[len(f.calls)-1]; last != "table 2700 unreachable default" { - t.Errorf("appels après l'échec : %q", f.calls) - } -} - -func TestDeleteL3KeepsTheFRRVRFWhenTheUnreachableDefaultCannotBeDeleted(t *testing.T) { - f := &fakeHost{fail: map[string]error{"table 2700 del unreachable default": errors.New("operation not permitted")}} - err := deleteL3(f, labL3(t)) - if err == nil || !strings.Contains(err.Error(), "delete unreachable default from table 2700") { - t.Errorf("erreur %v", err) - } - for _, c := range f.calls { - if strings.HasPrefix(c, "frr remove") { - t.Errorf("étape exécutée après l'échec : %q", f.calls) - } - } -} - -func TestUnreachableMetricIsTheHighestRecommendedByTheKernel(t *testing.T) { - if UnreachableMetric != 4278198272 { - t.Errorf("UnreachableMetric = %d", UnreachableMetric) - } -} - func TestDeleteL3DoesNotDependOnTheAgentBGPSection(t *testing.T) { f := &fakeHost{} - if err := deleteL3(f, labL3(t)); err != nil || len(f.calls) != 7 { + if err := deleteL3(f, labL3(t)); err != nil || len(f.calls) != 6 { t.Errorf("erreur %v, appels %q", err, f.calls) } } diff --git a/internal/netif/route_linux.go b/internal/netif/route_linux.go index 1001a53..a7be050 100644 --- a/internal/netif/route_linux.go +++ b/internal/netif/route_linux.go @@ -3,16 +3,11 @@ package netif import ( - "errors" "net" - "syscall" "github.com/vishvananda/netlink" - "golang.org/x/sys/unix" ) -var defaultIPv4 = &net.IPNet{IP: net.IPv4zero.To4(), Mask: net.CIDRMask(0, 32)} - func RouteAdd(iface string, subnet *net.IPNet) error { return RouteAddFrom(iface, subnet, nil) } @@ -50,44 +45,3 @@ func TableRoutesVia(table int, iface string) ([]*net.IPNet, error) { } return dsts, nil } - -func unreachableDefault(table, metric int) *netlink.Route { - return &netlink.Route{ - Dst: defaultIPv4, - Table: table, - Type: unix.RTN_UNREACHABLE, - Priority: metric, - } -} - -func RouteReplaceUnreachableDefault(table, metric int) error { - return netlink.RouteReplace(unreachableDefault(table, metric)) -} - -func RouteDelUnreachableDefaultIfExists(table, metric int) error { - if err := netlink.RouteDel(unreachableDefault(table, metric)); err != nil && !errors.Is(err, syscall.ESRCH) { - return err - } - return nil -} - -func HasUnreachableDefault(table, metric int) (bool, error) { - routes, err := netlink.RouteListFiltered(netlink.FAMILY_V4, &netlink.Route{ - Table: table, - Type: unix.RTN_UNREACHABLE, - }, netlink.RT_FILTER_TABLE|netlink.RT_FILTER_TYPE) - if err != nil { - return false, err - } - for _, r := range routes { - if r.Priority == metric && (r.Dst == nil || isDefault(r.Dst)) { - return true, nil - } - } - return false, nil -} - -func isDefault(dst *net.IPNet) bool { - ones, _ := dst.Mask.Size() - return ones == 0 -} diff --git a/internal/netif/route_other.go b/internal/netif/route_other.go index 9b7a12b..d87bf82 100644 --- a/internal/netif/route_other.go +++ b/internal/netif/route_other.go @@ -18,15 +18,3 @@ func RouteAddFrom(_ string, _ *net.IPNet, _ net.IP) error { func TableRoutesVia(_ int, _ string) ([]*net.IPNet, error) { return nil, errors.New("route listing is only implemented on linux") } - -func RouteReplaceUnreachableDefault(_, _ int) error { - return errors.New("not supported on this platform") -} - -func RouteDelUnreachableDefaultIfExists(_, _ int) error { - return errors.New("not supported on this platform") -} - -func HasUnreachableDefault(_, _ int) (bool, error) { - return false, errors.New("route listing is only implemented on linux") -} diff --git a/internal/watchdog/check_l3.go b/internal/watchdog/check_l3.go index fae7759..0fee453 100644 --- a/internal/watchdog/check_l3.go +++ b/internal/watchdog/check_l3.go @@ -25,7 +25,6 @@ type l3Probe interface { NeighborEstablished(peer net.IP) (bool, error) VNI(vni uint32) (frr.VNIState, error) ExportedRoutes(table uint32, iface string) ([]*net.IPNet, error) - UnreachableDefault(table uint32) (bool, error) LinkProblem(ns, iface string) string } @@ -45,10 +44,6 @@ func (systemProbe) ExportedRoutes(table uint32, iface string) ([]*net.IPNet, err return netif.TableRoutesVia(int(table), iface) } -func (systemProbe) UnreachableDefault(table uint32) (bool, error) { - return netif.HasUnreachableDefault(int(table), l3vni.UnreachableMetric) -} - func (systemProbe) LinkProblem(ns, iface string) string { if ns == "" { return linkProblem(iface) @@ -150,14 +145,6 @@ func checkL3VPC(db *badger.DB, name string, r l3vni.Routing, rmac string, p l3Pr n.Notify(kindVPC, name, fmt.Sprintf("l3vni %d has router mac %q in frr, expected %s", r.VNI, s.RouterMAC, rmac)) } - present, err := p.UnreachableDefault(r.VNI) - switch { - case err != nil: - n.Notify(kindVPC, name, fmt.Sprintf("unreachable default of %s unreadable: %v", r.VRF, err)) - case !present: - n.Notify(kindVPC, name, fmt.Sprintf("no unreachable default in %s: traffic to an unknown destination leaves through the host routing table", r.VRF)) - } - actual, err := p.ExportedRoutes(r.VNI, r.VethHost) if err != nil { n.Notify(kindVPC, name, fmt.Sprintf("routes of %s unreadable: %v", r.VRF, err)) diff --git a/internal/watchdog/check_l3_test.go b/internal/watchdog/check_l3_test.go index f84a6a3..c307b30 100644 --- a/internal/watchdog/check_l3_test.go +++ b/internal/watchdog/check_l3_test.go @@ -19,8 +19,6 @@ type fakeProbe struct { routesErr error links map[string]string vtepErr error - unreachable map[uint32]bool - unreachErr error } func (f *fakeProbe) VTEPAddress(string) (net.IP, error) { @@ -51,13 +49,6 @@ func (f *fakeProbe) ExportedRoutes(table uint32, _ string) ([]*net.IPNet, error) return out, f.routesErr } -func (f *fakeProbe) UnreachableDefault(table uint32) (bool, error) { - if f.unreachable == nil { - return true, f.unreachErr - } - return f.unreachable[table], f.unreachErr -} - func (f *fakeProbe) LinkProblem(ns, iface string) string { return f.links[ns+"/"+iface] } @@ -249,32 +240,3 @@ func TestCheckL3VPCsReportsUnreadableRoutesAndVTEP(t *testing.T) { t.Errorf("RMAC comparée sans VTEP : %q", notified(r)) } } - -func TestCheckL3VPCsReportsAVRFWithoutUnreachableDefault(t *testing.T) { - db := newTestDB(t) - seedResource(t, db, prefixVPC, "vp-s7", state.Running) - seedKV(t, db, "vpc/vp-s7/cidr", "10.241.0.0/16") - seedKV(t, db, "vpc/vp-s7/l3vni", "2700") - seedResource(t, db, prefixVPC, "vp-s8", state.Running) - seedKV(t, db, "vpc/vp-s8/cidr", "10.242.0.0/16") - seedKV(t, db, "vpc/vp-s8/l3vni", "2800") - p := seedRoutedVPC(t) - p.vni[2800] = frr.VNIState{Type: "L3", State: "Up", RouterMAC: "02:02:c0:a8:0e:0b"} - p.unreachable = map[uint32]bool{2700: true} - r := &recorder{} - if err := CheckL3VPCs(db, bgpCfg(), p, r); err != nil { - t.Fatal(err) - } - want := []string{"vpc vp-s8: no unreachable default in vrf-s8: traffic to an unknown destination leaves through the host routing table"} - if got := notified(r); !reflect.DeepEqual(got, want) { - t.Errorf("notifications :\n%q\nattendu :\n%q", got, want) - } - - p.unreachable = map[uint32]bool{2700: true, 2800: true} - p.unreachErr = errors.New("netlink refused") - r = &recorder{} - CheckL3VPCs(db, bgpCfg(), p, r) - if !r.hasProblemContaining("unreachable default of vrf-s7 unreadable: netlink refused") || r.hasProblemContaining("no unreachable default") { - t.Errorf("notifications %q", notified(r)) - } -} diff --git a/release_notes/0.3.0.md b/release_notes/0.3.0.md deleted file mode 100644 index baca9d6..0000000 --- a/release_notes/0.3.0.md +++ /dev/null @@ -1,25 +0,0 @@ -# Gabriel - -## Correctifs - -- **Chaque VRF de VPC porte une route `unreachable default` (#81).** Une recherche qui échouait - dans la table d'une VRF continuait dans la table `main` de l'hôte : un paquet d'un locataire - vers une adresse inconnue de son VPC sortait par l'underlay, avec `169.254.0.2` pour source - (mesuré en lab). La route est posée juste après la VRF, avec la métrique maximale - `4278198272`, de sorte que toute route réelle reste prioritaire ; elle n'est pas annoncée en - EVPN et elle est retirée au démontage du VPC. Le watchdog signale une VRF qui ne l'a pas. - IPv4 seulement -- **`default_route: true` sans `gateway` est réservé au mode `bridge` (#81)** : refusé (400) en - `vxlan` et en `public_ip`. Hors `bridge`, la gateway lue dans la table de routage de l'hôte - n'est pas sur le subnet des VM : la route par défaut annoncée était inutilisable - -## Mise à jour depuis la 0.2.0 - -- **`default_route: true` exige une `gateway` hors mode `bridge`** : un appel qui l'omettait en - `vxlan` reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils - annonçaient jusqu'à leur recréation -- **Les VPC routés existants n'ont pas la route `unreachable default`** : l'agent ne la pose pas - au démarrage, le watchdog les signale à chaque tick. La recréation du VPC la pose ; d'ici là, - la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC, - la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC : - `ip route replace unreachable default metric 4278198272 table ` diff --git a/test/e2e/suite/11-validation.sh b/test/e2e/suite/11-validation.sh index 04df20d..c9684a2 100644 --- a/test/e2e/suite/11-validation.sh +++ b/test/e2e/suite/11-validation.sh @@ -1,6 +1,6 @@ # fonctionnalité: validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base # hôtes: hv1 -# tickets: #41, #57, #33, #62, #74, #81 +# tickets: #41, #57, #33, #62, #74 on hv1 <<'NODE' check "VPC vp-t11a, l3vni 1100 (témoin)" vpc_create vp-t11a 10.11.0.0/16 1100 @@ -19,8 +19,6 @@ check "sn-t11a : adresse d'émission calculée .253" test "$(api_field subnets/s check "subnet : nom déjà pris, 409" expect_code 409 api_post_code subnets '{"name":"sn-t11a","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1101,"cidr":"10.11.1.0/24"}' check "subnet : mode inconnu, 422" expect_code 422 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vlan","vxlan_id":1109,"cidr":"10.11.9.0/24"}' check "subnet : interface_ip fournie en vxlan, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/24","interface_ip":"10.11.9.1"}' -check "subnet : default_route sans gateway en vxlan, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/24","default_route":true}' -check "subnet : default_route sans gateway, mode omis, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","vxlan_id":1109,"cidr":"10.11.9.0/24","default_route":true}' check "subnet : interface_ip absente en bridge, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"bridge","cidr":"10.11.9.0/24"}' check "subnet : préfixe /30 en vxlan, 422" expect_code 422 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/30"}' check "subnet : préfixe /29 en vxlan accepté (témoin)" expect_code 202 api_post_code subnets '{"name":"sn-t11p","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1103,"cidr":"10.11.3.0/29"}' diff --git a/test/e2e/suite/51-l3vni.sh b/test/e2e/suite/51-l3vni.sh index 4e562f0..879e2cb 100644 --- a/test/e2e/suite/51-l3vni.sh +++ b/test/e2e/suite/51-l3vni.sh @@ -1,6 +1,6 @@ -# fonctionnalité: routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé +# fonctionnalité: routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d'un VPC routé # hôtes: hv1 hv2 -# tickets: #41, #81 +# tickets: #41 on hv1 <<'NODE' KEY=$(vm_key) @@ -23,9 +23,6 @@ check "hv1 : vrf-t51 contient exactement brl3-t51 et l3-t51-o" sh -c "[ \"\$1\" check "hv1 : brl3-t51 sans adresse IPv4" sh -c "! ip -4 -o addr show dev brl3-t51 | grep -q inet" check "hv1 : RMAC de brl3-t51 dérivée du VTEP 192.168.14.11" sh -c "ip -o link show brl3-t51 | grep -q 'link/ether 02:02:c0:a8:0e:0b '" check "hv1 : route du supernet dans vp-t51 vers le transit" sh -c "ip -n vp-t51 -4 route show 10.51.0.0/18 | grep -q 'via 169.254.0.1 dev l3-t51-i'" -check "hv1 : table 5100 de vrf-t51 : unreachable default de métrique 4278198272" sh -c "ip -4 route show table 5100 | grep -q '^unreachable default metric 4278198272'" -check "hv1 : adresse du VPC inconnue (10.51.5.5) injoignable dans vrf-t51, pas de repli sur la table main" sh -c "ip -4 route get 10.51.5.5 vrf vrf-t51 2>&1 | grep -q 'No route to host'" -check "hv1 : adresse externe (8.8.8.8) injoignable dans vrf-t51" sh -c "ip -4 route get 8.8.8.8 vrf vrf-t51 2>&1 | grep -q 'No route to host'" check "hv1 : forwarding sur brl3-t51 et l3-t51-o" sh -c "[ \"\$(sysctl -n net.ipv4.conf.brl3-t51.forwarding net.ipv4.conf.l3-t51-o.forwarding | tr '\n' ' ')\" = '1 1 ' ]" check "hv1 : ip_forward dans le netns vp-t51" sh -c "[ \"\$(ip netns exec vp-t51 sysctl -n net.ipv4.ip_forward)\" = 1 ]" info "hv1 : ip_forward global de l'hôte : $(sysctl -n net.ipv4.ip_forward) (non modifié par l'agent)" @@ -44,7 +41,6 @@ check "hv2 : RMAC de hv1 dans la FDB de vxl3-t51" sh -c "bridge fdb show dev vxl NODE on rr1 <<'NODE' check "rr1 : RT-5 10.51.1.10/32 de hv1 (RD 192.168.14.11:5100) reçue et réfléchie" sh -c "vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.11:5100 type prefix' | grep -q '\[10.51.1.10\]'" -check "rr1 : aucune RT-5 0.0.0.0/0 de hv1 (RD 192.168.14.11:5100) : l'unreachable default n'est pas annoncée" sh -c "! vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.11:5100 type prefix' | grep -q '\[0.0.0.0\]'" check "rr1 : RT-5 10.51.2.20/32 de vp-t51b (RD 192.168.14.12:5101) présente (témoin du test négatif)" sh -c "vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.12:5101 type prefix' | grep -q '\[10.51.2.20\]'" NODE on hv1 <<'NODE' @@ -60,7 +56,6 @@ check "TTL 2 : expire dans la VRF de hv1 (169.254.0.1)" vm_grep vp-t51 10.51.1.1 check "TTL 5 : atteint t51-b — quatre routeurs : gateway hv1, VRF hv1, VRF hv2, netns hv2" vm_ssh vp-t51 10.51.1.10 'ping -n -c 1 -W 2 -t 5 10.51.2.10' check "hv1 : vrf-t51 n'importe pas 10.51.2.20/32 de vp-t51b (RT 64600:5101)" sh -c "[ -z \"\$(ip -4 route show vrf vrf-t51 10.51.2.20)\" ]" check "t51-a ne joint pas t51-x, autre VPC, même plage" vm_fails vp-t51 10.51.1.10 'ping -c 3 -W 2 10.51.2.20' -check "t51-a vers une adresse inconnue du VPC (10.51.5.5) : refusé par vrf-t51 (169.254.0.1), rien vers l'underlay" vm_grep vp-t51 10.51.1.10 'ping -n -c 2 -W 2 10.51.5.5' 'From 169.254.0.1 .*Unreachable' NODE on hv2 <<'NODE' BGPD=$(pidof bgpd) @@ -69,11 +64,9 @@ check "hv2 : suppression de t51-x" vm_delete t51-x check "hv2 : vrf-t51b ne porte plus le /32 de t51-x" test -z "$(ip -4 route show vrf vrf-t51b 10.51.2.20/32)" check "hv2 : suppression de sn-t51x" api_delete subnets/sn-t51x check "hv2 : sn-t51x supprimé" wait_state subnets/sn-t51x deleted -check "hv2 : table 5101 de vrf-t51b : unreachable default avant le démontage (témoin)" sh -c "ip -4 route show table 5101 | grep -q '^unreachable default metric 4278198272'" check "hv2 : suppression de vp-t51b" api_delete vpcs/vp-t51b check "hv2 : vp-t51b supprimé" wait_state vpcs/vp-t51b deleted check "hv2 : plus aucune interface de vp-t51b" sh -c "! ip -o link show | grep -qE '(vrf|brl3|vxl3)-t51b|l3-t51b-o'" -check "hv2 : table 5101 vide après le démontage, unreachable default comprise" sh -c "! ip -4 route show table 5101 2>&1 | grep -qE '^(unreachable|default|[0-9])'" check "hv2 : plus rien de vrf-t51b dans FRR, en mémoire ni dans frr.conf" sh -c "! vtysh -c 'show running-config' | grep -q 'vrf-t51b' && ! grep -q 'vrf-t51b' /etc/frr/frr.conf" check "hv2 : bgpd n'a pas redémarré pendant le démontage" sh -c "[ \"\$(pidof bgpd)\" = '${BGPD}' ]" check "hv2 : vp-t51 toujours en service" wait_l3vni 5100 02:02:c0:a8:0e:0c diff --git a/test/e2e/suite/53-watchdog-l3.sh b/test/e2e/suite/53-watchdog-l3.sh index 7d88c7e..f0a6def 100644 --- a/test/e2e/suite/53-watchdog-l3.sh +++ b/test/e2e/suite/53-watchdog-l3.sh @@ -1,6 +1,6 @@ -# fonctionnalité: watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais +# fonctionnalité: watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais # hôtes: hv1 hv3 -# tickets: #41, #81 +# tickets: #41 on hv1 <<'NODE' check "hv1 : VPC vp-t53, l3vni 5300" vpc_create vp-t53 10.53.0.0/16 5300 @@ -28,10 +28,6 @@ check "watchdog : /32 de t53-m retiré à la main" ip route del 10.53.1.50/32 vr check "hypothèse du test : FRR retire le /32 de t53-m de sa table BGP quand la route du noyau disparaît" wait_bgp_paths vp-t53 10.53.1.50/32 0 check "watchdog : /32 manquant signalé" wait_watchdog "route 10.53.1.50/32 not exported in vrf-t53" check "watchdog : /32 de t53-m rétabli" ip route replace 10.53.1.50/32 via 169.254.0.2 dev l3-t53-o vrf vrf-t53 -check "watchdog : aucune alerte sur l'unreachable default avant son retrait (témoin)" watchdog_quiet_about 60 "no unreachable default" -check "watchdog : unreachable default retirée à la main de la table 5300" ip route del unreachable default metric 4278198272 table 5300 -check "watchdog : unreachable default absente signalée" wait_watchdog "no unreachable default in vrf-t53" -check "watchdog : unreachable default rétablie" ip route replace unreachable default metric 4278198272 table 5300 check "watchdog : aucune alerte BGP ni L3VNI sur hv1" watchdog_l3_quiet 60 NODE on hv3 <<'NODE'