Merge branch 'feature-81'
All checks were successful
Documentation / publish (push) Successful in 1m45s
All checks were successful
Documentation / publish (push) Successful in 1m45s
This commit is contained in:
commit
7672445fe7
19 changed files with 290 additions and 19 deletions
|
|
@ -234,7 +234,8 @@ paths:
|
|||
"400":
|
||||
description: >
|
||||
Missing required field; interface_ip missing on a bridge or public_ip subnet, or
|
||||
supplied on a vxlan subnet (it is computed)
|
||||
supplied on a vxlan subnet (it is computed); default_route true without gateway on a
|
||||
vxlan or public_ip subnet
|
||||
content:
|
||||
application/json:
|
||||
schema:
|
||||
|
|
@ -408,8 +409,9 @@ components:
|
|||
description: >
|
||||
A default route is always advertised via DHCP; this flag only chooses its next-hop.
|
||||
When false, the next-hop is the subnet interface_ip. When true, it is the `gateway`
|
||||
field if supplied, otherwise the gateway read from the host routing table.
|
||||
The route to the VPC CIDR always keeps interface_ip as its next-hop (except in bridge
|
||||
field if supplied, otherwise the gateway read from the host routing table — this last
|
||||
case is bridge mode only (400 in vxlan and public_ip modes, whose guests do not share
|
||||
the L2 segment of the host gateway). The route to the VPC CIDR always keeps interface_ip as its next-hop (except in bridge
|
||||
mode, which has no VPC route), so VPC traffic never leaves through a public gateway.
|
||||
default: false
|
||||
gateway:
|
||||
|
|
|
|||
|
|
@ -29,6 +29,13 @@ Réseau
|
|||
* **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis
|
||||
la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par
|
||||
tous les hôtes, une réponse peut partir vers un autre hôte.
|
||||
* **Chaque VRF de VPC porte une route ``unreachable default`` de métrique maximale.** Sans elle,
|
||||
une recherche manquée dans la VRF retombe dans la table ``main`` de l'hôte et le paquet du
|
||||
locataire sort par l'underlay. Elle survit à la suppression de la VRF (aucune interface) : la
|
||||
retirer explicitement au démontage.
|
||||
* **``default_route: true`` sans ``gateway`` est réservé au mode ``bridge``** : en ``vxlan``, la
|
||||
gateway de l'hôte n'est pas sur le subnet, la route par défaut serait inutilisable, et jointe
|
||||
elle contournerait le netns et la VRF.
|
||||
* ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur.
|
||||
|
||||
QEMU et VM
|
||||
|
|
|
|||
|
|
@ -172,7 +172,9 @@ seule. Le champ ``default_route`` ne choisit que son next-hop :
|
|||
|
||||
``default_route: true``
|
||||
next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage
|
||||
de l'host.
|
||||
de l'host, à la création du subnet. Ce dernier cas est **réservé au mode** ``bridge``, où la VM
|
||||
partage le L2 de cette gateway : sans ``gateway``, ``default_route: true`` est refusé (400) en
|
||||
``vxlan`` et en ``public_ip``.
|
||||
|
||||
``gateway`` n'est **pas validé** par l'agent : sa joignabilité et sa cohérence avec le CIDR du
|
||||
subnet relèvent de l'appelant. Fourni avec ``default_route: false``, il est ignoré.
|
||||
|
|
|
|||
|
|
@ -44,7 +44,7 @@ subnets. L'agent n'impose que la première borne (le RD ``<VTEP>:<l3vni>`` porte
|
|||
|
||||
.. code-block:: text
|
||||
|
||||
vrf-<id> VRF, table de routage = l3vni
|
||||
vrf-<id> VRF, table de routage = l3vni, unreachable default metric 4278198272
|
||||
├── brl3-<id> bridge sans adresse, MAC de routeur 02:02:<IPv4 du VTEP>
|
||||
│ └── vxl3-<id> VXLAN du l3vni, VTEP = IPv4 primaire de default_interface
|
||||
└── l3-<id>-o 169.254.0.1/30 ── l3-<id>-i 169.254.0.2/30, dans le netns du VPC
|
||||
|
|
@ -56,8 +56,18 @@ touche pas au réglage global, que ``bootstrap_kvm.sh`` met déjà à 1. FRR re
|
|||
``router bgp <asn> vrf vrf-<id>`` avec RD ``<VTEP>:<l3vni>`` et RT ``<asn>:<l3vni>``, et
|
||||
l'export des routes du ``cidr`` présentes dans la VRF.
|
||||
|
||||
La suppression retire d'abord la configuration de routage de FRR, puis les interfaces, puis la
|
||||
VRF de FRR. Cet ordre est imposé : supprimer la VRF du noyau sous une instance BGP encore
|
||||
La table de la VRF reçoit, juste après sa création, une route ``unreachable default`` de métrique
|
||||
maximale (``4278198272``, valeur recommandée par la documentation VRF du noyau). Sans elle, une
|
||||
recherche qui échoue dans la VRF continue dans les règles suivantes, donc dans la table ``main``
|
||||
de l'hôte : un paquet d'un locataire vers une adresse inconnue de la VRF sortirait par l'underlay,
|
||||
avec ``169.254.0.2`` pour source (mesuré, `#81 <https://git.g3e.fr/syonad/two/issues/81>`_). La
|
||||
métrique maximale laisse passer avant elle toute route réelle de la VRF. Cette route n'est pas
|
||||
annoncée en EVPN : le route-map de la VRF n'exporte que le ``cidr`` du VPC. Elle n'est liée à
|
||||
aucune interface et ne disparaît pas avec la VRF : la suppression la retire explicitement. IPv4
|
||||
seulement.
|
||||
|
||||
La suppression retire d'abord la configuration de routage de FRR, puis les interfaces, la route
|
||||
``unreachable default``, puis la VRF de FRR. Cet ordre est imposé : supprimer la VRF du noyau sous une instance BGP encore
|
||||
configurée fait planter ``bgpd`` (FRR 10.7.1).
|
||||
|
||||
Subnet
|
||||
|
|
|
|||
|
|
@ -296,7 +296,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
|
|||
* - ``11-validation``
|
||||
- validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base
|
||||
- hv1
|
||||
- #41, #57, #33, #62, #74
|
||||
- #41, #57, #33, #62, #74, #81
|
||||
* - ``12-etats``
|
||||
- machine d'états — 409 pendant creating, suppression depuis error, dépendances VM → subnet → VPC, recréation sous le même nom
|
||||
- hv1
|
||||
|
|
@ -370,17 +370,17 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
|
|||
- hv1 hv2
|
||||
- #57
|
||||
* - ``51-l3vni``
|
||||
- routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d'un VPC routé
|
||||
- routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé
|
||||
- hv1 hv2
|
||||
- #41
|
||||
- #41, #81
|
||||
* - ``52-migration``
|
||||
- migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN
|
||||
- hv1 hv2 hv3
|
||||
- #41, #57
|
||||
* - ``53-watchdog-l3``
|
||||
- watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais
|
||||
- watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais
|
||||
- hv1 hv3
|
||||
- #41
|
||||
- #41, #81
|
||||
* - ``61-redemarrage-agent``
|
||||
- redémarrage de l'agent avec des VM en marche — rien ne disparaît ni n'est recréé, trafic routé sans perte, DHCP et métadonnées servis, base BGP réappliquée à l'identique, ressources toujours gérées
|
||||
- hv1 hv2
|
||||
|
|
|
|||
|
|
@ -45,7 +45,10 @@ Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de co
|
|||
``Established`` (``show bgp neighbors <ip>``).
|
||||
* **VPC routés** (``l3vni``, état ``running``) : présence et état des interfaces ``vrf-<id>``,
|
||||
``brl3-<id>``, ``vxl3-<id>``, ``l3-<id>-o`` et, dans le netns, ``l3-<id>-i`` ; L3VNI de type
|
||||
``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni <l3vni>``).
|
||||
``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni <l3vni>``) ; route
|
||||
``unreachable default`` de métrique ``4278198272`` dans la table de la VRF. Un VPC routé créé
|
||||
par une version antérieure à la 0.3.0 ne l'a pas : il est signalé à chaque tick jusqu'à sa
|
||||
recréation, l'agent ne la pose pas au démarrage.
|
||||
* **Réconciliation des routes exportées** dans la VRF : chaque ``/24`` de subnet ``vxlan`` et chaque
|
||||
``/32`` d'interface de VM ``running`` doit être exporté ; à l'inverse, une route exportée dont
|
||||
le propriétaire n'existe plus — ni ``running``, ni en ``creating``, ``deleting`` ou ``error`` —
|
||||
|
|
|
|||
|
|
@ -499,3 +499,42 @@ func TestGetSubnet_RelayIPOnlyForVxlan(t *testing.T) {
|
|||
t.Errorf("relay_ip inattendus dans la liste : %v", relays)
|
||||
}
|
||||
}
|
||||
|
||||
func TestPostSubnet_DefaultRouteWithoutGatewayOnlyForBridge(t *testing.T) {
|
||||
for _, req := range []SubnetCreateRequest{
|
||||
{Mode: "", CIDR: "10.0.0.0/24"},
|
||||
{Mode: "vxlan", VxlanID: 1101, CIDR: "10.0.0.0/24"},
|
||||
{Mode: "public_ip", InterfaceIP: "203.0.113.254", CIDR: "203.0.113.0/24"},
|
||||
} {
|
||||
s, db := newTestServer(t)
|
||||
kv.AddInDB(db, "vpc/vpc-1/state", "running")
|
||||
req.Name, req.VPC, req.DefaultRoute = "sn-1", "vpc-1", true
|
||||
w := postSubnetRequest(t, s, req)
|
||||
if w.Code != http.StatusBadRequest {
|
||||
t.Errorf("mode %q : attendu 400, obtenu %d : %s", req.Mode, w.Code, w.Body.String())
|
||||
}
|
||||
if !strings.Contains(w.Body.String(), "default_route without gateway is only allowed for bridge subnets") {
|
||||
t.Errorf("mode %q : message %s", req.Mode, w.Body.String())
|
||||
}
|
||||
if _, err := kv.GetFromDB(db, "subnet/sn-1/state"); err == nil {
|
||||
t.Errorf("mode %q : aucun subnet ne doit être créé", req.Mode)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestPostSubnet_DefaultRouteAccepted(t *testing.T) {
|
||||
for _, req := range []SubnetCreateRequest{
|
||||
{Mode: "bridge", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24"},
|
||||
{Mode: "bridge", InterfaceIP: "10.0.0.1", CIDR: "10.0.0.0/24", Gateway: "10.0.0.254"},
|
||||
{Mode: "", CIDR: "10.0.0.0/24", Gateway: "10.0.0.1"},
|
||||
{Mode: "vxlan", VxlanID: 1101, CIDR: "10.0.0.0/24", Gateway: "10.0.0.1"},
|
||||
{Mode: "public_ip", InterfaceIP: "203.0.113.254", CIDR: "203.0.113.0/24", Gateway: "203.0.113.1"},
|
||||
} {
|
||||
s, db := newTestServer(t)
|
||||
kv.AddInDB(db, "vpc/vpc-1/state", "running")
|
||||
req.Name, req.VPC, req.DefaultRoute = "sn-1", "vpc-1", true
|
||||
if w := postSubnetRequest(t, s, req); w.Code != http.StatusAccepted {
|
||||
t.Errorf("mode %q gateway %q : attendu 202, obtenu %d : %s", req.Mode, req.Gateway, w.Code, w.Body.String())
|
||||
}
|
||||
}
|
||||
}
|
||||
|
|
|
|||
|
|
@ -78,6 +78,11 @@ func (s *Server) postSubnet(w http.ResponseWriter, r *http.Request) {
|
|||
json.NewEncoder(w).Encode(ErrorResponse{Error: "interface_ip is computed for vxlan subnets, do not set it"})
|
||||
return
|
||||
}
|
||||
if req.DefaultRoute && req.Gateway == "" && req.Mode != subnet.ModeBridge {
|
||||
w.WriteHeader(http.StatusBadRequest)
|
||||
json.NewEncoder(w).Encode(ErrorResponse{Error: "default_route without gateway is only allowed for bridge subnets: the host gateway is not on the subnet"})
|
||||
return
|
||||
}
|
||||
cmd := dispatcher.CreateSubnetCommand{
|
||||
Name: req.Name,
|
||||
VPC: req.VPC,
|
||||
|
|
|
|||
|
|
@ -23,6 +23,8 @@ type host interface {
|
|||
DeleteLink(name string) error
|
||||
TableRouteVia(table uint32, dst *net.IPNet, gw net.IP, iface string) error
|
||||
TableRouteDel(table uint32, dst *net.IPNet) error
|
||||
TableUnreachableDefault(table uint32) error
|
||||
TableUnreachableDefaultDel(table uint32) error
|
||||
ApplyVRF(v frr.VRF) error
|
||||
WithdrawVRF(v frr.VRF) error
|
||||
RemoveVRF(v frr.VRF) error
|
||||
|
|
@ -87,6 +89,14 @@ func (system) TableRouteDel(table uint32, dst *net.IPNet) error {
|
|||
return netif.RouteDelIfExists(int(table), dst)
|
||||
}
|
||||
|
||||
func (system) TableUnreachableDefault(table uint32) error {
|
||||
return netif.RouteReplaceUnreachableDefault(int(table), UnreachableMetric)
|
||||
}
|
||||
|
||||
func (system) TableUnreachableDefaultDel(table uint32) error {
|
||||
return netif.RouteDelUnreachableDefaultIfExists(int(table), UnreachableMetric)
|
||||
}
|
||||
|
||||
func (s system) ApplyVRF(v frr.VRF) error { return s.frr.ApplyVRF(v) }
|
||||
|
||||
func (s system) WithdrawVRF(v frr.VRF) error { return s.frr.WithdrawVRF(v) }
|
||||
|
|
|
|||
|
|
@ -14,6 +14,8 @@ import (
|
|||
"github.com/dgraph-io/badger/v4"
|
||||
)
|
||||
|
||||
const UnreachableMetric = 4278198272
|
||||
|
||||
var (
|
||||
transitHost = &net.IPNet{IP: net.IPv4(169, 254, 0, 1).To4(), Mask: net.CIDRMask(30, 32)}
|
||||
transitNetns = &net.IPNet{IP: net.IPv4(169, 254, 0, 2).To4(), Mask: net.CIDRMask(30, 32)}
|
||||
|
|
@ -84,6 +86,7 @@ func createL3(h host, cfg *configuration.Config, v l3VPC) error {
|
|||
run func() error
|
||||
}{
|
||||
{"create " + v.vrf(), func() error { return h.CreateVRF(v.vrf(), v.vni) }},
|
||||
{"unreachable default in " + v.vrf(), func() error { return h.TableUnreachableDefault(v.vni) }},
|
||||
{"create " + v.bridge(), func() error { return h.CreateBridge(v.bridge(), mtu, rmac) }},
|
||||
{"attach " + v.bridge(), func() error { return h.SetMaster(v.bridge(), v.vrf()) }},
|
||||
{"create " + v.vxlan(), func() error { return h.CreateVxlan(v.vxlan(), int(v.vni), cfg.DefaultInterface, mtu) }},
|
||||
|
|
@ -123,6 +126,9 @@ func deleteL3(h host, v l3VPC) error {
|
|||
return fmt.Errorf("l3vni %d: delete %s: %w", v.vni, link, err)
|
||||
}
|
||||
}
|
||||
if err := h.TableUnreachableDefaultDel(v.vni); err != nil {
|
||||
return fmt.Errorf("l3vni %d: delete unreachable default from table %d: %w", v.vni, v.vni, err)
|
||||
}
|
||||
if err := h.RemoveVRF(frrVRF); err != nil {
|
||||
return fmt.Errorf("l3vni %d: remove frr vrf: %w", v.vni, err)
|
||||
}
|
||||
|
|
|
|||
|
|
@ -83,6 +83,14 @@ func (f *fakeHost) TableRouteDel(table uint32, dst *net.IPNet) error {
|
|||
return f.record(fmt.Sprintf("table %d del %s", table, dst))
|
||||
}
|
||||
|
||||
func (f *fakeHost) TableUnreachableDefault(table uint32) error {
|
||||
return f.record(fmt.Sprintf("table %d unreachable default", table))
|
||||
}
|
||||
|
||||
func (f *fakeHost) TableUnreachableDefaultDel(table uint32) error {
|
||||
return f.record(fmt.Sprintf("table %d del unreachable default", table))
|
||||
}
|
||||
|
||||
func (f *fakeHost) ApplyVRF(v frr.VRF) error {
|
||||
return f.record(fmt.Sprintf("frr apply asn=%d id=%s vni=%d vtep=%s supernet=%s", v.ASN, v.ID, v.L3VNI, v.VTEP, v.Supernet))
|
||||
}
|
||||
|
|
@ -121,6 +129,7 @@ func TestCreateL3FollowsTheLabRecipe(t *testing.T) {
|
|||
want := []string{
|
||||
"vtep br-000000",
|
||||
"vrf vrf-s7 table 2700",
|
||||
"table 2700 unreachable default",
|
||||
"bridge brl3-s7 mtu 1450 mac 02:02:c0:a8:0e:0b",
|
||||
"master brl3-s7 vrf-s7",
|
||||
"vxlan vxl3-s7 id 2700 dev br-000000 mtu 1450",
|
||||
|
|
@ -179,6 +188,7 @@ func TestDeleteL3WithdrawsFRRThenTheKernelThenTheVRF(t *testing.T) {
|
|||
"del vxl3-s7",
|
||||
"del brl3-s7",
|
||||
"del vrf-s7",
|
||||
"table 2700 del unreachable default",
|
||||
"frr remove asn=0 id=s7 vni=0",
|
||||
}
|
||||
if !reflect.DeepEqual(f.calls, want) {
|
||||
|
|
@ -209,9 +219,39 @@ func TestDeleteL3KeepsTheFRRVRFWhenAKernelLinkCannotBeDeleted(t *testing.T) {
|
|||
}
|
||||
}
|
||||
|
||||
func TestCreateL3LeavesNoVRFWithoutItsUnreachableDefault(t *testing.T) {
|
||||
f := &fakeHost{fail: map[string]error{"table 2700 unreachable default": errors.New("operation not permitted")}}
|
||||
err := createL3(f, bgpConfig(), labL3(t))
|
||||
if err == nil || !strings.Contains(err.Error(), "l3vni 2700: unreachable default in vrf-s7: operation not permitted") {
|
||||
t.Errorf("erreur %v", err)
|
||||
}
|
||||
if last := f.calls[len(f.calls)-1]; last != "table 2700 unreachable default" {
|
||||
t.Errorf("appels après l'échec : %q", f.calls)
|
||||
}
|
||||
}
|
||||
|
||||
func TestDeleteL3KeepsTheFRRVRFWhenTheUnreachableDefaultCannotBeDeleted(t *testing.T) {
|
||||
f := &fakeHost{fail: map[string]error{"table 2700 del unreachable default": errors.New("operation not permitted")}}
|
||||
err := deleteL3(f, labL3(t))
|
||||
if err == nil || !strings.Contains(err.Error(), "delete unreachable default from table 2700") {
|
||||
t.Errorf("erreur %v", err)
|
||||
}
|
||||
for _, c := range f.calls {
|
||||
if strings.HasPrefix(c, "frr remove") {
|
||||
t.Errorf("étape exécutée après l'échec : %q", f.calls)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestUnreachableMetricIsTheHighestRecommendedByTheKernel(t *testing.T) {
|
||||
if UnreachableMetric != 4278198272 {
|
||||
t.Errorf("UnreachableMetric = %d", UnreachableMetric)
|
||||
}
|
||||
}
|
||||
|
||||
func TestDeleteL3DoesNotDependOnTheAgentBGPSection(t *testing.T) {
|
||||
f := &fakeHost{}
|
||||
if err := deleteL3(f, labL3(t)); err != nil || len(f.calls) != 6 {
|
||||
if err := deleteL3(f, labL3(t)); err != nil || len(f.calls) != 7 {
|
||||
t.Errorf("erreur %v, appels %q", err, f.calls)
|
||||
}
|
||||
}
|
||||
|
|
|
|||
|
|
@ -3,11 +3,16 @@
|
|||
package netif
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"net"
|
||||
"syscall"
|
||||
|
||||
"github.com/vishvananda/netlink"
|
||||
"golang.org/x/sys/unix"
|
||||
)
|
||||
|
||||
var defaultIPv4 = &net.IPNet{IP: net.IPv4zero.To4(), Mask: net.CIDRMask(0, 32)}
|
||||
|
||||
func RouteAdd(iface string, subnet *net.IPNet) error {
|
||||
return RouteAddFrom(iface, subnet, nil)
|
||||
}
|
||||
|
|
@ -45,3 +50,44 @@ func TableRoutesVia(table int, iface string) ([]*net.IPNet, error) {
|
|||
}
|
||||
return dsts, nil
|
||||
}
|
||||
|
||||
func unreachableDefault(table, metric int) *netlink.Route {
|
||||
return &netlink.Route{
|
||||
Dst: defaultIPv4,
|
||||
Table: table,
|
||||
Type: unix.RTN_UNREACHABLE,
|
||||
Priority: metric,
|
||||
}
|
||||
}
|
||||
|
||||
func RouteReplaceUnreachableDefault(table, metric int) error {
|
||||
return netlink.RouteReplace(unreachableDefault(table, metric))
|
||||
}
|
||||
|
||||
func RouteDelUnreachableDefaultIfExists(table, metric int) error {
|
||||
if err := netlink.RouteDel(unreachableDefault(table, metric)); err != nil && !errors.Is(err, syscall.ESRCH) {
|
||||
return err
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
func HasUnreachableDefault(table, metric int) (bool, error) {
|
||||
routes, err := netlink.RouteListFiltered(netlink.FAMILY_V4, &netlink.Route{
|
||||
Table: table,
|
||||
Type: unix.RTN_UNREACHABLE,
|
||||
}, netlink.RT_FILTER_TABLE|netlink.RT_FILTER_TYPE)
|
||||
if err != nil {
|
||||
return false, err
|
||||
}
|
||||
for _, r := range routes {
|
||||
if r.Priority == metric && (r.Dst == nil || isDefault(r.Dst)) {
|
||||
return true, nil
|
||||
}
|
||||
}
|
||||
return false, nil
|
||||
}
|
||||
|
||||
func isDefault(dst *net.IPNet) bool {
|
||||
ones, _ := dst.Mask.Size()
|
||||
return ones == 0
|
||||
}
|
||||
|
|
|
|||
|
|
@ -18,3 +18,15 @@ func RouteAddFrom(_ string, _ *net.IPNet, _ net.IP) error {
|
|||
func TableRoutesVia(_ int, _ string) ([]*net.IPNet, error) {
|
||||
return nil, errors.New("route listing is only implemented on linux")
|
||||
}
|
||||
|
||||
func RouteReplaceUnreachableDefault(_, _ int) error {
|
||||
return errors.New("not supported on this platform")
|
||||
}
|
||||
|
||||
func RouteDelUnreachableDefaultIfExists(_, _ int) error {
|
||||
return errors.New("not supported on this platform")
|
||||
}
|
||||
|
||||
func HasUnreachableDefault(_, _ int) (bool, error) {
|
||||
return false, errors.New("route listing is only implemented on linux")
|
||||
}
|
||||
|
|
|
|||
|
|
@ -25,6 +25,7 @@ type l3Probe interface {
|
|||
NeighborEstablished(peer net.IP) (bool, error)
|
||||
VNI(vni uint32) (frr.VNIState, error)
|
||||
ExportedRoutes(table uint32, iface string) ([]*net.IPNet, error)
|
||||
UnreachableDefault(table uint32) (bool, error)
|
||||
LinkProblem(ns, iface string) string
|
||||
}
|
||||
|
||||
|
|
@ -44,6 +45,10 @@ func (systemProbe) ExportedRoutes(table uint32, iface string) ([]*net.IPNet, err
|
|||
return netif.TableRoutesVia(int(table), iface)
|
||||
}
|
||||
|
||||
func (systemProbe) UnreachableDefault(table uint32) (bool, error) {
|
||||
return netif.HasUnreachableDefault(int(table), l3vni.UnreachableMetric)
|
||||
}
|
||||
|
||||
func (systemProbe) LinkProblem(ns, iface string) string {
|
||||
if ns == "" {
|
||||
return linkProblem(iface)
|
||||
|
|
@ -145,6 +150,14 @@ func checkL3VPC(db *badger.DB, name string, r l3vni.Routing, rmac string, p l3Pr
|
|||
n.Notify(kindVPC, name, fmt.Sprintf("l3vni %d has router mac %q in frr, expected %s", r.VNI, s.RouterMAC, rmac))
|
||||
}
|
||||
|
||||
present, err := p.UnreachableDefault(r.VNI)
|
||||
switch {
|
||||
case err != nil:
|
||||
n.Notify(kindVPC, name, fmt.Sprintf("unreachable default of %s unreadable: %v", r.VRF, err))
|
||||
case !present:
|
||||
n.Notify(kindVPC, name, fmt.Sprintf("no unreachable default in %s: traffic to an unknown destination leaves through the host routing table", r.VRF))
|
||||
}
|
||||
|
||||
actual, err := p.ExportedRoutes(r.VNI, r.VethHost)
|
||||
if err != nil {
|
||||
n.Notify(kindVPC, name, fmt.Sprintf("routes of %s unreadable: %v", r.VRF, err))
|
||||
|
|
|
|||
|
|
@ -19,6 +19,8 @@ type fakeProbe struct {
|
|||
routesErr error
|
||||
links map[string]string
|
||||
vtepErr error
|
||||
unreachable map[uint32]bool
|
||||
unreachErr error
|
||||
}
|
||||
|
||||
func (f *fakeProbe) VTEPAddress(string) (net.IP, error) {
|
||||
|
|
@ -49,6 +51,13 @@ func (f *fakeProbe) ExportedRoutes(table uint32, _ string) ([]*net.IPNet, error)
|
|||
return out, f.routesErr
|
||||
}
|
||||
|
||||
func (f *fakeProbe) UnreachableDefault(table uint32) (bool, error) {
|
||||
if f.unreachable == nil {
|
||||
return true, f.unreachErr
|
||||
}
|
||||
return f.unreachable[table], f.unreachErr
|
||||
}
|
||||
|
||||
func (f *fakeProbe) LinkProblem(ns, iface string) string {
|
||||
return f.links[ns+"/"+iface]
|
||||
}
|
||||
|
|
@ -240,3 +249,32 @@ func TestCheckL3VPCsReportsUnreadableRoutesAndVTEP(t *testing.T) {
|
|||
t.Errorf("RMAC comparée sans VTEP : %q", notified(r))
|
||||
}
|
||||
}
|
||||
|
||||
func TestCheckL3VPCsReportsAVRFWithoutUnreachableDefault(t *testing.T) {
|
||||
db := newTestDB(t)
|
||||
seedResource(t, db, prefixVPC, "vp-s7", state.Running)
|
||||
seedKV(t, db, "vpc/vp-s7/cidr", "10.241.0.0/16")
|
||||
seedKV(t, db, "vpc/vp-s7/l3vni", "2700")
|
||||
seedResource(t, db, prefixVPC, "vp-s8", state.Running)
|
||||
seedKV(t, db, "vpc/vp-s8/cidr", "10.242.0.0/16")
|
||||
seedKV(t, db, "vpc/vp-s8/l3vni", "2800")
|
||||
p := seedRoutedVPC(t)
|
||||
p.vni[2800] = frr.VNIState{Type: "L3", State: "Up", RouterMAC: "02:02:c0:a8:0e:0b"}
|
||||
p.unreachable = map[uint32]bool{2700: true}
|
||||
r := &recorder{}
|
||||
if err := CheckL3VPCs(db, bgpCfg(), p, r); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
want := []string{"vpc vp-s8: no unreachable default in vrf-s8: traffic to an unknown destination leaves through the host routing table"}
|
||||
if got := notified(r); !reflect.DeepEqual(got, want) {
|
||||
t.Errorf("notifications :\n%q\nattendu :\n%q", got, want)
|
||||
}
|
||||
|
||||
p.unreachable = map[uint32]bool{2700: true, 2800: true}
|
||||
p.unreachErr = errors.New("netlink refused")
|
||||
r = &recorder{}
|
||||
CheckL3VPCs(db, bgpCfg(), p, r)
|
||||
if !r.hasProblemContaining("unreachable default of vrf-s7 unreadable: netlink refused") || r.hasProblemContaining("no unreachable default") {
|
||||
t.Errorf("notifications %q", notified(r))
|
||||
}
|
||||
}
|
||||
|
|
|
|||
25
release_notes/0.3.0.md
Normal file
25
release_notes/0.3.0.md
Normal file
|
|
@ -0,0 +1,25 @@
|
|||
# Gabriel
|
||||
|
||||
## Correctifs
|
||||
|
||||
- **Chaque VRF de VPC porte une route `unreachable default` (#81).** Une recherche qui échouait
|
||||
dans la table d'une VRF continuait dans la table `main` de l'hôte : un paquet d'un locataire
|
||||
vers une adresse inconnue de son VPC sortait par l'underlay, avec `169.254.0.2` pour source
|
||||
(mesuré en lab). La route est posée juste après la VRF, avec la métrique maximale
|
||||
`4278198272`, de sorte que toute route réelle reste prioritaire ; elle n'est pas annoncée en
|
||||
EVPN et elle est retirée au démontage du VPC. Le watchdog signale une VRF qui ne l'a pas.
|
||||
IPv4 seulement
|
||||
- **`default_route: true` sans `gateway` est réservé au mode `bridge` (#81)** : refusé (400) en
|
||||
`vxlan` et en `public_ip`. Hors `bridge`, la gateway lue dans la table de routage de l'hôte
|
||||
n'est pas sur le subnet des VM : la route par défaut annoncée était inutilisable
|
||||
|
||||
## Mise à jour depuis la 0.2.0
|
||||
|
||||
- **`default_route: true` exige une `gateway` hors mode `bridge`** : un appel qui l'omettait en
|
||||
`vxlan` reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils
|
||||
annonçaient jusqu'à leur recréation
|
||||
- **Les VPC routés existants n'ont pas la route `unreachable default`** : l'agent ne la pose pas
|
||||
au démarrage, le watchdog les signale à chaque tick. La recréation du VPC la pose ; d'ici là,
|
||||
la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC,
|
||||
la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC :
|
||||
`ip route replace unreachable default metric 4278198272 table <l3vni>`
|
||||
|
|
@ -1,6 +1,6 @@
|
|||
# fonctionnalité: validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base
|
||||
# hôtes: hv1
|
||||
# tickets: #41, #57, #33, #62, #74
|
||||
# tickets: #41, #57, #33, #62, #74, #81
|
||||
|
||||
on hv1 <<'NODE'
|
||||
check "VPC vp-t11a, l3vni 1100 (témoin)" vpc_create vp-t11a 10.11.0.0/16 1100
|
||||
|
|
@ -19,6 +19,8 @@ check "sn-t11a : adresse d'émission calculée .253" test "$(api_field subnets/s
|
|||
check "subnet : nom déjà pris, 409" expect_code 409 api_post_code subnets '{"name":"sn-t11a","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1101,"cidr":"10.11.1.0/24"}'
|
||||
check "subnet : mode inconnu, 422" expect_code 422 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vlan","vxlan_id":1109,"cidr":"10.11.9.0/24"}'
|
||||
check "subnet : interface_ip fournie en vxlan, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/24","interface_ip":"10.11.9.1"}'
|
||||
check "subnet : default_route sans gateway en vxlan, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/24","default_route":true}'
|
||||
check "subnet : default_route sans gateway, mode omis, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","vxlan_id":1109,"cidr":"10.11.9.0/24","default_route":true}'
|
||||
check "subnet : interface_ip absente en bridge, 400" expect_code 400 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"bridge","cidr":"10.11.9.0/24"}'
|
||||
check "subnet : préfixe /30 en vxlan, 422" expect_code 422 api_post_code subnets '{"name":"sn-t11x","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1109,"cidr":"10.11.9.0/30"}'
|
||||
check "subnet : préfixe /29 en vxlan accepté (témoin)" expect_code 202 api_post_code subnets '{"name":"sn-t11p","vpc":"vp-t11a","mode":"vxlan","vxlan_id":1103,"cidr":"10.11.3.0/29"}'
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# fonctionnalité: routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, démontage d'un VPC routé
|
||||
# fonctionnalité: routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé
|
||||
# hôtes: hv1 hv2
|
||||
# tickets: #41
|
||||
# tickets: #41, #81
|
||||
|
||||
on hv1 <<'NODE'
|
||||
KEY=$(vm_key)
|
||||
|
|
@ -23,6 +23,9 @@ check "hv1 : vrf-t51 contient exactement brl3-t51 et l3-t51-o" sh -c "[ \"\$1\"
|
|||
check "hv1 : brl3-t51 sans adresse IPv4" sh -c "! ip -4 -o addr show dev brl3-t51 | grep -q inet"
|
||||
check "hv1 : RMAC de brl3-t51 dérivée du VTEP 192.168.14.11" sh -c "ip -o link show brl3-t51 | grep -q 'link/ether 02:02:c0:a8:0e:0b '"
|
||||
check "hv1 : route du supernet dans vp-t51 vers le transit" sh -c "ip -n vp-t51 -4 route show 10.51.0.0/18 | grep -q 'via 169.254.0.1 dev l3-t51-i'"
|
||||
check "hv1 : table 5100 de vrf-t51 : unreachable default de métrique 4278198272" sh -c "ip -4 route show table 5100 | grep -q '^unreachable default metric 4278198272'"
|
||||
check "hv1 : adresse du VPC inconnue (10.51.5.5) injoignable dans vrf-t51, pas de repli sur la table main" sh -c "ip -4 route get 10.51.5.5 vrf vrf-t51 2>&1 | grep -q 'No route to host'"
|
||||
check "hv1 : adresse externe (8.8.8.8) injoignable dans vrf-t51" sh -c "ip -4 route get 8.8.8.8 vrf vrf-t51 2>&1 | grep -q 'No route to host'"
|
||||
check "hv1 : forwarding sur brl3-t51 et l3-t51-o" sh -c "[ \"\$(sysctl -n net.ipv4.conf.brl3-t51.forwarding net.ipv4.conf.l3-t51-o.forwarding | tr '\n' ' ')\" = '1 1 ' ]"
|
||||
check "hv1 : ip_forward dans le netns vp-t51" sh -c "[ \"\$(ip netns exec vp-t51 sysctl -n net.ipv4.ip_forward)\" = 1 ]"
|
||||
info "hv1 : ip_forward global de l'hôte : $(sysctl -n net.ipv4.ip_forward) (non modifié par l'agent)"
|
||||
|
|
@ -41,6 +44,7 @@ check "hv2 : RMAC de hv1 dans la FDB de vxl3-t51" sh -c "bridge fdb show dev vxl
|
|||
NODE
|
||||
on rr1 <<'NODE'
|
||||
check "rr1 : RT-5 10.51.1.10/32 de hv1 (RD 192.168.14.11:5100) reçue et réfléchie" sh -c "vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.11:5100 type prefix' | grep -q '\[10.51.1.10\]'"
|
||||
check "rr1 : aucune RT-5 0.0.0.0/0 de hv1 (RD 192.168.14.11:5100) : l'unreachable default n'est pas annoncée" sh -c "! vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.11:5100 type prefix' | grep -q '\[0.0.0.0\]'"
|
||||
check "rr1 : RT-5 10.51.2.20/32 de vp-t51b (RD 192.168.14.12:5101) présente (témoin du test négatif)" sh -c "vtysh -c 'show bgp l2vpn evpn route rd 192.168.14.12:5101 type prefix' | grep -q '\[10.51.2.20\]'"
|
||||
NODE
|
||||
on hv1 <<'NODE'
|
||||
|
|
@ -56,6 +60,7 @@ check "TTL 2 : expire dans la VRF de hv1 (169.254.0.1)" vm_grep vp-t51 10.51.1.1
|
|||
check "TTL 5 : atteint t51-b — quatre routeurs : gateway hv1, VRF hv1, VRF hv2, netns hv2" vm_ssh vp-t51 10.51.1.10 'ping -n -c 1 -W 2 -t 5 10.51.2.10'
|
||||
check "hv1 : vrf-t51 n'importe pas 10.51.2.20/32 de vp-t51b (RT 64600:5101)" sh -c "[ -z \"\$(ip -4 route show vrf vrf-t51 10.51.2.20)\" ]"
|
||||
check "t51-a ne joint pas t51-x, autre VPC, même plage" vm_fails vp-t51 10.51.1.10 'ping -c 3 -W 2 10.51.2.20'
|
||||
check "t51-a vers une adresse inconnue du VPC (10.51.5.5) : refusé par vrf-t51 (169.254.0.1), rien vers l'underlay" vm_grep vp-t51 10.51.1.10 'ping -n -c 2 -W 2 10.51.5.5' 'From 169.254.0.1 .*Unreachable'
|
||||
NODE
|
||||
on hv2 <<'NODE'
|
||||
BGPD=$(pidof bgpd)
|
||||
|
|
@ -64,9 +69,11 @@ check "hv2 : suppression de t51-x" vm_delete t51-x
|
|||
check "hv2 : vrf-t51b ne porte plus le /32 de t51-x" test -z "$(ip -4 route show vrf vrf-t51b 10.51.2.20/32)"
|
||||
check "hv2 : suppression de sn-t51x" api_delete subnets/sn-t51x
|
||||
check "hv2 : sn-t51x supprimé" wait_state subnets/sn-t51x deleted
|
||||
check "hv2 : table 5101 de vrf-t51b : unreachable default avant le démontage (témoin)" sh -c "ip -4 route show table 5101 | grep -q '^unreachable default metric 4278198272'"
|
||||
check "hv2 : suppression de vp-t51b" api_delete vpcs/vp-t51b
|
||||
check "hv2 : vp-t51b supprimé" wait_state vpcs/vp-t51b deleted
|
||||
check "hv2 : plus aucune interface de vp-t51b" sh -c "! ip -o link show | grep -qE '(vrf|brl3|vxl3)-t51b|l3-t51b-o'"
|
||||
check "hv2 : table 5101 vide après le démontage, unreachable default comprise" sh -c "! ip -4 route show table 5101 2>&1 | grep -qE '^(unreachable|default|[0-9])'"
|
||||
check "hv2 : plus rien de vrf-t51b dans FRR, en mémoire ni dans frr.conf" sh -c "! vtysh -c 'show running-config' | grep -q 'vrf-t51b' && ! grep -q 'vrf-t51b' /etc/frr/frr.conf"
|
||||
check "hv2 : bgpd n'a pas redémarré pendant le démontage" sh -c "[ \"\$(pidof bgpd)\" = '${BGPD}' ]"
|
||||
check "hv2 : vp-t51 toujours en service" wait_l3vni 5100 02:02:c0:a8:0e:0c
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# fonctionnalité: watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais
|
||||
# fonctionnalité: watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais
|
||||
# hôtes: hv1 hv3
|
||||
# tickets: #41
|
||||
# tickets: #41, #81
|
||||
|
||||
on hv1 <<'NODE'
|
||||
check "hv1 : VPC vp-t53, l3vni 5300" vpc_create vp-t53 10.53.0.0/16 5300
|
||||
|
|
@ -28,6 +28,10 @@ check "watchdog : /32 de t53-m retiré à la main" ip route del 10.53.1.50/32 vr
|
|||
check "hypothèse du test : FRR retire le /32 de t53-m de sa table BGP quand la route du noyau disparaît" wait_bgp_paths vp-t53 10.53.1.50/32 0
|
||||
check "watchdog : /32 manquant signalé" wait_watchdog "route 10.53.1.50/32 not exported in vrf-t53"
|
||||
check "watchdog : /32 de t53-m rétabli" ip route replace 10.53.1.50/32 via 169.254.0.2 dev l3-t53-o vrf vrf-t53
|
||||
check "watchdog : aucune alerte sur l'unreachable default avant son retrait (témoin)" watchdog_quiet_about 60 "no unreachable default"
|
||||
check "watchdog : unreachable default retirée à la main de la table 5300" ip route del unreachable default metric 4278198272 table 5300
|
||||
check "watchdog : unreachable default absente signalée" wait_watchdog "no unreachable default in vrf-t53"
|
||||
check "watchdog : unreachable default rétablie" ip route replace unreachable default metric 4278198272 table 5300
|
||||
check "watchdog : aucune alerte BGP ni L3VNI sur hv1" watchdog_l3_quiet 60
|
||||
NODE
|
||||
on hv3 <<'NODE'
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue