From 1df0d2dad639881bb48ef49d231cbec98c42210a Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Fri, 30 Oct 2026 00:23:40 +0100 Subject: [PATCH 1/3] =?UTF-8?q?f-42:=20vpc:=20br-public=20du=20netns=20fer?= =?UTF-8?q?m=C3=A9,=20br=5Fnetfilter=20coup=C3=A9=20dans=20le=20netns=20#4?= =?UTF-8?q?2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: GnomeZworc --- docs/concepts/vpc-subnet-vm.rst | 8 ++++++++ internal/nft/guard.go | 28 ++++++++++++++++++++++++++++ internal/nft/guard_test.go | 17 +++++++++++++++++ internal/sysctl/sysctl.go | 12 ++++++++++++ internal/sysctl/sysctl_test.go | 22 ++++++++++++++++++++++ internal/vpc/create.go | 4 ++++ internal/vpc/guard.go | 26 ++++++++++++++++++++++++++ release_notes/0.3.0.md | 11 +++++++++++ 8 files changed, 128 insertions(+) create mode 100644 internal/nft/guard.go create mode 100644 internal/nft/guard_test.go create mode 100644 internal/vpc/guard.go diff --git a/docs/concepts/vpc-subnet-vm.rst b/docs/concepts/vpc-subnet-vm.rst index 14d8665..3d27bf9 100644 --- a/docs/concepts/vpc-subnet-vm.rst +++ b/docs/concepts/vpc-subnet-vm.rst @@ -25,6 +25,14 @@ public est celui de ``interfaces.internet``, ``br-public`` si la clé est absent accroche ``vxlan-public``, le VXLAN du segment public partagé avec les bordures (:doc:`/demarrage/installation`) ; sans ce bridge, toute création de VPC échoue. +Le ``br-public`` du netns n'est qu'un point de raccordement : rien n'entre dans le VPC par lui. +L'agent y pose ``arp_ignore=1`` (il ne répond pas à l'ARP pour les adresses du netns) et, dans la +table nftables ``ip two``, rejette tout IP arrivé par ``br-public`` (chaînes ``in-br-public`` et +``fwd-br-public``). Seules les interfaces publiques prévues — passerelle NAT, IP flottante — y +reçoivent du trafic. Il désactive aussi ``br_netfilter`` dans le netns +(``net.bridge.bridge-nf-call-{iptables,ip6tables,arptables}=0``, quand le module est chargé) : sinon +conntrack voit chaque trame pontée et le SNAT de la passerelle NAT ne s'applique plus. + Dans le netns, l'agent pose aussi la ``dummy`` ``hostsvc`` (``169.254.169.253/32``) et la chaîne iptables ``TWO-HOSTSVC``, puis demande à ``two-hostsvc`` de servir le VPC : c'est le chemin du DNS et du NTP des VM (voir :doc:`dns-ntp`). Si ``two-hostsvc`` ne répond pas, la création du VPC diff --git a/internal/nft/guard.go b/internal/nft/guard.go new file mode 100644 index 0000000..9bfa39f --- /dev/null +++ b/internal/nft/guard.go @@ -0,0 +1,28 @@ +package nft + +import ( + "fmt" + "strings" +) + +var guardChains = []natChain{ + {"in-", "filter", "input", "filter"}, + {"fwd-", "filter", "forward", "filter"}, +} + +func guardScript(bridge string) string { + var b strings.Builder + fmt.Fprintf(&b, "add table ip %s\n", Table) + for _, c := range guardChains { + name := c.declare(&b, bridge) + fmt.Fprintf(&b, "add rule ip %s %s iifname %q drop\n", Table, name, bridge) + } + return b.String() +} + +func SetBridgeGuard(bridge string) error { + if err := apply(guardScript(bridge)); err != nil { + return fmt.Errorf("guard %s: %w", bridge, err) + } + return nil +} diff --git a/internal/nft/guard_test.go b/internal/nft/guard_test.go new file mode 100644 index 0000000..95e1b46 --- /dev/null +++ b/internal/nft/guard_test.go @@ -0,0 +1,17 @@ +package nft + +import "testing" + +func TestGuardScript(t *testing.T) { + want := `add table ip two +add chain ip two in-br-public { type filter hook input priority filter; policy accept; } +flush chain ip two in-br-public +add rule ip two in-br-public iifname "br-public" drop +add chain ip two fwd-br-public { type filter hook forward priority filter; policy accept; } +flush chain ip two fwd-br-public +add rule ip two fwd-br-public iifname "br-public" drop +` + if got := guardScript("br-public"); got != want { + t.Errorf("script :\n%s\nattendu :\n%s", got, want) + } +} diff --git a/internal/sysctl/sysctl.go b/internal/sysctl/sysctl.go index 50f0a1a..9b7c599 100644 --- a/internal/sysctl/sysctl.go +++ b/internal/sysctl/sysctl.go @@ -1,7 +1,9 @@ package sysctl import ( + "errors" "fmt" + "io/fs" "os" "path/filepath" "strings" @@ -21,3 +23,13 @@ func Set(key, value string) error { } return f.Close() } + +func SetIfPresent(key, value string) (bool, error) { + path := filepath.Join(root, strings.ReplaceAll(key, ".", "/")) + if _, err := os.Stat(path); errors.Is(err, fs.ErrNotExist) { + return false, nil + } else if err != nil { + return false, fmt.Errorf("sysctl %s: %w", key, err) + } + return true, Set(key, value) +} diff --git a/internal/sysctl/sysctl_test.go b/internal/sysctl/sysctl_test.go index e07674f..6566f47 100644 --- a/internal/sysctl/sysctl_test.go +++ b/internal/sysctl/sysctl_test.go @@ -46,3 +46,25 @@ func TestSetRefusesAnUnknownKeyWithoutCreatingIt(t *testing.T) { t.Errorf("clé inconnue créée : %v", err) } } + +func TestSetIfPresentSkipsAnAbsentKey(t *testing.T) { + dir := fakeRoot(t) + set, err := SetIfPresent("net.bridge.bridge-nf-call-iptables", "0") + if err != nil || set { + t.Errorf("clé absente : %v, %v ; false, nil attendus", set, err) + } + if _, err := os.Stat(filepath.Join(dir, "net", "bridge")); err == nil { + t.Error("répertoire créé pour une clé absente") + } +} + +func TestSetIfPresentWritesAPresentKey(t *testing.T) { + dir := fakeRoot(t) + set, err := SetIfPresent("net.ipv4.ip_forward", "1") + if err != nil || !set { + t.Fatalf("clé présente : %v, %v", set, err) + } + if got, _ := os.ReadFile(filepath.Join(dir, "net", "ipv4", "ip_forward")); string(got) != "1" { + t.Errorf("contenu %q", got) + } +} diff --git a/internal/vpc/create.go b/internal/vpc/create.go index 8020a79..6d18437 100644 --- a/internal/vpc/create.go +++ b/internal/vpc/create.go @@ -32,6 +32,10 @@ func CreateVPC(db *badger.DB, name string, cfg *configuration.Config) error { return err } + if err := netns.Call(name, guardPublicBridge); err != nil { + return err + } + if err := netif.BridgeSetMaster("vp-"+vpcID+"-e", cfg.PublicBridge()); err != nil { return err } diff --git a/internal/vpc/guard.go b/internal/vpc/guard.go new file mode 100644 index 0000000..d6f9cbd --- /dev/null +++ b/internal/vpc/guard.go @@ -0,0 +1,26 @@ +package vpc + +import ( + "git.g3e.fr/syonad/two/internal/nft" + "git.g3e.fr/syonad/two/internal/sysctl" +) + +const netnsPublicBridge = "br-public" + +var bridgeNetfilterKeys = []string{ + "net.bridge.bridge-nf-call-iptables", + "net.bridge.bridge-nf-call-ip6tables", + "net.bridge.bridge-nf-call-arptables", +} + +func guardPublicBridge() error { + for _, key := range bridgeNetfilterKeys { + if _, err := sysctl.SetIfPresent(key, "0"); err != nil { + return err + } + } + if err := sysctl.Set("net.ipv4.conf."+netnsPublicBridge+".arp_ignore", "1"); err != nil { + return err + } + return nft.SetBridgeGuard(netnsPublicBridge) +} diff --git a/release_notes/0.3.0.md b/release_notes/0.3.0.md index ad333b1..dc46da6 100644 --- a/release_notes/0.3.0.md +++ b/release_notes/0.3.0.md @@ -107,6 +107,14 @@ `delete vxlan: Link not found` et le watchdog a signalé `br-000000` et des VRF absents. L'agent revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon +- **Rien n'entre plus dans un VPC par le `br-public` de son netns (#42).** Ce bridge, qui relie le + netns au segment public de l'hôte, répondait à l'ARP pour toutes les adresses du netns + (`arp_ignore=0`) et laissait entrer l'IP : un équipement du segment public pouvait router vers + les VM du VPC (mesuré en lab). L'agent pose désormais `arp_ignore=1` sur ce bridge et rejette en + nftables tout IP arrivé par lui +- **`br_netfilter` est désactivé dans le netns de chaque VPC (#42)** quand le module est chargé + (`bridge-nf-call-iptables`, `-ip6tables`, `-arptables` à 0) : conntrack voyait chaque trame + pontée, et le SNAT de la passerelle NAT ne s'appliquait pas (mesuré en lab) - **Le serveur de métadonnées crée sa socket dans le netns du VPC (#92).** Il faisait entrer un seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant : sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le @@ -139,6 +147,9 @@ la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC, la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC : `ip route replace unreachable default metric 4278198272 table ` +- **`br-public` du netns (#42) : seuls les VPC créés par la 0.3.0 sont protégés.** L'agent ne + reprend pas les VPC existants au démarrage : recréer chaque VPC pour fermer l'entrée par le + segment public - **Passerelle NAT (#42) : seuls les VPC créés par la 0.3.0 peuvent s'en servir.** Les VPC routés existants n'envoient pas leur route par défaut vers la VRF et leur route-map n'exporte pas celle de la passerelle ; l'agent ne les reprend pas au démarrage. Recréer le VPC avant de From 5ee8df4b2bf486e1a5553e2173847577876c1585 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Fri, 30 Oct 2026 00:23:46 +0100 Subject: [PATCH 2/3] =?UTF-8?q?f-42:=20natgw:=20entr=C3=A9e=20FDB=20de=20l?= =?UTF-8?q?a=20passerelle=20pos=C3=A9e=20par=20remplacement=20#42?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: GnomeZworc --- docs/concepts/passerelle-nat.rst | 4 +++- internal/natgw/host.go | 6 +++--- internal/natgw/natgw.go | 2 +- internal/natgw/natgw_test.go | 2 +- internal/netif/fdb_linux.go | 8 ++++++++ internal/netif/fdb_other.go | 4 ++++ 6 files changed, 20 insertions(+), 6 deletions(-) diff --git a/docs/concepts/passerelle-nat.rst b/docs/concepts/passerelle-nat.rst index afd711a..72df641 100644 --- a/docs/concepts/passerelle-nat.rst +++ b/docs/concepts/passerelle-nat.rst @@ -44,7 +44,9 @@ Dans le netns du VPC ``vp-``, sur l'hôte de la passerelle : même quel que soit l'hôte : c'est ce qui permet de déplacer la passerelle ; * une entrée FDB locale de cette MAC sur ``br-public`` : un ``macvlan`` n'en crée pas dans son bridge parent, et sans elle les trames vers la passerelle seraient inondées au lieu de lui être - remises (même mécanisme que la MAC anycast des subnets ``vxlan``) ; + remises (même mécanisme que la MAC anycast des subnets ``vxlan``). Elle est posée par + remplacement : après une bascule, le bridge a appris cette MAC sur le segment, vers l'ancien + hôte ; * ``arp_ignore=1``, ``arp_announce=2`` et ``arp_notify=1`` sur ``ng-`` : la passerelle ne répond à l'ARP que pour son IP de sortie, et annonce celle-ci par un ARP gratuit à sa mise en route ; diff --git a/internal/natgw/host.go b/internal/natgw/host.go index f698dc2..5f25a7f 100644 --- a/internal/natgw/host.go +++ b/internal/natgw/host.go @@ -14,7 +14,7 @@ import ( type host interface { CreateMacvlan(ns, name, parent string, mac net.HardwareAddr) error - BridgeAddLocalMAC(ns, bridge string, mac net.HardwareAddr) error + BridgeSetLocalMAC(ns, bridge string, mac net.HardwareAddr) error BridgeDelLocalMAC(ns, bridge string, mac net.HardwareAddr) error Sysctl(ns, key, value string) error AddrAdd(ns, iface string, prefix *net.IPNet) error @@ -42,8 +42,8 @@ func (system) CreateMacvlan(ns, name, parent string, mac net.HardwareAddr) error return netns.Call(ns, func() error { return netif.CreateMacvlan(name, parent, mac) }) } -func (system) BridgeAddLocalMAC(ns, bridge string, mac net.HardwareAddr) error { - return netns.Call(ns, func() error { return netif.BridgeAddLocalMAC(bridge, mac) }) +func (system) BridgeSetLocalMAC(ns, bridge string, mac net.HardwareAddr) error { + return netns.Call(ns, func() error { return netif.BridgeSetLocalMAC(bridge, mac) }) } func (system) BridgeDelLocalMAC(ns, bridge string, mac net.HardwareAddr) error { diff --git a/internal/natgw/natgw.go b/internal/natgw/natgw.go index d9df724..52de536 100644 --- a/internal/natgw/natgw.go +++ b/internal/natgw/natgw.go @@ -92,7 +92,7 @@ func create(h host, g gateway) error { ns := g.vpc steps := []step{ {"create " + g.iface, func() error { return h.CreateMacvlan(ns, g.iface, publicBridge, g.mac) }}, - {"local fdb entry " + g.mac.String(), func() error { return h.BridgeAddLocalMAC(ns, publicBridge, g.mac) }}, + {"local fdb entry " + g.mac.String(), func() error { return h.BridgeSetLocalMAC(ns, publicBridge, g.mac) }}, } for _, kv := range sysctls(g.iface) { steps = append(steps, step{kv[0], func() error { return h.Sysctl(ns, kv[0], kv[1]) }}) diff --git a/internal/natgw/natgw_test.go b/internal/natgw/natgw_test.go index 387781c..14019c4 100644 --- a/internal/natgw/natgw_test.go +++ b/internal/natgw/natgw_test.go @@ -31,7 +31,7 @@ func (f *fakeHost) CreateMacvlan(ns, name, parent string, mac net.HardwareAddr) return f.record(fmt.Sprintf("macvlan [%s] %s parent %s mac %s", ns, name, parent, mac)) } -func (f *fakeHost) BridgeAddLocalMAC(ns, bridge string, mac net.HardwareAddr) error { +func (f *fakeHost) BridgeSetLocalMAC(ns, bridge string, mac net.HardwareAddr) error { return f.record(fmt.Sprintf("fdb add [%s] %s %s", ns, bridge, mac)) } diff --git a/internal/netif/fdb_linux.go b/internal/netif/fdb_linux.go index 6c7c42f..939be88 100644 --- a/internal/netif/fdb_linux.go +++ b/internal/netif/fdb_linux.go @@ -39,6 +39,14 @@ func BridgeAddLocalMAC(bridge string, mac net.HardwareAddr) error { return netlink.NeighAdd(bridgeLocalEntry(link.Attrs().Index, mac)) } +func BridgeSetLocalMAC(bridge string, mac net.HardwareAddr) error { + link, err := netlink.LinkByName(bridge) + if err != nil { + return err + } + return netlink.NeighSet(bridgeLocalEntry(link.Attrs().Index, mac)) +} + func BridgeHasLocalMAC(bridge string, mac net.HardwareAddr) (bool, error) { link, err := netlink.LinkByName(bridge) if err != nil { diff --git a/internal/netif/fdb_other.go b/internal/netif/fdb_other.go index 43fc698..4669b01 100644 --- a/internal/netif/fdb_other.go +++ b/internal/netif/fdb_other.go @@ -18,3 +18,7 @@ func BridgeHasLocalMAC(_ string, _ net.HardwareAddr) (bool, error) { func BridgeDelLocalMACIfExists(_ string, _ net.HardwareAddr) error { return errors.New("not supported on this platform") } + +func BridgeSetLocalMAC(_ string, _ net.HardwareAddr) error { + return errors.New("not supported on this platform") +} From ad1290612ee8ba9496c2443c0d4bee8934f3b1de Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Fri, 30 Oct 2026 00:23:52 +0100 Subject: [PATCH 3/3] =?UTF-8?q?f-42:=20e2e:=2046,=20sortie=20test=C3=A9e?= =?UTF-8?q?=20apr=C3=A8s=20le=20d=C3=A9placement=20de=20la=20MAC=20#42?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: GnomeZworc --- test/e2e/suite/46-passerelle-nat.sh | 6 +++++- 1 file changed, 5 insertions(+), 1 deletion(-) diff --git a/test/e2e/suite/46-passerelle-nat.sh b/test/e2e/suite/46-passerelle-nat.sh index bc2e6a1..af85235 100644 --- a/test/e2e/suite/46-passerelle-nat.sh +++ b/test/e2e/suite/46-passerelle-nat.sh @@ -116,13 +116,17 @@ on hv2 <<'NODE' check "hv2 : bascule, passerelle ng-t46 recréée sur hv2, même IP" api_post nat-gateways '{"name":"ng-t46","vpc":"vp-t46","ip":"240.0.0.46/24","gateway":"240.0.0.1"}' check "hv2 : ng-t46 running" wait_state nat-gateways/ng-t46 running check "hv2 : même MAC 02:04:00:00:11:f8 qu'avant la bascule" sh -c "ip -n vp-t46 -o link show ng-t46 | grep -q 'link/ether 02:04:00:00:11:f8 '" -check "t46-b (hôte de la passerelle désormais) joint 240.255.0.1" vm_ssh vp-t46 10.46.2.10 'ping -n -c 3 -W 2 240.255.0.1' NODE on hv3 <<'NODE' check "hv3 : 02:04:00:00:11:f8 a suivi la passerelle, apprise via hv2" wait_evpn_mac 1 02:04:00:00:11:f8 192.168.14.12 NODE +on hv2 <<'NODE' +for i in $(seq 1 15); do vm_ssh vp-t46 10.46.2.10 'ping -n -c 1 -W 2 240.255.0.1' >/dev/null 2>&1 && break; sleep 2; done +check "t46-b (hôte de la passerelle désormais) joint 240.255.0.1" vm_ssh vp-t46 10.46.2.10 'ping -n -c 3 -W 2 240.255.0.1' +NODE + on hv1 <<'NODE' check "hv1 : vrf-t46 apprend la route par défaut via le VTEP de hv2" wait_vrf_route vp-t46 default 192.168.14.12 START=$(date +%s)