f-42: vpc: br-public du netns fermé, br_netfilter coupé dans le netns #42

Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
GnomeZworc 2026-10-30 00:23:40 +01:00
commit 1df0d2dad6
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
8 changed files with 128 additions and 0 deletions

View file

@ -25,6 +25,14 @@ public est celui de ``interfaces.internet``, ``br-public`` si la clé est absent
accroche ``vxlan-public``, le VXLAN du segment public partagé avec les bordures accroche ``vxlan-public``, le VXLAN du segment public partagé avec les bordures
(:doc:`/demarrage/installation`) ; sans ce bridge, toute création de VPC échoue. (:doc:`/demarrage/installation`) ; sans ce bridge, toute création de VPC échoue.
Le ``br-public`` du netns n'est qu'un point de raccordement : rien n'entre dans le VPC par lui.
L'agent y pose ``arp_ignore=1`` (il ne répond pas à l'ARP pour les adresses du netns) et, dans la
table nftables ``ip two``, rejette tout IP arrivé par ``br-public`` (chaînes ``in-br-public`` et
``fwd-br-public``). Seules les interfaces publiques prévues — passerelle NAT, IP flottante — y
reçoivent du trafic. Il désactive aussi ``br_netfilter`` dans le netns
(``net.bridge.bridge-nf-call-{iptables,ip6tables,arptables}=0``, quand le module est chargé) : sinon
conntrack voit chaque trame pontée et le SNAT de la passerelle NAT ne s'applique plus.
Dans le netns, l'agent pose aussi la ``dummy`` ``hostsvc`` (``169.254.169.253/32``) et la chaîne Dans le netns, l'agent pose aussi la ``dummy`` ``hostsvc`` (``169.254.169.253/32``) et la chaîne
iptables ``TWO-HOSTSVC``, puis demande à ``two-hostsvc`` de servir le VPC : c'est le chemin du iptables ``TWO-HOSTSVC``, puis demande à ``two-hostsvc`` de servir le VPC : c'est le chemin du
DNS et du NTP des VM (voir :doc:`dns-ntp`). Si ``two-hostsvc`` ne répond pas, la création du VPC DNS et du NTP des VM (voir :doc:`dns-ntp`). Si ``two-hostsvc`` ne répond pas, la création du VPC

28
internal/nft/guard.go Normal file
View file

@ -0,0 +1,28 @@
package nft
import (
"fmt"
"strings"
)
var guardChains = []natChain{
{"in-", "filter", "input", "filter"},
{"fwd-", "filter", "forward", "filter"},
}
func guardScript(bridge string) string {
var b strings.Builder
fmt.Fprintf(&b, "add table ip %s\n", Table)
for _, c := range guardChains {
name := c.declare(&b, bridge)
fmt.Fprintf(&b, "add rule ip %s %s iifname %q drop\n", Table, name, bridge)
}
return b.String()
}
func SetBridgeGuard(bridge string) error {
if err := apply(guardScript(bridge)); err != nil {
return fmt.Errorf("guard %s: %w", bridge, err)
}
return nil
}

View file

@ -0,0 +1,17 @@
package nft
import "testing"
func TestGuardScript(t *testing.T) {
want := `add table ip two
add chain ip two in-br-public { type filter hook input priority filter; policy accept; }
flush chain ip two in-br-public
add rule ip two in-br-public iifname "br-public" drop
add chain ip two fwd-br-public { type filter hook forward priority filter; policy accept; }
flush chain ip two fwd-br-public
add rule ip two fwd-br-public iifname "br-public" drop
`
if got := guardScript("br-public"); got != want {
t.Errorf("script :\n%s\nattendu :\n%s", got, want)
}
}

View file

@ -1,7 +1,9 @@
package sysctl package sysctl
import ( import (
"errors"
"fmt" "fmt"
"io/fs"
"os" "os"
"path/filepath" "path/filepath"
"strings" "strings"
@ -21,3 +23,13 @@ func Set(key, value string) error {
} }
return f.Close() return f.Close()
} }
func SetIfPresent(key, value string) (bool, error) {
path := filepath.Join(root, strings.ReplaceAll(key, ".", "/"))
if _, err := os.Stat(path); errors.Is(err, fs.ErrNotExist) {
return false, nil
} else if err != nil {
return false, fmt.Errorf("sysctl %s: %w", key, err)
}
return true, Set(key, value)
}

View file

@ -46,3 +46,25 @@ func TestSetRefusesAnUnknownKeyWithoutCreatingIt(t *testing.T) {
t.Errorf("clé inconnue créée : %v", err) t.Errorf("clé inconnue créée : %v", err)
} }
} }
func TestSetIfPresentSkipsAnAbsentKey(t *testing.T) {
dir := fakeRoot(t)
set, err := SetIfPresent("net.bridge.bridge-nf-call-iptables", "0")
if err != nil || set {
t.Errorf("clé absente : %v, %v ; false, nil attendus", set, err)
}
if _, err := os.Stat(filepath.Join(dir, "net", "bridge")); err == nil {
t.Error("répertoire créé pour une clé absente")
}
}
func TestSetIfPresentWritesAPresentKey(t *testing.T) {
dir := fakeRoot(t)
set, err := SetIfPresent("net.ipv4.ip_forward", "1")
if err != nil || !set {
t.Fatalf("clé présente : %v, %v", set, err)
}
if got, _ := os.ReadFile(filepath.Join(dir, "net", "ipv4", "ip_forward")); string(got) != "1" {
t.Errorf("contenu %q", got)
}
}

View file

@ -32,6 +32,10 @@ func CreateVPC(db *badger.DB, name string, cfg *configuration.Config) error {
return err return err
} }
if err := netns.Call(name, guardPublicBridge); err != nil {
return err
}
if err := netif.BridgeSetMaster("vp-"+vpcID+"-e", cfg.PublicBridge()); err != nil { if err := netif.BridgeSetMaster("vp-"+vpcID+"-e", cfg.PublicBridge()); err != nil {
return err return err
} }

26
internal/vpc/guard.go Normal file
View file

@ -0,0 +1,26 @@
package vpc
import (
"git.g3e.fr/syonad/two/internal/nft"
"git.g3e.fr/syonad/two/internal/sysctl"
)
const netnsPublicBridge = "br-public"
var bridgeNetfilterKeys = []string{
"net.bridge.bridge-nf-call-iptables",
"net.bridge.bridge-nf-call-ip6tables",
"net.bridge.bridge-nf-call-arptables",
}
func guardPublicBridge() error {
for _, key := range bridgeNetfilterKeys {
if _, err := sysctl.SetIfPresent(key, "0"); err != nil {
return err
}
}
if err := sysctl.Set("net.ipv4.conf."+netnsPublicBridge+".arp_ignore", "1"); err != nil {
return err
}
return nft.SetBridgeGuard(netnsPublicBridge)
}

View file

@ -107,6 +107,14 @@
`delete vxlan: Link not found` et le watchdog a signalé `br-000000` et des VRF absents. L'agent `delete vxlan: Link not found` et le watchdog a signalé `br-000000` et des VRF absents. L'agent
revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est
détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon
- **Rien n'entre plus dans un VPC par le `br-public` de son netns (#42).** Ce bridge, qui relie le
netns au segment public de l'hôte, répondait à l'ARP pour toutes les adresses du netns
(`arp_ignore=0`) et laissait entrer l'IP : un équipement du segment public pouvait router vers
les VM du VPC (mesuré en lab). L'agent pose désormais `arp_ignore=1` sur ce bridge et rejette en
nftables tout IP arrivé par lui
- **`br_netfilter` est désactivé dans le netns de chaque VPC (#42)** quand le module est chargé
(`bridge-nf-call-iptables`, `-ip6tables`, `-arptables` à 0) : conntrack voyait chaque trame
pontée, et le SNAT de la passerelle NAT ne s'appliquait pas (mesuré en lab)
- **Le serveur de métadonnées crée sa socket dans le netns du VPC (#92).** Il faisait entrer un - **Le serveur de métadonnées crée sa socket dans le netns du VPC (#92).** Il faisait entrer un
seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant : seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant :
sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le
@ -139,6 +147,9 @@
la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC, la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC,
la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC : la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC :
`ip route replace unreachable default metric 4278198272 table <l3vni>` `ip route replace unreachable default metric 4278198272 table <l3vni>`
- **`br-public` du netns (#42) : seuls les VPC créés par la 0.3.0 sont protégés.** L'agent ne
reprend pas les VPC existants au démarrage : recréer chaque VPC pour fermer l'entrée par le
segment public
- **Passerelle NAT (#42) : seuls les VPC créés par la 0.3.0 peuvent s'en servir.** Les VPC - **Passerelle NAT (#42) : seuls les VPC créés par la 0.3.0 peuvent s'en servir.** Les VPC
routés existants n'envoient pas leur route par défaut vers la VRF et leur route-map n'exporte routés existants n'envoient pas leur route par défaut vers la VRF et leur route-map n'exporte
pas celle de la passerelle ; l'agent ne les reprend pas au démarrage. Recréer le VPC avant de pas celle de la passerelle ; l'agent ne les reprend pas au démarrage. Recréer le VPC avant de