f-42: vpc: br-public du netns fermé, br_netfilter coupé dans le netns #42
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
74e8c6220e
commit
1df0d2dad6
8 changed files with 128 additions and 0 deletions
|
|
@ -25,6 +25,14 @@ public est celui de ``interfaces.internet``, ``br-public`` si la clé est absent
|
|||
accroche ``vxlan-public``, le VXLAN du segment public partagé avec les bordures
|
||||
(:doc:`/demarrage/installation`) ; sans ce bridge, toute création de VPC échoue.
|
||||
|
||||
Le ``br-public`` du netns n'est qu'un point de raccordement : rien n'entre dans le VPC par lui.
|
||||
L'agent y pose ``arp_ignore=1`` (il ne répond pas à l'ARP pour les adresses du netns) et, dans la
|
||||
table nftables ``ip two``, rejette tout IP arrivé par ``br-public`` (chaînes ``in-br-public`` et
|
||||
``fwd-br-public``). Seules les interfaces publiques prévues — passerelle NAT, IP flottante — y
|
||||
reçoivent du trafic. Il désactive aussi ``br_netfilter`` dans le netns
|
||||
(``net.bridge.bridge-nf-call-{iptables,ip6tables,arptables}=0``, quand le module est chargé) : sinon
|
||||
conntrack voit chaque trame pontée et le SNAT de la passerelle NAT ne s'applique plus.
|
||||
|
||||
Dans le netns, l'agent pose aussi la ``dummy`` ``hostsvc`` (``169.254.169.253/32``) et la chaîne
|
||||
iptables ``TWO-HOSTSVC``, puis demande à ``two-hostsvc`` de servir le VPC : c'est le chemin du
|
||||
DNS et du NTP des VM (voir :doc:`dns-ntp`). Si ``two-hostsvc`` ne répond pas, la création du VPC
|
||||
|
|
|
|||
28
internal/nft/guard.go
Normal file
28
internal/nft/guard.go
Normal file
|
|
@ -0,0 +1,28 @@
|
|||
package nft
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"strings"
|
||||
)
|
||||
|
||||
var guardChains = []natChain{
|
||||
{"in-", "filter", "input", "filter"},
|
||||
{"fwd-", "filter", "forward", "filter"},
|
||||
}
|
||||
|
||||
func guardScript(bridge string) string {
|
||||
var b strings.Builder
|
||||
fmt.Fprintf(&b, "add table ip %s\n", Table)
|
||||
for _, c := range guardChains {
|
||||
name := c.declare(&b, bridge)
|
||||
fmt.Fprintf(&b, "add rule ip %s %s iifname %q drop\n", Table, name, bridge)
|
||||
}
|
||||
return b.String()
|
||||
}
|
||||
|
||||
func SetBridgeGuard(bridge string) error {
|
||||
if err := apply(guardScript(bridge)); err != nil {
|
||||
return fmt.Errorf("guard %s: %w", bridge, err)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
17
internal/nft/guard_test.go
Normal file
17
internal/nft/guard_test.go
Normal file
|
|
@ -0,0 +1,17 @@
|
|||
package nft
|
||||
|
||||
import "testing"
|
||||
|
||||
func TestGuardScript(t *testing.T) {
|
||||
want := `add table ip two
|
||||
add chain ip two in-br-public { type filter hook input priority filter; policy accept; }
|
||||
flush chain ip two in-br-public
|
||||
add rule ip two in-br-public iifname "br-public" drop
|
||||
add chain ip two fwd-br-public { type filter hook forward priority filter; policy accept; }
|
||||
flush chain ip two fwd-br-public
|
||||
add rule ip two fwd-br-public iifname "br-public" drop
|
||||
`
|
||||
if got := guardScript("br-public"); got != want {
|
||||
t.Errorf("script :\n%s\nattendu :\n%s", got, want)
|
||||
}
|
||||
}
|
||||
|
|
@ -1,7 +1,9 @@
|
|||
package sysctl
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"fmt"
|
||||
"io/fs"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"strings"
|
||||
|
|
@ -21,3 +23,13 @@ func Set(key, value string) error {
|
|||
}
|
||||
return f.Close()
|
||||
}
|
||||
|
||||
func SetIfPresent(key, value string) (bool, error) {
|
||||
path := filepath.Join(root, strings.ReplaceAll(key, ".", "/"))
|
||||
if _, err := os.Stat(path); errors.Is(err, fs.ErrNotExist) {
|
||||
return false, nil
|
||||
} else if err != nil {
|
||||
return false, fmt.Errorf("sysctl %s: %w", key, err)
|
||||
}
|
||||
return true, Set(key, value)
|
||||
}
|
||||
|
|
|
|||
|
|
@ -46,3 +46,25 @@ func TestSetRefusesAnUnknownKeyWithoutCreatingIt(t *testing.T) {
|
|||
t.Errorf("clé inconnue créée : %v", err)
|
||||
}
|
||||
}
|
||||
|
||||
func TestSetIfPresentSkipsAnAbsentKey(t *testing.T) {
|
||||
dir := fakeRoot(t)
|
||||
set, err := SetIfPresent("net.bridge.bridge-nf-call-iptables", "0")
|
||||
if err != nil || set {
|
||||
t.Errorf("clé absente : %v, %v ; false, nil attendus", set, err)
|
||||
}
|
||||
if _, err := os.Stat(filepath.Join(dir, "net", "bridge")); err == nil {
|
||||
t.Error("répertoire créé pour une clé absente")
|
||||
}
|
||||
}
|
||||
|
||||
func TestSetIfPresentWritesAPresentKey(t *testing.T) {
|
||||
dir := fakeRoot(t)
|
||||
set, err := SetIfPresent("net.ipv4.ip_forward", "1")
|
||||
if err != nil || !set {
|
||||
t.Fatalf("clé présente : %v, %v", set, err)
|
||||
}
|
||||
if got, _ := os.ReadFile(filepath.Join(dir, "net", "ipv4", "ip_forward")); string(got) != "1" {
|
||||
t.Errorf("contenu %q", got)
|
||||
}
|
||||
}
|
||||
|
|
|
|||
|
|
@ -32,6 +32,10 @@ func CreateVPC(db *badger.DB, name string, cfg *configuration.Config) error {
|
|||
return err
|
||||
}
|
||||
|
||||
if err := netns.Call(name, guardPublicBridge); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
if err := netif.BridgeSetMaster("vp-"+vpcID+"-e", cfg.PublicBridge()); err != nil {
|
||||
return err
|
||||
}
|
||||
|
|
|
|||
26
internal/vpc/guard.go
Normal file
26
internal/vpc/guard.go
Normal file
|
|
@ -0,0 +1,26 @@
|
|||
package vpc
|
||||
|
||||
import (
|
||||
"git.g3e.fr/syonad/two/internal/nft"
|
||||
"git.g3e.fr/syonad/two/internal/sysctl"
|
||||
)
|
||||
|
||||
const netnsPublicBridge = "br-public"
|
||||
|
||||
var bridgeNetfilterKeys = []string{
|
||||
"net.bridge.bridge-nf-call-iptables",
|
||||
"net.bridge.bridge-nf-call-ip6tables",
|
||||
"net.bridge.bridge-nf-call-arptables",
|
||||
}
|
||||
|
||||
func guardPublicBridge() error {
|
||||
for _, key := range bridgeNetfilterKeys {
|
||||
if _, err := sysctl.SetIfPresent(key, "0"); err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
if err := sysctl.Set("net.ipv4.conf."+netnsPublicBridge+".arp_ignore", "1"); err != nil {
|
||||
return err
|
||||
}
|
||||
return nft.SetBridgeGuard(netnsPublicBridge)
|
||||
}
|
||||
|
|
@ -107,6 +107,14 @@
|
|||
`delete vxlan: Link not found` et le watchdog a signalé `br-000000` et des VRF absents. L'agent
|
||||
revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est
|
||||
détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon
|
||||
- **Rien n'entre plus dans un VPC par le `br-public` de son netns (#42).** Ce bridge, qui relie le
|
||||
netns au segment public de l'hôte, répondait à l'ARP pour toutes les adresses du netns
|
||||
(`arp_ignore=0`) et laissait entrer l'IP : un équipement du segment public pouvait router vers
|
||||
les VM du VPC (mesuré en lab). L'agent pose désormais `arp_ignore=1` sur ce bridge et rejette en
|
||||
nftables tout IP arrivé par lui
|
||||
- **`br_netfilter` est désactivé dans le netns de chaque VPC (#42)** quand le module est chargé
|
||||
(`bridge-nf-call-iptables`, `-ip6tables`, `-arptables` à 0) : conntrack voyait chaque trame
|
||||
pontée, et le SNAT de la passerelle NAT ne s'appliquait pas (mesuré en lab)
|
||||
- **Le serveur de métadonnées crée sa socket dans le netns du VPC (#92).** Il faisait entrer un
|
||||
seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant :
|
||||
sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le
|
||||
|
|
@ -139,6 +147,9 @@
|
|||
la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC,
|
||||
la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC :
|
||||
`ip route replace unreachable default metric 4278198272 table <l3vni>`
|
||||
- **`br-public` du netns (#42) : seuls les VPC créés par la 0.3.0 sont protégés.** L'agent ne
|
||||
reprend pas les VPC existants au démarrage : recréer chaque VPC pour fermer l'entrée par le
|
||||
segment public
|
||||
- **Passerelle NAT (#42) : seuls les VPC créés par la 0.3.0 peuvent s'en servir.** Les VPC
|
||||
routés existants n'envoient pas leur route par défaut vers la VRF et leur route-map n'exporte
|
||||
pas celle de la passerelle ; l'agent ne les reprend pas au démarrage. Recréer le VPC avant de
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue