diff --git a/docs/architecture/contraintes.rst b/docs/architecture/contraintes.rst index ac204dc..f52c219 100644 --- a/docs/architecture/contraintes.rst +++ b/docs/architecture/contraintes.rst @@ -37,6 +37,13 @@ Réseau gateway de l'hôte n'est pas sur le subnet, la route par défaut serait inutilisable, et jointe elle contournerait le netns et la VRF. * ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur. +* **Tout travail dans un netns passe par ``netns.Call``.** ``setns`` ne change que le thread + courant : ``netns.Call`` verrouille la goroutine sur son thread, revient ensuite au netns de ce + thread (``/proc/thread-self``, jamais ``/proc/self``, qui désigne le thread principal) et + détruit un thread qui ne peut pas y revenir (#91). +* **Une socket appartient au netns du thread qui la crée** : un listener destiné à un VPC est + créé dans ``netns.Call``, puis servi hors du netns. Après un ``setns`` suivi d'un + déverrouillage du thread, rien ne garantit que la socket soit créée sur le bon thread (#92). QEMU et VM ---------- diff --git a/docs/architecture/vue-densemble.rst b/docs/architecture/vue-densemble.rst index 34895a4..1c06d4c 100644 --- a/docs/architecture/vue-densemble.rst +++ b/docs/architecture/vue-densemble.rst @@ -47,7 +47,7 @@ Paquets * - ``internal/sysctl`` - écriture sous ``/proc/sys``, dans un netns si besoin * - ``internal/netns`` - - network namespaces : create/enter/delete/call + - network namespaces : create/delete/call * - ``internal/netif`` - netlink : bridge, veth, vxlan, tap, routes, adresses * - ``internal/nft``, ``internal/iptables`` diff --git a/docs/exploitation/services.rst b/docs/exploitation/services.rst index 96fb28e..55892ae 100644 --- a/docs/exploitation/services.rst +++ b/docs/exploitation/services.rst @@ -23,7 +23,7 @@ s'excluent : celle qui tourne dépend de ``dhcp.backend`` (voir :doc:`configurat - serveur DHCP intégré, un par subnet — backend ``two`` * - ``metadata@.service`` - ```` - - serveur de metadata cloud-init, un par VM + - serveur de metadata cloud-init, un par VM, relancé en cas d'échec * - ``two-hostsvc.service`` - — - relais DNS et NTP des VM, un par hyperviseur, démarré avant l'agent (voir diff --git a/internal/metadata/listen_linux_test.go b/internal/metadata/listen_linux_test.go new file mode 100644 index 0000000..0a3a54f --- /dev/null +++ b/internal/metadata/listen_linux_test.go @@ -0,0 +1,112 @@ +//go:build linux + +package metadata + +import ( + "fmt" + "net" + "os" + "testing" + + "git.g3e.fr/syonad/two/internal/netns" + + "golang.org/x/sys/unix" +) + +type nsID struct{ dev, ino uint64 } + +func statNS(t *testing.T, path string) nsID { + t.Helper() + var st unix.Stat_t + if err := unix.Stat(path, &st); err != nil { + t.Fatalf("stat %s : %v", path, err) + } + return nsID{uint64(st.Dev), st.Ino} +} + +func listenerNS(t *testing.T, ln net.Listener) nsID { + t.Helper() + tcp, ok := ln.(*net.TCPListener) + if !ok { + t.Fatalf("listener %T, *net.TCPListener attendu", ln) + } + raw, err := tcp.SyscallConn() + if err != nil { + t.Fatalf("SyscallConn : %v", err) + } + var id nsID + var nsErr error + if err := raw.Control(func(fd uintptr) { + nsFD, err := unix.IoctlRetInt(int(fd), unix.SIOCGSKNS) + if err != nil { + nsErr = err + return + } + defer unix.Close(nsFD) + var st unix.Stat_t + if nsErr = unix.Fstat(nsFD, &st); nsErr == nil { + id = nsID{uint64(st.Dev), st.Ino} + } + }); err != nil { + t.Fatalf("Control : %v", err) + } + if nsErr != nil { + t.Fatalf("netns de la socket : %v", nsErr) + } + return id +} + +func TestListen_DansLeNetnsDuVPC(t *testing.T) { + if os.Geteuid() != 0 { + t.Skip("netns : root requis") + } + name := fmt.Sprintf("t92-vpc-%d", os.Getpid()) + if err := netns.Create(name); err != nil { + t.Fatalf("création de %s : %v", name, err) + } + t.Cleanup(func() { + if err := netns.Delete(name); err != nil { + t.Errorf("suppression de %s : %v", name, err) + } + }) + + for i := 0; i < 50; i++ { + ln, err := listen(name, ":0") + if err != nil { + t.Fatalf("listen : %v", err) + } + got := listenerNS(t, ln) + ln.Close() + if want := statNS(t, "/var/run/netns/"+name); got != want { + t.Fatalf("essai %d : socket dans le netns %v, netns %s %v attendu", i, got, name, want) + } + } +} + +func TestListen_SansNetnsDansLeNetnsCourant(t *testing.T) { + if os.Geteuid() != 0 { + t.Skip("netns : root requis") + } + ln, err := listen("", ":0") + if err != nil { + t.Fatalf("listen : %v", err) + } + defer ln.Close() + if got, want := listenerNS(t, ln), statNS(t, "/proc/self/ns/net"); got != want { + t.Errorf("socket dans le netns %v, netns du processus %v attendu", got, want) + } +} + +func TestListen_NetnsAbsent(t *testing.T) { + if os.Geteuid() != 0 { + t.Skip("netns : root requis") + } + ln, err := listen(fmt.Sprintf("t92-absent-%d", os.Getpid()), ":0") + if err == nil { + ln.Close() + t.Fatalf("listen sans netns : aucune erreur, échec attendu") + } + if !os.IsNotExist(err) { + t.Errorf("listen : %v, netns absent attendu", err) + } +} diff --git a/internal/metadata/server.go b/internal/metadata/server.go index b1f8943..a5c1854 100644 --- a/internal/metadata/server.go +++ b/internal/metadata/server.go @@ -72,15 +72,27 @@ func rootHandler(w http.ResponseWriter, r *http.Request) { func StartServer(config ServerConfig) { data = getFromFiles(config) - if data.NetNs != "" { - if err := netns.Enter(data.NetNs); err != nil { - log.Fatalf("Impossible d'entrer dans le netns: %v", err) - } + address := fmt.Sprintf("%s:%d", data.Iface, data.Port) + ln, err := listen(data.NetNs, address) + if err != nil { + log.Fatalf("Impossible d'écouter sur %s dans le netns %q: %v", address, data.NetNs, err) } http.HandleFunc("/", rootHandler) - address := fmt.Sprintf("%s:%d", data.Iface, data.Port) log.Printf("Serveur NoCloud démarré sur http://%s/", address) - log.Fatal(http.ListenAndServe(address, nil)) + log.Fatal(http.Serve(ln, nil)) +} + +func listen(netNs, address string) (net.Listener, error) { + if netNs == "" { + return net.Listen("tcp", address) + } + var ln net.Listener + err := netns.Call(netNs, func() error { + var err error + ln, err = net.Listen("tcp", address) + return err + }) + return ln, err } diff --git a/internal/netns/enter.go b/internal/netns/enter.go deleted file mode 100644 index 68ea372..0000000 --- a/internal/netns/enter.go +++ /dev/null @@ -1,5 +0,0 @@ -package netns - -func Enter(name string) error { - return enter(name) -} diff --git a/internal/netns/enter_linux.go b/internal/netns/enter_linux.go deleted file mode 100644 index 04e116a..0000000 --- a/internal/netns/enter_linux.go +++ /dev/null @@ -1,26 +0,0 @@ -//go:build linux - -package netns - -import ( - "fmt" - "os" - "runtime" - - "golang.org/x/sys/unix" -) - -func enter(name string) error { - runtime.LockOSThread() - defer runtime.UnlockOSThread() - - path := fmt.Sprintf("/var/run/netns/%s", name) - - f, err := os.Open(path) - if err != nil { - return err - } - defer f.Close() - - return unix.Setns(int(f.Fd()), unix.CLONE_NEWNET) -} diff --git a/internal/netns/enter_other.go b/internal/netns/enter_other.go deleted file mode 100644 index 2691ff2..0000000 --- a/internal/netns/enter_other.go +++ /dev/null @@ -1,8 +0,0 @@ -//go:build !linux - -package netns - -func enter(name string) error { - // Ignoré hors Linux - return nil -} diff --git a/release_notes/0.3.0.md b/release_notes/0.3.0.md index 3dac3ea..41743d7 100644 --- a/release_notes/0.3.0.md +++ b/release_notes/0.3.0.md @@ -87,6 +87,11 @@ `delete vxlan: Link not found` et le watchdog a signalé `br-000000` et des VRF absents. L'agent revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon +- **Le serveur de métadonnées crée sa socket dans le netns du VPC (#92).** Il faisait entrer un + seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant : + sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le + processus s'arrêtait. Jamais observé en lab. La socket est désormais créée dans le netns du VPC, + et `metadata@.service` est relancé en cas d'échec (`Restart=on-failure`) ## Mise à jour depuis la 0.2.0 diff --git a/systemd/metadata@.service b/systemd/metadata@.service index 626b97c..641142d 100644 --- a/systemd/metadata@.service +++ b/systemd/metadata@.service @@ -5,6 +5,7 @@ After=network.target [Service] Type=simple ExecStart=/opt/two/bin/metadata --vm %i +Restart=on-failure [Install] WantedBy=multi-user.target \ No newline at end of file