Merge branch 'feature-92'
All checks were successful
Documentation / publish (push) Successful in 1m42s

This commit is contained in:
GnomeZworc 2026-10-26 23:48:55 +01:00
commit 9a61b3340a
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
10 changed files with 145 additions and 47 deletions

View file

@ -37,6 +37,13 @@ Réseau
gateway de l'hôte n'est pas sur le subnet, la route par défaut serait inutilisable, et jointe
elle contournerait le netns et la VRF.
* ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur.
* **Tout travail dans un netns passe par ``netns.Call``.** ``setns`` ne change que le thread
courant : ``netns.Call`` verrouille la goroutine sur son thread, revient ensuite au netns de ce
thread (``/proc/thread-self``, jamais ``/proc/self``, qui désigne le thread principal) et
détruit un thread qui ne peut pas y revenir (#91).
* **Une socket appartient au netns du thread qui la crée** : un listener destiné à un VPC est
créé dans ``netns.Call``, puis servi hors du netns. Après un ``setns`` suivi d'un
déverrouillage du thread, rien ne garantit que la socket soit créée sur le bon thread (#92).
QEMU et VM
----------

View file

@ -47,7 +47,7 @@ Paquets
* - ``internal/sysctl``
- écriture sous ``/proc/sys``, dans un netns si besoin
* - ``internal/netns``
- network namespaces : create/enter/delete/call
- network namespaces : create/delete/call
* - ``internal/netif``
- netlink : bridge, veth, vxlan, tap, routes, adresses
* - ``internal/nft``, ``internal/iptables``

View file

@ -23,7 +23,7 @@ s'excluent : celle qui tourne dépend de ``dhcp.backend`` (voir :doc:`configurat
- serveur DHCP intégré, un par subnet — backend ``two``
* - ``metadata@.service``
- ``<nom de la VM>``
- serveur de metadata cloud-init, un par VM
- serveur de metadata cloud-init, un par VM, relancé en cas d'échec
* - ``two-hostsvc.service``
- —
- relais DNS et NTP des VM, un par hyperviseur, démarré avant l'agent (voir

View file

@ -0,0 +1,112 @@
//go:build linux
package metadata
import (
"fmt"
"net"
"os"
"testing"
"git.g3e.fr/syonad/two/internal/netns"
"golang.org/x/sys/unix"
)
type nsID struct{ dev, ino uint64 }
func statNS(t *testing.T, path string) nsID {
t.Helper()
var st unix.Stat_t
if err := unix.Stat(path, &st); err != nil {
t.Fatalf("stat %s : %v", path, err)
}
return nsID{uint64(st.Dev), st.Ino}
}
func listenerNS(t *testing.T, ln net.Listener) nsID {
t.Helper()
tcp, ok := ln.(*net.TCPListener)
if !ok {
t.Fatalf("listener %T, *net.TCPListener attendu", ln)
}
raw, err := tcp.SyscallConn()
if err != nil {
t.Fatalf("SyscallConn : %v", err)
}
var id nsID
var nsErr error
if err := raw.Control(func(fd uintptr) {
nsFD, err := unix.IoctlRetInt(int(fd), unix.SIOCGSKNS)
if err != nil {
nsErr = err
return
}
defer unix.Close(nsFD)
var st unix.Stat_t
if nsErr = unix.Fstat(nsFD, &st); nsErr == nil {
id = nsID{uint64(st.Dev), st.Ino}
}
}); err != nil {
t.Fatalf("Control : %v", err)
}
if nsErr != nil {
t.Fatalf("netns de la socket : %v", nsErr)
}
return id
}
func TestListen_DansLeNetnsDuVPC(t *testing.T) {
if os.Geteuid() != 0 {
t.Skip("netns : root requis")
}
name := fmt.Sprintf("t92-vpc-%d", os.Getpid())
if err := netns.Create(name); err != nil {
t.Fatalf("création de %s : %v", name, err)
}
t.Cleanup(func() {
if err := netns.Delete(name); err != nil {
t.Errorf("suppression de %s : %v", name, err)
}
})
for i := 0; i < 50; i++ {
ln, err := listen(name, ":0")
if err != nil {
t.Fatalf("listen : %v", err)
}
got := listenerNS(t, ln)
ln.Close()
if want := statNS(t, "/var/run/netns/"+name); got != want {
t.Fatalf("essai %d : socket dans le netns %v, netns %s %v attendu", i, got, name, want)
}
}
}
func TestListen_SansNetnsDansLeNetnsCourant(t *testing.T) {
if os.Geteuid() != 0 {
t.Skip("netns : root requis")
}
ln, err := listen("", ":0")
if err != nil {
t.Fatalf("listen : %v", err)
}
defer ln.Close()
if got, want := listenerNS(t, ln), statNS(t, "/proc/self/ns/net"); got != want {
t.Errorf("socket dans le netns %v, netns du processus %v attendu", got, want)
}
}
func TestListen_NetnsAbsent(t *testing.T) {
if os.Geteuid() != 0 {
t.Skip("netns : root requis")
}
ln, err := listen(fmt.Sprintf("t92-absent-%d", os.Getpid()), ":0")
if err == nil {
ln.Close()
t.Fatalf("listen sans netns : aucune erreur, échec attendu")
}
if !os.IsNotExist(err) {
t.Errorf("listen : %v, netns absent attendu", err)
}
}

View file

@ -72,15 +72,27 @@ func rootHandler(w http.ResponseWriter, r *http.Request) {
func StartServer(config ServerConfig) {
data = getFromFiles(config)
if data.NetNs != "" {
if err := netns.Enter(data.NetNs); err != nil {
log.Fatalf("Impossible d'entrer dans le netns: %v", err)
}
address := fmt.Sprintf("%s:%d", data.Iface, data.Port)
ln, err := listen(data.NetNs, address)
if err != nil {
log.Fatalf("Impossible d'écouter sur %s dans le netns %q: %v", address, data.NetNs, err)
}
http.HandleFunc("/", rootHandler)
address := fmt.Sprintf("%s:%d", data.Iface, data.Port)
log.Printf("Serveur NoCloud démarré sur http://%s/", address)
log.Fatal(http.ListenAndServe(address, nil))
log.Fatal(http.Serve(ln, nil))
}
func listen(netNs, address string) (net.Listener, error) {
if netNs == "" {
return net.Listen("tcp", address)
}
var ln net.Listener
err := netns.Call(netNs, func() error {
var err error
ln, err = net.Listen("tcp", address)
return err
})
return ln, err
}

View file

@ -1,5 +0,0 @@
package netns
func Enter(name string) error {
return enter(name)
}

View file

@ -1,26 +0,0 @@
//go:build linux
package netns
import (
"fmt"
"os"
"runtime"
"golang.org/x/sys/unix"
)
func enter(name string) error {
runtime.LockOSThread()
defer runtime.UnlockOSThread()
path := fmt.Sprintf("/var/run/netns/%s", name)
f, err := os.Open(path)
if err != nil {
return err
}
defer f.Close()
return unix.Setns(int(f.Fd()), unix.CLONE_NEWNET)
}

View file

@ -1,8 +0,0 @@
//go:build !linux
package netns
func enter(name string) error {
// Ignoré hors Linux
return nil
}

View file

@ -87,6 +87,11 @@
`delete vxlan: Link not found` et le watchdog a signalé `br-000000` et des VRF absents. L'agent
revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est
détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon
- **Le serveur de métadonnées crée sa socket dans le netns du VPC (#92).** Il faisait entrer un
seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant :
sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le
processus s'arrêtait. Jamais observé en lab. La socket est désormais créée dans le netns du VPC,
et `metadata@.service` est relancé en cas d'échec (`Restart=on-failure`)
## Mise à jour depuis la 0.2.0

View file

@ -5,6 +5,7 @@ After=network.target
[Service]
Type=simple
ExecStart=/opt/two/bin/metadata --vm %i
Restart=on-failure
[Install]
WantedBy=multi-user.target