diff --git a/cmd/dhcp/main.go b/cmd/dhcp/main.go index 59059d9..2192283 100644 --- a/cmd/dhcp/main.go +++ b/cmd/dhcp/main.go @@ -1,11 +1,16 @@ package main import ( + "context" + "errors" "flag" "fmt" + "log/slog" "net" "os" + "os/signal" "strings" + "syscall" dhcpapi "git.g3e.fr/syonad/two/internal/api/dhcp" configuration "git.g3e.fr/syonad/two/internal/config/agent" @@ -61,12 +66,6 @@ func run() error { } defer control.Close() - go func() { - if err := control.Serve(); err != nil { - log.Error("control socket stopped", "error", err) - } - }() - listen := listenInterface(*iface, interfaceExists) conn, err := server4.NewIPv4UDPConn(listen, &net.UDPAddr{Port: dhcpv4.ServerPort}) if err != nil { @@ -76,7 +75,37 @@ func run() error { log.Info("dhcp server started", "listen", listen, "state", store.Path(), "socket", control.Addr()) - return store.Serve(conn, log) + ctx, stop := signal.NotifyContext(context.Background(), os.Interrupt, syscall.SIGTERM) + defer stop() + + return serve(ctx, control, conn, store, log) +} + +func serve(ctx context.Context, control *dhcpapi.Server, conn net.PacketConn, store *dhcpd.Store, log *slog.Logger) error { + go func() { + if err := control.Serve(); err != nil && !errors.Is(err, net.ErrClosed) { + log.Error("control socket stopped", "error", err) + } + }() + + served := make(chan error, 1) + go func() { served <- store.Serve(conn, log) }() + + select { + case err := <-served: + return err + case <-ctx.Done(): + } + + log.Info("dhcp server stopping") + if err := control.Close(); err != nil { + log.Error("close the control socket", "error", err) + } + if err := conn.Close(); err != nil { + log.Error("close the dhcp socket", "error", err) + } + <-served + return nil } func interfaceExists(name string) bool { diff --git a/cmd/dhcp/serve_test.go b/cmd/dhcp/serve_test.go new file mode 100644 index 0000000..4ce7c57 --- /dev/null +++ b/cmd/dhcp/serve_test.go @@ -0,0 +1,90 @@ +package main + +import ( + "context" + "errors" + "io" + "log/slog" + "net" + "os" + "path/filepath" + "testing" + "time" + + dhcpapi "git.g3e.fr/syonad/two/internal/api/dhcp" + "git.g3e.fr/syonad/two/internal/dhcpd" +) + +func startServe(t *testing.T, ctx context.Context) (string, net.PacketConn, <-chan error) { + t.Helper() + + dir, err := os.MkdirTemp("", "dhcp") + if err != nil { + t.Fatalf("MkdirTemp : %v", err) + } + t.Cleanup(func() { os.RemoveAll(dir) }) + + log := slog.New(slog.NewTextHandler(io.Discard, nil)) + store := dhcpd.NewStore(filepath.Join(dir, "state.json")) + if err := store.Load(); err != nil { + t.Fatalf("Load : %v", err) + } + + socket := filepath.Join(dir, "ctl.sock") + control, err := dhcpapi.Listen(store, socket, log) + if err != nil { + t.Fatalf("Listen : %v", err) + } + conn, err := net.ListenPacket("udp4", "127.0.0.1:0") + if err != nil { + t.Fatalf("ListenPacket : %v", err) + } + t.Cleanup(func() { + control.Close() + conn.Close() + }) + + done := make(chan error, 1) + go func() { done <- serve(ctx, control, conn, store, log) }() + return socket, conn, done +} + +func waitServe(t *testing.T, done <-chan error) error { + t.Helper() + select { + case err := <-done: + return err + case <-time.After(2 * time.Second): + t.Fatal("serve ne s'est pas arrêté") + return nil + } +} + +func TestServe_ArretDemandeFermeLesSockets(t *testing.T) { + ctx, cancel := context.WithCancel(context.Background()) + socket, conn, done := startServe(t, ctx) + + if _, err := os.Stat(socket); err != nil { + t.Fatalf("socket de contrôle absente au démarrage : %v", err) + } + + cancel() + if err := waitServe(t, done); err != nil { + t.Errorf("arrêt demandé : %v, sortie normale attendue", err) + } + if _, err := os.Stat(socket); !errors.Is(err, os.ErrNotExist) { + t.Errorf("socket de contrôle laissée après l'arrêt (%v)", err) + } + if _, err := conn.WriteTo([]byte{0}, conn.LocalAddr()); !errors.Is(err, net.ErrClosed) { + t.Errorf("socket DHCP encore ouverte après l'arrêt (%v)", err) + } +} + +func TestServe_RemonteLaPerteDeLaSocketDHCP(t *testing.T) { + _, conn, done := startServe(t, context.Background()) + + conn.Close() + if err := waitServe(t, done); !errors.Is(err, net.ErrClosed) { + t.Errorf("erreur = %v, net.ErrClosed attendu", err) + } +} diff --git a/docs/exploitation/services.rst b/docs/exploitation/services.rst index 146f98c..9ddc968 100644 --- a/docs/exploitation/services.rst +++ b/docs/exploitation/services.rst @@ -89,6 +89,10 @@ l'écrit jamais ; il le supprime seulement, à la création du subnet pour écar suppression après avoir arrêté l'unit. Il vit dans ``/run`` parce qu'il n'a aucun sens sans le netns, qui ne survit pas au redémarrage de l'host. +À l'arrêt de l'unit (``SIGTERM``), le processus ferme sa socket de contrôle, qui disparaît, puis sa +socket UDP. À la suppression du subnet, l'agent retire aussi la socket, pour le cas où le +processus serait mort sans nettoyer (``SIGKILL``, plantage). + Diagnostic : voir :doc:`diagnostic`, qui montre comment interroger la socket. QEMU n'est pas une unit diff --git a/internal/dhcpbackend/two.go b/internal/dhcpbackend/two.go index 71a4d37..ec501e2 100644 --- a/internal/dhcpbackend/two.go +++ b/internal/dhcpbackend/two.go @@ -107,7 +107,14 @@ func (b Two) TeardownSubnet(s Subnet) error { } } - return statefile.Remove(b.statePath(s)) + return b.removeFiles(s) +} + +func (b Two) removeFiles(s Subnet) error { + if err := statefile.Remove(b.statePath(s)); err != nil { + return err + } + return statefile.Remove(dhcpapi.SocketPath(b.runDir(), s.Instance())) } func (b Two) SetVM(s Subnet, vmName string, res []Reservation) error { diff --git a/internal/dhcpbackend/two_test.go b/internal/dhcpbackend/two_test.go index cedbb16..a63521c 100644 --- a/internal/dhcpbackend/two_test.go +++ b/internal/dhcpbackend/two_test.go @@ -252,3 +252,37 @@ func mustMAC(t *testing.T, s string) net.HardwareAddr { } return m } + +func TestTwoRemoveFiles_RemovesTheStateAndASocketLeftByADeadServer(t *testing.T) { + b := Two{RunDir: shortTempDir(t)} + s := testSubnet(t) + + state := dhcpapi.StatePath(b.RunDir, s.Instance()) + if err := os.WriteFile(state, []byte("{}"), 0o600); err != nil { + t.Fatalf("WriteFile: %v", err) + } + socket := dhcpapi.SocketPath(b.RunDir, s.Instance()) + listener, err := net.Listen("unix", socket) + if err != nil { + t.Fatalf("Listen: %v", err) + } + listener.(*net.UnixListener).SetUnlinkOnClose(false) + listener.Close() + + if err := b.removeFiles(s); err != nil { + t.Fatalf("removeFiles: %v", err) + } + for _, path := range []string{state, socket} { + if _, err := os.Stat(path); !os.IsNotExist(err) { + t.Errorf("%s still present (%v)", path, err) + } + } +} + +func TestTwoRemoveFiles_OnAbsentFilesIsNotAnError(t *testing.T) { + b := Two{RunDir: shortTempDir(t)} + + if err := b.removeFiles(testSubnet(t)); err != nil { + t.Errorf("removing absent files must be idempotent, got %v", err) + } +} diff --git a/release_notes/0.2.0.md b/release_notes/0.2.0.md index 5b532bc..0e99d4d 100644 --- a/release_notes/0.2.0.md +++ b/release_notes/0.2.0.md @@ -101,6 +101,10 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet valeurs par défaut sans le dire, ce qui rendait indétectable une simple tabulation d'indentation - `probe` annonce explicitement `"served": false` pour une MAC non réservée, au lieu d'omettre le champ et de le rendre indistinguable d'une réponse tronquée +- **Le serveur DHCP intégré s'arrête proprement** sur `SIGTERM` et `SIGINT` : il ferme sa socket de + contrôle et sa socket UDP avant de sortir. Il mourait jusque-là sans nettoyer, et laissait + `/run/two/dhcp/_.sock` après la suppression du subnet. L'agent supprime aussi + cette socket avec le fichier d'état, ce qui couvre une mort brutale du processus (#77) ## Changements internes diff --git a/test/e2e/lib/fixture.sh b/test/e2e/lib/fixture.sh index 7e141ac..723eae6 100644 --- a/test/e2e/lib/fixture.sh +++ b/test/e2e/lib/fixture.sh @@ -33,7 +33,7 @@ host_state () { echo "## iptables"; iptables-save | grep -v '^#' | sed 's/ \[[0-9]*:[0-9]*\]$//' echo "## frr"; vtysh -c 'show running-config' | grep -v '^Building\|^Current configuration\|^!' echo "## frr.conf"; sha256sum /etc/frr/frr.conf | cut -d' ' -f1 - echo "## fichiers"; find /run/two /etc/dnsmasq.d "${VOLUMES}" -mindepth 1 ! -type d ! -path '/run/two/dhcp/*.sock' 2>/dev/null | sort + echo "## fichiers"; find /run/two /etc/dnsmasq.d "${VOLUMES}" -mindepth 1 ! -type d 2>/dev/null | sort echo "## unités"; systemctl list-units --all --plain --no-legend 'two-vm-*' | awk '{print $1}' echo "## processus"; pgrep -a dnsmasq | cut -d' ' -f2- | sort; echo "qemu: $(pgrep -c qemu-system)" } diff --git a/test/e2e/suite/62-nettoyage-global.sh b/test/e2e/suite/62-nettoyage-global.sh index e4a3d68..6b798c5 100644 --- a/test/e2e/suite/62-nettoyage-global.sh +++ b/test/e2e/suite/62-nettoyage-global.sh @@ -15,7 +15,7 @@ check "${HOST} : aucune interface de subnet (v-*, vxlan-*)" none sh -c "ip -o li check "${HOST} : aucune VRF de VPC (vrf-*)" none sh -c "ip -o link show type vrf | awk -F': ' '{print \$2}' | grep '^vrf-'" check "${HOST} : aucune unité two-vm-*" none systemctl list-units --all --plain --no-legend 'two-vm-*' check "${HOST} : aucune instance DHCP (dhcp@, dnsmasq@) ni de métadonnées (metadata@) active" none sh -c "systemctl list-units --plain --no-legend 'dhcp@*' 'dnsmasq@*' 'metadata@*' | grep -w active" -known "#77" "${HOST} : aucun socket de contrôle DHCP" none sh -c "ls /run/two/dhcp/*.sock 2>/dev/null" +check "${HOST} : aucun socket de contrôle DHCP" none sh -c "ls /run/two/dhcp/*.sock 2>/dev/null" check "${HOST} : aucun processus QEMU" none pgrep -a qemu-system check "${HOST} : aucune règle ebtables qui vise une interface de subnet" none sh -c "{ ebtables -t filter -L; ebtables -t nat -L; } | grep -E -- '-(i|o) v-'" check "${HOST} : aucune règle iptables qui vise une interface de subnet ou de VPC" none sh -c "iptables-save | grep -E -- '(v-|vp-|tap)[a-z0-9]'"