f-77: dhcp: arrêt propre sur SIGTERM, socket de contrôle retirée au teardown #77
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
3c3e58a3ac
commit
ecaa34d686
8 changed files with 178 additions and 10 deletions
|
|
@ -1,11 +1,16 @@
|
|||
package main
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"flag"
|
||||
"fmt"
|
||||
"log/slog"
|
||||
"net"
|
||||
"os"
|
||||
"os/signal"
|
||||
"strings"
|
||||
"syscall"
|
||||
|
||||
dhcpapi "git.g3e.fr/syonad/two/internal/api/dhcp"
|
||||
configuration "git.g3e.fr/syonad/two/internal/config/agent"
|
||||
|
|
@ -61,12 +66,6 @@ func run() error {
|
|||
}
|
||||
defer control.Close()
|
||||
|
||||
go func() {
|
||||
if err := control.Serve(); err != nil {
|
||||
log.Error("control socket stopped", "error", err)
|
||||
}
|
||||
}()
|
||||
|
||||
listen := listenInterface(*iface, interfaceExists)
|
||||
conn, err := server4.NewIPv4UDPConn(listen, &net.UDPAddr{Port: dhcpv4.ServerPort})
|
||||
if err != nil {
|
||||
|
|
@ -76,7 +75,37 @@ func run() error {
|
|||
|
||||
log.Info("dhcp server started", "listen", listen, "state", store.Path(), "socket", control.Addr())
|
||||
|
||||
return store.Serve(conn, log)
|
||||
ctx, stop := signal.NotifyContext(context.Background(), os.Interrupt, syscall.SIGTERM)
|
||||
defer stop()
|
||||
|
||||
return serve(ctx, control, conn, store, log)
|
||||
}
|
||||
|
||||
func serve(ctx context.Context, control *dhcpapi.Server, conn net.PacketConn, store *dhcpd.Store, log *slog.Logger) error {
|
||||
go func() {
|
||||
if err := control.Serve(); err != nil && !errors.Is(err, net.ErrClosed) {
|
||||
log.Error("control socket stopped", "error", err)
|
||||
}
|
||||
}()
|
||||
|
||||
served := make(chan error, 1)
|
||||
go func() { served <- store.Serve(conn, log) }()
|
||||
|
||||
select {
|
||||
case err := <-served:
|
||||
return err
|
||||
case <-ctx.Done():
|
||||
}
|
||||
|
||||
log.Info("dhcp server stopping")
|
||||
if err := control.Close(); err != nil {
|
||||
log.Error("close the control socket", "error", err)
|
||||
}
|
||||
if err := conn.Close(); err != nil {
|
||||
log.Error("close the dhcp socket", "error", err)
|
||||
}
|
||||
<-served
|
||||
return nil
|
||||
}
|
||||
|
||||
func interfaceExists(name string) bool {
|
||||
|
|
|
|||
90
cmd/dhcp/serve_test.go
Normal file
90
cmd/dhcp/serve_test.go
Normal file
|
|
@ -0,0 +1,90 @@
|
|||
package main
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"io"
|
||||
"log/slog"
|
||||
"net"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
dhcpapi "git.g3e.fr/syonad/two/internal/api/dhcp"
|
||||
"git.g3e.fr/syonad/two/internal/dhcpd"
|
||||
)
|
||||
|
||||
func startServe(t *testing.T, ctx context.Context) (string, net.PacketConn, <-chan error) {
|
||||
t.Helper()
|
||||
|
||||
dir, err := os.MkdirTemp("", "dhcp")
|
||||
if err != nil {
|
||||
t.Fatalf("MkdirTemp : %v", err)
|
||||
}
|
||||
t.Cleanup(func() { os.RemoveAll(dir) })
|
||||
|
||||
log := slog.New(slog.NewTextHandler(io.Discard, nil))
|
||||
store := dhcpd.NewStore(filepath.Join(dir, "state.json"))
|
||||
if err := store.Load(); err != nil {
|
||||
t.Fatalf("Load : %v", err)
|
||||
}
|
||||
|
||||
socket := filepath.Join(dir, "ctl.sock")
|
||||
control, err := dhcpapi.Listen(store, socket, log)
|
||||
if err != nil {
|
||||
t.Fatalf("Listen : %v", err)
|
||||
}
|
||||
conn, err := net.ListenPacket("udp4", "127.0.0.1:0")
|
||||
if err != nil {
|
||||
t.Fatalf("ListenPacket : %v", err)
|
||||
}
|
||||
t.Cleanup(func() {
|
||||
control.Close()
|
||||
conn.Close()
|
||||
})
|
||||
|
||||
done := make(chan error, 1)
|
||||
go func() { done <- serve(ctx, control, conn, store, log) }()
|
||||
return socket, conn, done
|
||||
}
|
||||
|
||||
func waitServe(t *testing.T, done <-chan error) error {
|
||||
t.Helper()
|
||||
select {
|
||||
case err := <-done:
|
||||
return err
|
||||
case <-time.After(2 * time.Second):
|
||||
t.Fatal("serve ne s'est pas arrêté")
|
||||
return nil
|
||||
}
|
||||
}
|
||||
|
||||
func TestServe_ArretDemandeFermeLesSockets(t *testing.T) {
|
||||
ctx, cancel := context.WithCancel(context.Background())
|
||||
socket, conn, done := startServe(t, ctx)
|
||||
|
||||
if _, err := os.Stat(socket); err != nil {
|
||||
t.Fatalf("socket de contrôle absente au démarrage : %v", err)
|
||||
}
|
||||
|
||||
cancel()
|
||||
if err := waitServe(t, done); err != nil {
|
||||
t.Errorf("arrêt demandé : %v, sortie normale attendue", err)
|
||||
}
|
||||
if _, err := os.Stat(socket); !errors.Is(err, os.ErrNotExist) {
|
||||
t.Errorf("socket de contrôle laissée après l'arrêt (%v)", err)
|
||||
}
|
||||
if _, err := conn.WriteTo([]byte{0}, conn.LocalAddr()); !errors.Is(err, net.ErrClosed) {
|
||||
t.Errorf("socket DHCP encore ouverte après l'arrêt (%v)", err)
|
||||
}
|
||||
}
|
||||
|
||||
func TestServe_RemonteLaPerteDeLaSocketDHCP(t *testing.T) {
|
||||
_, conn, done := startServe(t, context.Background())
|
||||
|
||||
conn.Close()
|
||||
if err := waitServe(t, done); !errors.Is(err, net.ErrClosed) {
|
||||
t.Errorf("erreur = %v, net.ErrClosed attendu", err)
|
||||
}
|
||||
}
|
||||
|
|
@ -89,6 +89,10 @@ l'écrit jamais ; il le supprime seulement, à la création du subnet pour écar
|
|||
suppression après avoir arrêté l'unit. Il vit dans ``/run`` parce qu'il n'a aucun sens sans le
|
||||
netns, qui ne survit pas au redémarrage de l'host.
|
||||
|
||||
À l'arrêt de l'unit (``SIGTERM``), le processus ferme sa socket de contrôle, qui disparaît, puis sa
|
||||
socket UDP. À la suppression du subnet, l'agent retire aussi la socket, pour le cas où le
|
||||
processus serait mort sans nettoyer (``SIGKILL``, plantage).
|
||||
|
||||
Diagnostic : voir :doc:`diagnostic`, qui montre comment interroger la socket.
|
||||
|
||||
QEMU n'est pas une unit
|
||||
|
|
|
|||
|
|
@ -107,7 +107,14 @@ func (b Two) TeardownSubnet(s Subnet) error {
|
|||
}
|
||||
}
|
||||
|
||||
return statefile.Remove(b.statePath(s))
|
||||
return b.removeFiles(s)
|
||||
}
|
||||
|
||||
func (b Two) removeFiles(s Subnet) error {
|
||||
if err := statefile.Remove(b.statePath(s)); err != nil {
|
||||
return err
|
||||
}
|
||||
return statefile.Remove(dhcpapi.SocketPath(b.runDir(), s.Instance()))
|
||||
}
|
||||
|
||||
func (b Two) SetVM(s Subnet, vmName string, res []Reservation) error {
|
||||
|
|
|
|||
|
|
@ -252,3 +252,37 @@ func mustMAC(t *testing.T, s string) net.HardwareAddr {
|
|||
}
|
||||
return m
|
||||
}
|
||||
|
||||
func TestTwoRemoveFiles_RemovesTheStateAndASocketLeftByADeadServer(t *testing.T) {
|
||||
b := Two{RunDir: shortTempDir(t)}
|
||||
s := testSubnet(t)
|
||||
|
||||
state := dhcpapi.StatePath(b.RunDir, s.Instance())
|
||||
if err := os.WriteFile(state, []byte("{}"), 0o600); err != nil {
|
||||
t.Fatalf("WriteFile: %v", err)
|
||||
}
|
||||
socket := dhcpapi.SocketPath(b.RunDir, s.Instance())
|
||||
listener, err := net.Listen("unix", socket)
|
||||
if err != nil {
|
||||
t.Fatalf("Listen: %v", err)
|
||||
}
|
||||
listener.(*net.UnixListener).SetUnlinkOnClose(false)
|
||||
listener.Close()
|
||||
|
||||
if err := b.removeFiles(s); err != nil {
|
||||
t.Fatalf("removeFiles: %v", err)
|
||||
}
|
||||
for _, path := range []string{state, socket} {
|
||||
if _, err := os.Stat(path); !os.IsNotExist(err) {
|
||||
t.Errorf("%s still present (%v)", path, err)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestTwoRemoveFiles_OnAbsentFilesIsNotAnError(t *testing.T) {
|
||||
b := Two{RunDir: shortTempDir(t)}
|
||||
|
||||
if err := b.removeFiles(testSubnet(t)); err != nil {
|
||||
t.Errorf("removing absent files must be idempotent, got %v", err)
|
||||
}
|
||||
}
|
||||
|
|
|
|||
|
|
@ -101,6 +101,10 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
|
|||
valeurs par défaut sans le dire, ce qui rendait indétectable une simple tabulation d'indentation
|
||||
- `probe` annonce explicitement `"served": false` pour une MAC non réservée, au lieu d'omettre le
|
||||
champ et de le rendre indistinguable d'une réponse tronquée
|
||||
- **Le serveur DHCP intégré s'arrête proprement** sur `SIGTERM` et `SIGINT` : il ferme sa socket de
|
||||
contrôle et sa socket UDP avant de sortir. Il mourait jusque-là sans nettoyer, et laissait
|
||||
`/run/two/dhcp/<netns>_<bridge>.sock` après la suppression du subnet. L'agent supprime aussi
|
||||
cette socket avec le fichier d'état, ce qui couvre une mort brutale du processus (#77)
|
||||
|
||||
## Changements internes
|
||||
|
||||
|
|
|
|||
|
|
@ -33,7 +33,7 @@ host_state () {
|
|||
echo "## iptables"; iptables-save | grep -v '^#' | sed 's/ \[[0-9]*:[0-9]*\]$//'
|
||||
echo "## frr"; vtysh -c 'show running-config' | grep -v '^Building\|^Current configuration\|^!'
|
||||
echo "## frr.conf"; sha256sum /etc/frr/frr.conf | cut -d' ' -f1
|
||||
echo "## fichiers"; find /run/two /etc/dnsmasq.d "${VOLUMES}" -mindepth 1 ! -type d ! -path '/run/two/dhcp/*.sock' 2>/dev/null | sort
|
||||
echo "## fichiers"; find /run/two /etc/dnsmasq.d "${VOLUMES}" -mindepth 1 ! -type d 2>/dev/null | sort
|
||||
echo "## unités"; systemctl list-units --all --plain --no-legend 'two-vm-*' | awk '{print $1}'
|
||||
echo "## processus"; pgrep -a dnsmasq | cut -d' ' -f2- | sort; echo "qemu: $(pgrep -c qemu-system)"
|
||||
}
|
||||
|
|
|
|||
|
|
@ -15,7 +15,7 @@ check "${HOST} : aucune interface de subnet (v-*, vxlan-*)" none sh -c "ip -o li
|
|||
check "${HOST} : aucune VRF de VPC (vrf-*)" none sh -c "ip -o link show type vrf | awk -F': ' '{print \$2}' | grep '^vrf-'"
|
||||
check "${HOST} : aucune unité two-vm-*" none systemctl list-units --all --plain --no-legend 'two-vm-*'
|
||||
check "${HOST} : aucune instance DHCP (dhcp@, dnsmasq@) ni de métadonnées (metadata@) active" none sh -c "systemctl list-units --plain --no-legend 'dhcp@*' 'dnsmasq@*' 'metadata@*' | grep -w active"
|
||||
known "#77" "${HOST} : aucun socket de contrôle DHCP" none sh -c "ls /run/two/dhcp/*.sock 2>/dev/null"
|
||||
check "${HOST} : aucun socket de contrôle DHCP" none sh -c "ls /run/two/dhcp/*.sock 2>/dev/null"
|
||||
check "${HOST} : aucun processus QEMU" none pgrep -a qemu-system
|
||||
check "${HOST} : aucune règle ebtables qui vise une interface de subnet" none sh -c "{ ebtables -t filter -L; ebtables -t nat -L; } | grep -E -- '-(i|o) v-'"
|
||||
check "${HOST} : aucune règle iptables qui vise une interface de subnet ou de VPC" none sh -c "iptables-save | grep -E -- '(v-|vp-|tap)[a-z0-9]'"
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue