f-92: metadata: socket créée dans le netns du VPC, Restart=on-failure #92
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
29a96409ed
commit
da4e0a194b
6 changed files with 131 additions and 45 deletions
112
internal/metadata/listen_linux_test.go
Normal file
112
internal/metadata/listen_linux_test.go
Normal file
|
|
@ -0,0 +1,112 @@
|
||||||
|
//go:build linux
|
||||||
|
|
||||||
|
package metadata
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
"net"
|
||||||
|
"os"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"git.g3e.fr/syonad/two/internal/netns"
|
||||||
|
|
||||||
|
"golang.org/x/sys/unix"
|
||||||
|
)
|
||||||
|
|
||||||
|
type nsID struct{ dev, ino uint64 }
|
||||||
|
|
||||||
|
func statNS(t *testing.T, path string) nsID {
|
||||||
|
t.Helper()
|
||||||
|
var st unix.Stat_t
|
||||||
|
if err := unix.Stat(path, &st); err != nil {
|
||||||
|
t.Fatalf("stat %s : %v", path, err)
|
||||||
|
}
|
||||||
|
return nsID{uint64(st.Dev), st.Ino}
|
||||||
|
}
|
||||||
|
|
||||||
|
func listenerNS(t *testing.T, ln net.Listener) nsID {
|
||||||
|
t.Helper()
|
||||||
|
tcp, ok := ln.(*net.TCPListener)
|
||||||
|
if !ok {
|
||||||
|
t.Fatalf("listener %T, *net.TCPListener attendu", ln)
|
||||||
|
}
|
||||||
|
raw, err := tcp.SyscallConn()
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("SyscallConn : %v", err)
|
||||||
|
}
|
||||||
|
var id nsID
|
||||||
|
var nsErr error
|
||||||
|
if err := raw.Control(func(fd uintptr) {
|
||||||
|
nsFD, err := unix.IoctlRetInt(int(fd), unix.SIOCGSKNS)
|
||||||
|
if err != nil {
|
||||||
|
nsErr = err
|
||||||
|
return
|
||||||
|
}
|
||||||
|
defer unix.Close(nsFD)
|
||||||
|
var st unix.Stat_t
|
||||||
|
if nsErr = unix.Fstat(nsFD, &st); nsErr == nil {
|
||||||
|
id = nsID{uint64(st.Dev), st.Ino}
|
||||||
|
}
|
||||||
|
}); err != nil {
|
||||||
|
t.Fatalf("Control : %v", err)
|
||||||
|
}
|
||||||
|
if nsErr != nil {
|
||||||
|
t.Fatalf("netns de la socket : %v", nsErr)
|
||||||
|
}
|
||||||
|
return id
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestListen_DansLeNetnsDuVPC(t *testing.T) {
|
||||||
|
if os.Geteuid() != 0 {
|
||||||
|
t.Skip("netns : root requis")
|
||||||
|
}
|
||||||
|
name := fmt.Sprintf("t92-vpc-%d", os.Getpid())
|
||||||
|
if err := netns.Create(name); err != nil {
|
||||||
|
t.Fatalf("création de %s : %v", name, err)
|
||||||
|
}
|
||||||
|
t.Cleanup(func() {
|
||||||
|
if err := netns.Delete(name); err != nil {
|
||||||
|
t.Errorf("suppression de %s : %v", name, err)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
|
||||||
|
for i := 0; i < 50; i++ {
|
||||||
|
ln, err := listen(name, ":0")
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("listen : %v", err)
|
||||||
|
}
|
||||||
|
got := listenerNS(t, ln)
|
||||||
|
ln.Close()
|
||||||
|
if want := statNS(t, "/var/run/netns/"+name); got != want {
|
||||||
|
t.Fatalf("essai %d : socket dans le netns %v, netns %s %v attendu", i, got, name, want)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestListen_SansNetnsDansLeNetnsCourant(t *testing.T) {
|
||||||
|
if os.Geteuid() != 0 {
|
||||||
|
t.Skip("netns : root requis")
|
||||||
|
}
|
||||||
|
ln, err := listen("", ":0")
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("listen : %v", err)
|
||||||
|
}
|
||||||
|
defer ln.Close()
|
||||||
|
if got, want := listenerNS(t, ln), statNS(t, "/proc/self/ns/net"); got != want {
|
||||||
|
t.Errorf("socket dans le netns %v, netns du processus %v attendu", got, want)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestListen_NetnsAbsent(t *testing.T) {
|
||||||
|
if os.Geteuid() != 0 {
|
||||||
|
t.Skip("netns : root requis")
|
||||||
|
}
|
||||||
|
ln, err := listen(fmt.Sprintf("t92-absent-%d", os.Getpid()), ":0")
|
||||||
|
if err == nil {
|
||||||
|
ln.Close()
|
||||||
|
t.Fatalf("listen sans netns : aucune erreur, échec attendu")
|
||||||
|
}
|
||||||
|
if !os.IsNotExist(err) {
|
||||||
|
t.Errorf("listen : %v, netns absent attendu", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
@ -72,15 +72,27 @@ func rootHandler(w http.ResponseWriter, r *http.Request) {
|
||||||
func StartServer(config ServerConfig) {
|
func StartServer(config ServerConfig) {
|
||||||
data = getFromFiles(config)
|
data = getFromFiles(config)
|
||||||
|
|
||||||
if data.NetNs != "" {
|
address := fmt.Sprintf("%s:%d", data.Iface, data.Port)
|
||||||
if err := netns.Enter(data.NetNs); err != nil {
|
ln, err := listen(data.NetNs, address)
|
||||||
log.Fatalf("Impossible d'entrer dans le netns: %v", err)
|
if err != nil {
|
||||||
}
|
log.Fatalf("Impossible d'écouter sur %s dans le netns %q: %v", address, data.NetNs, err)
|
||||||
}
|
}
|
||||||
|
|
||||||
http.HandleFunc("/", rootHandler)
|
http.HandleFunc("/", rootHandler)
|
||||||
|
|
||||||
address := fmt.Sprintf("%s:%d", data.Iface, data.Port)
|
|
||||||
log.Printf("Serveur NoCloud démarré sur http://%s/", address)
|
log.Printf("Serveur NoCloud démarré sur http://%s/", address)
|
||||||
log.Fatal(http.ListenAndServe(address, nil))
|
log.Fatal(http.Serve(ln, nil))
|
||||||
|
}
|
||||||
|
|
||||||
|
func listen(netNs, address string) (net.Listener, error) {
|
||||||
|
if netNs == "" {
|
||||||
|
return net.Listen("tcp", address)
|
||||||
|
}
|
||||||
|
var ln net.Listener
|
||||||
|
err := netns.Call(netNs, func() error {
|
||||||
|
var err error
|
||||||
|
ln, err = net.Listen("tcp", address)
|
||||||
|
return err
|
||||||
|
})
|
||||||
|
return ln, err
|
||||||
}
|
}
|
||||||
|
|
|
||||||
|
|
@ -1,5 +0,0 @@
|
||||||
package netns
|
|
||||||
|
|
||||||
func Enter(name string) error {
|
|
||||||
return enter(name)
|
|
||||||
}
|
|
||||||
|
|
@ -1,26 +0,0 @@
|
||||||
//go:build linux
|
|
||||||
|
|
||||||
package netns
|
|
||||||
|
|
||||||
import (
|
|
||||||
"fmt"
|
|
||||||
"os"
|
|
||||||
"runtime"
|
|
||||||
|
|
||||||
"golang.org/x/sys/unix"
|
|
||||||
)
|
|
||||||
|
|
||||||
func enter(name string) error {
|
|
||||||
runtime.LockOSThread()
|
|
||||||
defer runtime.UnlockOSThread()
|
|
||||||
|
|
||||||
path := fmt.Sprintf("/var/run/netns/%s", name)
|
|
||||||
|
|
||||||
f, err := os.Open(path)
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
defer f.Close()
|
|
||||||
|
|
||||||
return unix.Setns(int(f.Fd()), unix.CLONE_NEWNET)
|
|
||||||
}
|
|
||||||
|
|
@ -1,8 +0,0 @@
|
||||||
//go:build !linux
|
|
||||||
|
|
||||||
package netns
|
|
||||||
|
|
||||||
func enter(name string) error {
|
|
||||||
// Ignoré hors Linux
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
@ -5,6 +5,7 @@ After=network.target
|
||||||
[Service]
|
[Service]
|
||||||
Type=simple
|
Type=simple
|
||||||
ExecStart=/opt/two/bin/metadata --vm %i
|
ExecStart=/opt/two/bin/metadata --vm %i
|
||||||
|
Restart=on-failure
|
||||||
|
|
||||||
[Install]
|
[Install]
|
||||||
WantedBy=multi-user.target
|
WantedBy=multi-user.target
|
||||||
Loading…
Add table
Add a link
Reference in a new issue