Merge branch 'feature-92'
All checks were successful
Documentation / publish (push) Successful in 1m42s
All checks were successful
Documentation / publish (push) Successful in 1m42s
This commit is contained in:
commit
9a61b3340a
10 changed files with 145 additions and 47 deletions
|
|
@ -37,6 +37,13 @@ Réseau
|
|||
gateway de l'hôte n'est pas sur le subnet, la route par défaut serait inutilisable, et jointe
|
||||
elle contournerait le netns et la VRF.
|
||||
* ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur.
|
||||
* **Tout travail dans un netns passe par ``netns.Call``.** ``setns`` ne change que le thread
|
||||
courant : ``netns.Call`` verrouille la goroutine sur son thread, revient ensuite au netns de ce
|
||||
thread (``/proc/thread-self``, jamais ``/proc/self``, qui désigne le thread principal) et
|
||||
détruit un thread qui ne peut pas y revenir (#91).
|
||||
* **Une socket appartient au netns du thread qui la crée** : un listener destiné à un VPC est
|
||||
créé dans ``netns.Call``, puis servi hors du netns. Après un ``setns`` suivi d'un
|
||||
déverrouillage du thread, rien ne garantit que la socket soit créée sur le bon thread (#92).
|
||||
|
||||
QEMU et VM
|
||||
----------
|
||||
|
|
|
|||
|
|
@ -47,7 +47,7 @@ Paquets
|
|||
* - ``internal/sysctl``
|
||||
- écriture sous ``/proc/sys``, dans un netns si besoin
|
||||
* - ``internal/netns``
|
||||
- network namespaces : create/enter/delete/call
|
||||
- network namespaces : create/delete/call
|
||||
* - ``internal/netif``
|
||||
- netlink : bridge, veth, vxlan, tap, routes, adresses
|
||||
* - ``internal/nft``, ``internal/iptables``
|
||||
|
|
|
|||
|
|
@ -23,7 +23,7 @@ s'excluent : celle qui tourne dépend de ``dhcp.backend`` (voir :doc:`configurat
|
|||
- serveur DHCP intégré, un par subnet — backend ``two``
|
||||
* - ``metadata@.service``
|
||||
- ``<nom de la VM>``
|
||||
- serveur de metadata cloud-init, un par VM
|
||||
- serveur de metadata cloud-init, un par VM, relancé en cas d'échec
|
||||
* - ``two-hostsvc.service``
|
||||
- —
|
||||
- relais DNS et NTP des VM, un par hyperviseur, démarré avant l'agent (voir
|
||||
|
|
|
|||
112
internal/metadata/listen_linux_test.go
Normal file
112
internal/metadata/listen_linux_test.go
Normal file
|
|
@ -0,0 +1,112 @@
|
|||
//go:build linux
|
||||
|
||||
package metadata
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"net"
|
||||
"os"
|
||||
"testing"
|
||||
|
||||
"git.g3e.fr/syonad/two/internal/netns"
|
||||
|
||||
"golang.org/x/sys/unix"
|
||||
)
|
||||
|
||||
type nsID struct{ dev, ino uint64 }
|
||||
|
||||
func statNS(t *testing.T, path string) nsID {
|
||||
t.Helper()
|
||||
var st unix.Stat_t
|
||||
if err := unix.Stat(path, &st); err != nil {
|
||||
t.Fatalf("stat %s : %v", path, err)
|
||||
}
|
||||
return nsID{uint64(st.Dev), st.Ino}
|
||||
}
|
||||
|
||||
func listenerNS(t *testing.T, ln net.Listener) nsID {
|
||||
t.Helper()
|
||||
tcp, ok := ln.(*net.TCPListener)
|
||||
if !ok {
|
||||
t.Fatalf("listener %T, *net.TCPListener attendu", ln)
|
||||
}
|
||||
raw, err := tcp.SyscallConn()
|
||||
if err != nil {
|
||||
t.Fatalf("SyscallConn : %v", err)
|
||||
}
|
||||
var id nsID
|
||||
var nsErr error
|
||||
if err := raw.Control(func(fd uintptr) {
|
||||
nsFD, err := unix.IoctlRetInt(int(fd), unix.SIOCGSKNS)
|
||||
if err != nil {
|
||||
nsErr = err
|
||||
return
|
||||
}
|
||||
defer unix.Close(nsFD)
|
||||
var st unix.Stat_t
|
||||
if nsErr = unix.Fstat(nsFD, &st); nsErr == nil {
|
||||
id = nsID{uint64(st.Dev), st.Ino}
|
||||
}
|
||||
}); err != nil {
|
||||
t.Fatalf("Control : %v", err)
|
||||
}
|
||||
if nsErr != nil {
|
||||
t.Fatalf("netns de la socket : %v", nsErr)
|
||||
}
|
||||
return id
|
||||
}
|
||||
|
||||
func TestListen_DansLeNetnsDuVPC(t *testing.T) {
|
||||
if os.Geteuid() != 0 {
|
||||
t.Skip("netns : root requis")
|
||||
}
|
||||
name := fmt.Sprintf("t92-vpc-%d", os.Getpid())
|
||||
if err := netns.Create(name); err != nil {
|
||||
t.Fatalf("création de %s : %v", name, err)
|
||||
}
|
||||
t.Cleanup(func() {
|
||||
if err := netns.Delete(name); err != nil {
|
||||
t.Errorf("suppression de %s : %v", name, err)
|
||||
}
|
||||
})
|
||||
|
||||
for i := 0; i < 50; i++ {
|
||||
ln, err := listen(name, ":0")
|
||||
if err != nil {
|
||||
t.Fatalf("listen : %v", err)
|
||||
}
|
||||
got := listenerNS(t, ln)
|
||||
ln.Close()
|
||||
if want := statNS(t, "/var/run/netns/"+name); got != want {
|
||||
t.Fatalf("essai %d : socket dans le netns %v, netns %s %v attendu", i, got, name, want)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestListen_SansNetnsDansLeNetnsCourant(t *testing.T) {
|
||||
if os.Geteuid() != 0 {
|
||||
t.Skip("netns : root requis")
|
||||
}
|
||||
ln, err := listen("", ":0")
|
||||
if err != nil {
|
||||
t.Fatalf("listen : %v", err)
|
||||
}
|
||||
defer ln.Close()
|
||||
if got, want := listenerNS(t, ln), statNS(t, "/proc/self/ns/net"); got != want {
|
||||
t.Errorf("socket dans le netns %v, netns du processus %v attendu", got, want)
|
||||
}
|
||||
}
|
||||
|
||||
func TestListen_NetnsAbsent(t *testing.T) {
|
||||
if os.Geteuid() != 0 {
|
||||
t.Skip("netns : root requis")
|
||||
}
|
||||
ln, err := listen(fmt.Sprintf("t92-absent-%d", os.Getpid()), ":0")
|
||||
if err == nil {
|
||||
ln.Close()
|
||||
t.Fatalf("listen sans netns : aucune erreur, échec attendu")
|
||||
}
|
||||
if !os.IsNotExist(err) {
|
||||
t.Errorf("listen : %v, netns absent attendu", err)
|
||||
}
|
||||
}
|
||||
|
|
@ -72,15 +72,27 @@ func rootHandler(w http.ResponseWriter, r *http.Request) {
|
|||
func StartServer(config ServerConfig) {
|
||||
data = getFromFiles(config)
|
||||
|
||||
if data.NetNs != "" {
|
||||
if err := netns.Enter(data.NetNs); err != nil {
|
||||
log.Fatalf("Impossible d'entrer dans le netns: %v", err)
|
||||
}
|
||||
address := fmt.Sprintf("%s:%d", data.Iface, data.Port)
|
||||
ln, err := listen(data.NetNs, address)
|
||||
if err != nil {
|
||||
log.Fatalf("Impossible d'écouter sur %s dans le netns %q: %v", address, data.NetNs, err)
|
||||
}
|
||||
|
||||
http.HandleFunc("/", rootHandler)
|
||||
|
||||
address := fmt.Sprintf("%s:%d", data.Iface, data.Port)
|
||||
log.Printf("Serveur NoCloud démarré sur http://%s/", address)
|
||||
log.Fatal(http.ListenAndServe(address, nil))
|
||||
log.Fatal(http.Serve(ln, nil))
|
||||
}
|
||||
|
||||
func listen(netNs, address string) (net.Listener, error) {
|
||||
if netNs == "" {
|
||||
return net.Listen("tcp", address)
|
||||
}
|
||||
var ln net.Listener
|
||||
err := netns.Call(netNs, func() error {
|
||||
var err error
|
||||
ln, err = net.Listen("tcp", address)
|
||||
return err
|
||||
})
|
||||
return ln, err
|
||||
}
|
||||
|
|
|
|||
|
|
@ -1,5 +0,0 @@
|
|||
package netns
|
||||
|
||||
func Enter(name string) error {
|
||||
return enter(name)
|
||||
}
|
||||
|
|
@ -1,26 +0,0 @@
|
|||
//go:build linux
|
||||
|
||||
package netns
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"os"
|
||||
"runtime"
|
||||
|
||||
"golang.org/x/sys/unix"
|
||||
)
|
||||
|
||||
func enter(name string) error {
|
||||
runtime.LockOSThread()
|
||||
defer runtime.UnlockOSThread()
|
||||
|
||||
path := fmt.Sprintf("/var/run/netns/%s", name)
|
||||
|
||||
f, err := os.Open(path)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
defer f.Close()
|
||||
|
||||
return unix.Setns(int(f.Fd()), unix.CLONE_NEWNET)
|
||||
}
|
||||
|
|
@ -1,8 +0,0 @@
|
|||
//go:build !linux
|
||||
|
||||
package netns
|
||||
|
||||
func enter(name string) error {
|
||||
// Ignoré hors Linux
|
||||
return nil
|
||||
}
|
||||
|
|
@ -87,6 +87,11 @@
|
|||
`delete vxlan: Link not found` et le watchdog a signalé `br-000000` et des VRF absents. L'agent
|
||||
revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est
|
||||
détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon
|
||||
- **Le serveur de métadonnées crée sa socket dans le netns du VPC (#92).** Il faisait entrer un
|
||||
seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant :
|
||||
sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le
|
||||
processus s'arrêtait. Jamais observé en lab. La socket est désormais créée dans le netns du VPC,
|
||||
et `metadata@.service` est relancé en cas d'échec (`Restart=on-failure`)
|
||||
|
||||
## Mise à jour depuis la 0.2.0
|
||||
|
||||
|
|
|
|||
|
|
@ -5,6 +5,7 @@ After=network.target
|
|||
[Service]
|
||||
Type=simple
|
||||
ExecStart=/opt/two/bin/metadata --vm %i
|
||||
Restart=on-failure
|
||||
|
||||
[Install]
|
||||
WantedBy=multi-user.target
|
||||
Loading…
Add table
Add a link
Reference in a new issue