metadata : socket créée hors du netns du VPC possible (netns.Enter), unité sans Restart #92

Closed
opened 2026-10-26 22:40:40 +00:00 by nicolas.boufideline · 2 comments

Constat

Défaut latent, jamais observé au lab (test 23 toujours vert), relevé en traitant #91.

netns.Enter (internal/netns/enter_linux.go) :

runtime.LockOSThread()
defer runtime.UnlockOSThread()
...
return unix.Setns(fd, unix.CLONE_NEWNET)

Setns ne change le netns que du thread courant ; la goroutine est ensuite détachée de ce thread. Son seul appelant, metadata.StartServer (binaire metadata, un processus par VM via metadata@<vm>.service), crée ensuite sa socket :

netns.Enter(data.NetNs)
http.HandleFunc(...)
log.Printf(...)
log.Fatal(http.ListenAndServe(address, nil))

Une socket appartient au netns du thread qui la crée. Rien ne garantit que ListenAndServe s'exécute sur le thread entré dans le VPC : après une préemption ou un changement de thread, la socket est créée dans le netns racine, le bind sur l'adresse de métadonnées échoue et log.Fatal arrête le processus. L'unité n'ayant pas de Restart=, le service reste arrêté et la VM n'a plus de métadonnées. Le processus est en outre à moitié dans le VPC : un thread y est entré, les autres non.

Correctif proposé

  • Créer le listener dans netns.Call (fiable depuis #91), puis servir hors du netns : la socket est liée au VPC dès sa création, et les connexions acceptées restent dans le netns du listener.

    var ln net.Listener
    err := netns.Call(data.NetNs, func() (err error) { ln, err = net.Listen("tcp", address); return })
    ...
    log.Fatal(http.Serve(ln, nil))
    
  • Supprimer netns.Enter (enter*.go), qui n'a plus d'appelant.

  • metadata@.service : Restart=on-failure, comme two-hostsvc.service. Un arrêt par l'agent (systemctl stop) ne relance pas l'unité.

  • Test (root) : le listener est bien dans le netns visé, y compris quand le thread principal est dans un autre netns.

  • Lab : test 23 vert.

## Constat Défaut latent, jamais observé au lab (test 23 toujours vert), relevé en traitant #91. `netns.Enter` (`internal/netns/enter_linux.go`) : ```go runtime.LockOSThread() defer runtime.UnlockOSThread() ... return unix.Setns(fd, unix.CLONE_NEWNET) ``` `Setns` ne change le netns que du thread courant ; la goroutine est ensuite détachée de ce thread. Son seul appelant, `metadata.StartServer` (binaire `metadata`, un processus par VM via `metadata@<vm>.service`), crée ensuite sa socket : ```go netns.Enter(data.NetNs) http.HandleFunc(...) log.Printf(...) log.Fatal(http.ListenAndServe(address, nil)) ``` Une socket appartient au netns du thread qui la crée. Rien ne garantit que `ListenAndServe` s'exécute sur le thread entré dans le VPC : après une préemption ou un changement de thread, la socket est créée dans le netns racine, le `bind` sur l'adresse de métadonnées échoue et `log.Fatal` arrête le processus. L'unité n'ayant pas de `Restart=`, le service reste arrêté et la VM n'a plus de métadonnées. Le processus est en outre à moitié dans le VPC : un thread y est entré, les autres non. ## Correctif proposé - Créer le listener dans `netns.Call` (fiable depuis #91), puis servir hors du netns : la socket est liée au VPC dès sa création, et les connexions acceptées restent dans le netns du listener. ```go var ln net.Listener err := netns.Call(data.NetNs, func() (err error) { ln, err = net.Listen("tcp", address); return }) ... log.Fatal(http.Serve(ln, nil)) ``` - Supprimer `netns.Enter` (`enter*.go`), qui n'a plus d'appelant. - `metadata@.service` : `Restart=on-failure`, comme `two-hostsvc.service`. Un arrêt par l'agent (`systemctl stop`) ne relance pas l'unité. - Test (root) : le listener est bien dans le netns visé, y compris quand le thread principal est dans un autre netns. - Lab : test 23 vert.
Author
Owner

Correctif : feature-92 (da4e0a1, 497f13f)

  • metadata.listen crée le listener dans netns.Call, puis http.Serve sert hors du netns.
  • netns.Enter (enter*.go) est supprimé : il n'avait plus d'appelant.
  • metadata@.service : Restart=on-failure.
  • Doc : contraintes.rst (deux pièges : netns.Call et le netns d'une socket), vue-densemble.rst, services.rst, notes 0.3.0.

Tests (internal/metadata/listen_linux_test.go, root requis)

Le netns réel de la socket est lu avec l'ioctl SIOCGSKNS.

  • Socket dans le netns du VPC (50 essais par passage), dans le netns courant sans VPC, erreur si le netns est absent : 10 passages sur 10 réussis dans un conteneur Debian 12 privilégié.
  • Mutation : une version de listen qui ignore le netns fait échouer 2 tests sur 3. Les tests détectent donc une socket créée hors du VPC ; ils ne reproduisent pas la course de l'ancien code, quasi impossible à provoquer.
  • go test ./..., go vet (y compris pour Linux) et sphinx-build -W passent.

Pas de campagne de lab dédiée : le changement est local. Le test 23 le couvrira à la prochaine campagne.

## Correctif : `feature-92` (`da4e0a1`, `497f13f`) - `metadata.listen` crée le listener dans `netns.Call`, puis `http.Serve` sert hors du netns. - `netns.Enter` (`enter*.go`) est supprimé : il n'avait plus d'appelant. - `metadata@.service` : `Restart=on-failure`. - Doc : `contraintes.rst` (deux pièges : `netns.Call` et le netns d'une socket), `vue-densemble.rst`, `services.rst`, notes 0.3.0. ## Tests (`internal/metadata/listen_linux_test.go`, root requis) Le netns réel de la socket est lu avec l'ioctl `SIOCGSKNS`. - Socket dans le netns du VPC (50 essais par passage), dans le netns courant sans VPC, erreur si le netns est absent : 10 passages sur 10 réussis dans un conteneur Debian 12 privilégié. - Mutation : une version de `listen` qui ignore le netns fait échouer 2 tests sur 3. Les tests détectent donc une socket créée hors du VPC ; ils ne reproduisent pas la course de l'ancien code, quasi impossible à provoquer. - `go test ./...`, `go vet` (y compris pour Linux) et `sphinx-build -W` passent. Pas de campagne de lab dédiée : le changement est local. Le test 23 le couvrira à la prochaine campagne.
Author
Owner

Fusionné dans main (da4e0a1, 497f13f). Résultats dans le commentaire précédent ; le test 23 le couvrira à la prochaine campagne de lab.

Fusionné dans main (`da4e0a1`, `497f13f`). Résultats dans le commentaire précédent ; le test 23 le couvrira à la prochaine campagne de lab.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#92
No description provided.