netns.Call : retour au netns du thread principal, thread laissé dans un VPC #91

Closed
opened 2026-10-26 12:51:55 +00:00 by nicolas.boufideline · 2 comments

Constat (lab, campagne du 2026-10-26, arbre main + #86 + #76 + #87)

Test 32, nettoyage : la suppression de sn-t32c (VPC vp-t32r) passe en error.

12:36:52 ERROR command failed  dispatcher.DeleteSubnetCommand  error="delete vxlan: Link not found"
12:37:02 ERROR watchdog  bgp/vtep      vtep address unreadable on br-000000: Link not found
12:37:02 ERROR watchdog  public        br-public: no vxlan port
12:37:02 ERROR watchdog  vpc/vp-t32r   interface vrf-t32r / brl3-t32r / vxl3-t32r / l3-t32r-o not found

Toutes ces interfaces existent pourtant dans le netns racine (vxlan-3211 compris, relevé après coup). Les deux opérations se sont exécutées sur un thread resté dans le netns d'un VPC. Le symptôme n'apparaît qu'à cet instant dans tout le journal de l'agent.

Cause probable

internal/netns/call_linux.go lit le netns d'origine dans /proc/self/ns/net. Ce chemin donne le netns du thread principal du processus (/proc/self = /proc/<tgid>), pas celui du thread courant ; create_linux.go le signale déjà en commentaire et passe par /proc/self/task/<tid>.

Si le thread principal est au même moment dans un netns pour une autre goroutine (dispatcher et watchdog tournent en parallèle), orig désigne ce netns. Le « retour » laisse alors le thread courant dans un VPC, puis UnlockOSThread le rend au pool. La goroutine suivante qui l'obtient travaille dans le mauvais netns.

Le défaut existe sur main. Hypothèse non mesurée : #76 élargit la fenêtre (nft lancé dans netns.Call dure des millisecondes, contre des microsecondes en netlink).

Correctif proposé

  • call (et les autres fonctions du paquet qui sauvegardent le netns) lit /proc/thread-self/ns/net après runtime.LockOSThread().
  • Si le retour au netns d'origine échoue, ne pas appeler UnlockOSThread : Go détruit alors le thread au lieu de le réutiliser.
  • Test : reproduire la course (appels concurrents de netns.Call vers deux netns, vérification du netns du thread après chaque appel) avant le correctif, puis la voir disparaître.
  • Lab : test 32 vert, aucun « Link not found » sur une interface du netns racine dans le journal du watchdog.

Point voisin à trancher

netns.Enter (enter_linux.go) fait Setns puis UnlockOSThread : seul ce thread change de netns, et il est rendu au pool. Son seul appelant est metadata.StartServer (binaire metadata, un processus par netns). Rien ne garantit que ListenAndServe crée la socket sur ce thread. Ça fonctionne aujourd'hui (tests 23 verts), mais c'est le même défaut en sens inverse. Piste : garder le thread verrouillé jusqu'à la création de la socket, ou ouvrir le listener dans netns.Call.

## Constat (lab, campagne du 2026-10-26, arbre main + #86 + #76 + #87) Test 32, nettoyage : la suppression de `sn-t32c` (VPC `vp-t32r`) passe en `error`. ``` 12:36:52 ERROR command failed dispatcher.DeleteSubnetCommand error="delete vxlan: Link not found" 12:37:02 ERROR watchdog bgp/vtep vtep address unreadable on br-000000: Link not found 12:37:02 ERROR watchdog public br-public: no vxlan port 12:37:02 ERROR watchdog vpc/vp-t32r interface vrf-t32r / brl3-t32r / vxl3-t32r / l3-t32r-o not found ``` Toutes ces interfaces existent pourtant dans le netns racine (`vxlan-3211` compris, relevé après coup). Les deux opérations se sont exécutées sur un thread resté dans le netns d'un VPC. Le symptôme n'apparaît qu'à cet instant dans tout le journal de l'agent. ## Cause probable `internal/netns/call_linux.go` lit le netns d'origine dans `/proc/self/ns/net`. Ce chemin donne le netns du **thread principal** du processus (`/proc/self` = `/proc/<tgid>`), pas celui du thread courant ; `create_linux.go` le signale déjà en commentaire et passe par `/proc/self/task/<tid>`. Si le thread principal est au même moment dans un netns pour une autre goroutine (dispatcher et watchdog tournent en parallèle), `orig` désigne ce netns. Le « retour » laisse alors le thread courant dans un VPC, puis `UnlockOSThread` le rend au pool. La goroutine suivante qui l'obtient travaille dans le mauvais netns. Le défaut existe sur main. Hypothèse non mesurée : #76 élargit la fenêtre (`nft` lancé dans `netns.Call` dure des millisecondes, contre des microsecondes en netlink). ## Correctif proposé - `call` (et les autres fonctions du paquet qui sauvegardent le netns) lit `/proc/thread-self/ns/net` après `runtime.LockOSThread()`. - Si le retour au netns d'origine échoue, ne pas appeler `UnlockOSThread` : Go détruit alors le thread au lieu de le réutiliser. - Test : reproduire la course (appels concurrents de `netns.Call` vers deux netns, vérification du netns du thread après chaque appel) avant le correctif, puis la voir disparaître. - Lab : test 32 vert, aucun « Link not found » sur une interface du netns racine dans le journal du watchdog. ## Point voisin à trancher `netns.Enter` (`enter_linux.go`) fait `Setns` puis `UnlockOSThread` : seul ce thread change de netns, et il est rendu au pool. Son seul appelant est `metadata.StartServer` (binaire `metadata`, un processus par netns). Rien ne garantit que `ListenAndServe` crée la socket sur ce thread. Ça fonctionne aujourd'hui (tests 23 verts), mais c'est le même défaut en sens inverse. Piste : garder le thread verrouillé jusqu'à la création de la socket, ou ouvrir le listener dans `netns.Call`.
Author
Owner

Correctif : feature-91 (7b6b454)

  • onThread (internal/netns/thread_linux.go) : seul point qui verrouille le thread. Le netns d'origine est lu dans /proc/thread-self/ns/net. Le retour à ce netns est toujours fait, même si l'entrée ou fn échoue. Le thread n'est déverrouillé qu'après un retour réussi ; sinon, Go le détruit au lieu de le réutiliser.
  • call et create passent par onThread. Cela corrige aussi create : un échec du montage après Unshare laissait le thread dans le nouveau netns.
  • netns.Enter (binaire metadata) n'est pas modifié ; ce point sera traité à part.

Tests (thread_linux_test.go, root requis)

Le thread principal est placé dans un autre netns pendant un Call ou un Create : c'est une reproduction déterministe de la course.

  • Code de main : 3 tests sur 4 en échec à chaque passage (« thread laissé dans le netns … »).
  • Correctif : 4 tests sur 4 réussis, 20 fois de suite, dans un conteneur Debian 12 privilégié.

Lab (2026-10-26, main + #86 + #76 + #87 + #91)

  • Suite complète verte : 31 tests sur 31, dont le 32 (27 réussis, 0 échec) et le 62 (54 réussis, 0 échec). Avant le correctif, ces deux tests avaient respectivement 2 et 8 échecs.
  • Aucun br-000000: Link not found ni delete vxlan: Link not found dans les journaux d'agent de hv1, hv2 et hv3.
  • La course est intermittente : le test unitaire reste la preuve principale.
## Correctif : `feature-91` (`7b6b454`) - `onThread` (`internal/netns/thread_linux.go`) : seul point qui verrouille le thread. Le netns d'origine est lu dans `/proc/thread-self/ns/net`. Le retour à ce netns est toujours fait, même si l'entrée ou `fn` échoue. Le thread n'est déverrouillé qu'après un retour réussi ; sinon, Go le détruit au lieu de le réutiliser. - `call` et `create` passent par `onThread`. Cela corrige aussi `create` : un échec du montage après `Unshare` laissait le thread dans le nouveau netns. - `netns.Enter` (binaire metadata) n'est pas modifié ; ce point sera traité à part. ## Tests (`thread_linux_test.go`, root requis) Le thread principal est placé dans un autre netns pendant un `Call` ou un `Create` : c'est une reproduction déterministe de la course. - Code de main : 3 tests sur 4 en échec à chaque passage (« thread laissé dans le netns … »). - Correctif : 4 tests sur 4 réussis, 20 fois de suite, dans un conteneur Debian 12 privilégié. ## Lab (2026-10-26, main + #86 + #76 + #87 + #91) - Suite complète verte : 31 tests sur 31, dont le 32 (27 réussis, 0 échec) et le 62 (54 réussis, 0 échec). Avant le correctif, ces deux tests avaient respectivement 2 et 8 échecs. - Aucun `br-000000: Link not found` ni `delete vxlan: Link not found` dans les journaux d'agent de hv1, hv2 et hv3. - La course est intermittente : le test unitaire reste la preuve principale.
Author
Owner

Fusionné dans main (7c94e6f, 175d6bb). Résultats dans le commentaire précédent.

Fusionné dans main (`7c94e6f`, `175d6bb`). Résultats dans le commentaire précédent.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#91
No description provided.