DNS et NTP des VM : relais par hôte, une socket dans chaque netns de VPC #86

Closed
opened 2026-10-24 23:46:22 +00:00 by nicolas.boufideline · 3 comments

Constat

Le DHCP annonce 1.1.1.1 et 8.8.8.8 en dur comme serveurs DNS (internal/dhcpd/dhcpd.go:10, internal/dhcp/generate.go:33), et aucun serveur NTP. Une VM sans sortie Internet (#42) ne joint ni l'un ni l'autre.

Décision (2026-10-25)

  • Un relais par hôte, un seul processus. Il ouvre une socket d'écoute DNS (UDP et TCP 53) et NTP (UDP 123) dans chaque netns de VPC présent sur l'hôte : une socket reste attachée au netns où elle a été créée. Aucune route entre la VRF et l'hôte, le relais est le seul passage et ne laisse passer que ces deux protocoles.
  • Adresse annoncée aux VM : celle sur laquelle écoute le serveur DHCP du subnet, interface_ip (options DHCP 6 et 42) : fournie par l'appelant en bridge et public_ip, déduite par l'agent en vxlan. Elle ne dépend pas de la route par défaut (default_route, gateway), qui peut pointer vers un routeur ne servant ni DNS ni NTP (routeur du segment en bridge, gateway anycast des bordures sur un subnet public). En vxlan, elle est anycast : toujours servie par l'hôte de la VM, même après une migration, sans route supplémentaire.
  • Relais vers les serveurs amont déclarés dans agent.yml, puis, en secours, le résolveur et l'horloge de l'hôte.
  • Écartés : un serveur par VPC global (placement et suivi à tenir), un serveur par VPC et par hôte (un processus par netns), un serveur de l'hôte joint par fuite de routes (#42, risque de passage entre locataires).
  • Les autres services (journalisation, supervision, sauvegarde) sont à la charge du locataire. Si two en fournit un jour, ce sera par ce même relais.

À concevoir

  • Le processus du relais et son cycle de vie : service à part, comme dhcp@ et metadata@ ; l'agent ouvre et ferme les sockets à la création et à la suppression d'un VPC sur l'hôte ; reprise au démarrage.
  • Une même socket par netns pour tous les subnets du VPC, ou une socket par interface_ip.
  • NTP : relais vers chrony (tous les VPC vus comme 127.0.0.1) ou réponse SNTP depuis l'horloge de l'hôte.
  • Les deux backends DHCP (le serveur intégré et dnsmasq jusqu'à #49), et le watchdog.

Analyse de risque

  • Le relais est partagé entre locataires : il faut une limite de débit par VPC.
  • Pas d'enregistrement propre à un locataire dans un cache partagé.
  • Aucune route entre la VRF et l'hôte : un défaut du relais ne peut pas ouvrir de chemin réseau entre VPC.
## Constat Le DHCP annonce `1.1.1.1` et `8.8.8.8` en dur comme serveurs DNS (`internal/dhcpd/dhcpd.go:10`, `internal/dhcp/generate.go:33`), et aucun serveur NTP. Une VM sans sortie Internet (#42) ne joint ni l'un ni l'autre. ## Décision (2026-10-25) - **Un relais par hôte**, un seul processus. Il ouvre une socket d'écoute DNS (UDP et TCP 53) et NTP (UDP 123) **dans chaque netns de VPC présent sur l'hôte** : une socket reste attachée au netns où elle a été créée. Aucune route entre la VRF et l'hôte, le relais est le seul passage et ne laisse passer que ces deux protocoles. - **Adresse annoncée aux VM : celle sur laquelle écoute le serveur DHCP du subnet**, `interface_ip` (options DHCP 6 et 42) : fournie par l'appelant en `bridge` et `public_ip`, déduite par l'agent en `vxlan`. Elle ne dépend pas de la route par défaut (`default_route`, `gateway`), qui peut pointer vers un routeur ne servant ni DNS ni NTP (routeur du segment en `bridge`, gateway anycast des bordures sur un subnet public). En `vxlan`, elle est anycast : toujours servie par l'hôte de la VM, même après une migration, sans route supplémentaire. - **Relais vers** les serveurs amont déclarés dans `agent.yml`, puis, en secours, le résolveur et l'horloge de l'hôte. - Écartés : un serveur par VPC global (placement et suivi à tenir), un serveur par VPC et par hôte (un processus par netns), un serveur de l'hôte joint par fuite de routes (#42, risque de passage entre locataires). - Les autres services (journalisation, supervision, sauvegarde) sont à la charge du locataire. Si two en fournit un jour, ce sera par ce même relais. ## À concevoir - Le processus du relais et son cycle de vie : service à part, comme `dhcp@` et `metadata@` ; l'agent ouvre et ferme les sockets à la création et à la suppression d'un VPC sur l'hôte ; reprise au démarrage. - Une même socket par netns pour tous les subnets du VPC, ou une socket par `interface_ip`. - NTP : relais vers chrony (tous les VPC vus comme `127.0.0.1`) ou réponse SNTP depuis l'horloge de l'hôte. - Les deux backends DHCP (le serveur intégré et dnsmasq jusqu'à #49), et le watchdog. ## Analyse de risque - Le relais est partagé entre locataires : il faut une limite de débit par VPC. - Pas d'enregistrement propre à un locataire dans un cache partagé. - Aucune route entre la VRF et l'hôte : un défaut du relais ne peut pas ouvrir de chemin réseau entre VPC.
Author
Owner

Plan (2026-10-25)

Principe

  • Dans l'espace réseau de chaque VPC présent sur l'hôte, une interface dummy porte 169.254.169.253/32. L'adresse est libre : le projet n'utilise que 169.254.0.1-2/30 (lien vers la VRF de l'hôte) et 169.254.169.254 (métadonnées).
  • Une règle de DNAT par VPC, posée avec internal/iptables à côté de celle des métadonnées, redirige vers 169.254.169.253 le trafic à destination des adresses locales de l'espace réseau (addrtype LOCAL, c'est-à-dire toutes les gateways, y compris l'anycast sur gw-<id>) sur les ports 53 UDP et TCP et 123 UDP. Elle exclut ce qui arrive par l3-<id>-i (le lien vers la VRF de l'hôte) : seules les VM du VPC atteignent le service, pas le trafic routé depuis le fabric. Elle passera en nftables avec #90.
  • Un processus unique par hôte, two-hostsvc, écoute sur 169.254.169.253 dans chaque espace réseau de VPC : 53 UDP et TCP, 123 UDP. Une socket reste attachée à l'espace réseau où elle a été créée.
  • Le DHCP annonce interface_ip (options 6 et 42), comme décidé. Le DNAT fait le reste ; conntrack réécrit la réponse avec l'adresse de la gateway.

two-hostsvc

  • cmd/two-hostsvc, unité two-hostsvc.service (une seule instance par hôte).
  • Socket de contrôle Unix, JSON ligne à ligne, sur le modèle du serveur DHCP intégré (internal/api/dhcp) ; verbes open <vpc>, close <vpc>, list.
  • Pour ouvrir les sockets d'un VPC, le processus entre dans l'espace réseau le temps de l'ouverture (thread verrouillé, setns), puis en ressort.
  • Fichier d'état sous /run/two/hostsvc/ : après un redémarrage, le processus rouvre seul les sockets des VPC dont l'espace réseau existe encore.
  • DNS : transmission telle quelle aux serveurs amont de agent.yml, à défaut au résolveur de l'hôte (/etc/resolv.conf). Vérification de l'en-tête seulement, pas de cache (donc pas d'enregistrement de locataire dans un cache partagé), pas de nouvelle dépendance.
  • NTP : relais vers les serveurs NTP amont de agent.yml, à défaut réponse SNTP depuis l'horloge de l'hôte ; indicateur d'alarme (LI = 3) si l'hôte n'est pas synchronisé (adjtimex), pour que les clients ignorent la réponse.
  • Limite de débit par socket, donc par VPC (seau à jetons).

Agent

  • Configuration : section hostsvc dans agent.yml, dns_upstream et ntp_upstream (liste vide = l'hôte), rate_limit_per_vpc.
  • Création du VPC sur l'hôte : dummy et adresse, règle de DNAT, puis open. Suppression : close, règle, dummy.
  • DHCP : options 6 et 42 = interface_ip, dans les deux backends (internal/dhcpd, internal/dhcp pour dnsmasq) ; fin des 1.1.1.1, 8.8.8.8 en dur.
  • Watchdog (signale, ne répare pas, comme #75) : two-hostsvc qui ne répond pas, et pour chaque VPC présent sur l'hôte, dummy, règle de DNAT ou socket manquante.

Étapes (un commit chacune, tests verts à chaque fois)

  1. two-hostsvc : DNS, NTP/SNTP, limite de débit, fichier d'état, socket de contrôle ; tests unitaires et fuzz des en-têtes DNS et NTP.
  2. Agent : configuration, client de contrôle, dummy + DNAT + open/close dans le cycle de vie du VPC, options DHCP 6 et 42, watchdog.
  3. deploy.sh, unité systemd, provision du lab.
  4. e2e 24-dns-ntp, en vxlan et en bridge : une VM résout un nom et lit l'heure via interface_ip ; contrôle négatif (aucun autre port de 169.254.169.253 joignable, ni depuis une VM, ni depuis le fabric) ; alerte du watchdog si un élément manque ; assert_clean vert.
  5. Doc et notes 0.3.0 (mise à jour : les VPC et subnets existants n'ont ni dummy ni DNAT, et gardent 1.1.1.1 ; reprise à préciser).

Validation dans la même campagne de lab que #76 et la suite de #87.

Analyse de risque

  • Surface : two-hostsvc est le seul processus présent dans tous les VPC. Il tourne en root avec CAP_SYS_ADMIN pour setns ; l'unité systemd retire le reste des capacités. Ses entrées sont du trafic de locataires : tests fuzz.
  • Isolation : aucune route entre la VRF et l'hôte, écoute sur une adresse link-local seulement, réponse vers l'adresse d'origine seulement ; la règle de DNAT exclut le lien vers la VRF.
  • Abus : amplification vers les serveurs amont et voisin bruyant couverts par la limite par VPC.
  • Disponibilité : si two-hostsvc tombe, DNS et NTP tombent pour tous les VPC de l'hôte ; redémarrage par systemd et fichier d'état.
## Plan (2026-10-25) ### Principe - Dans l'espace réseau de chaque VPC présent sur l'hôte, une interface `dummy` porte **`169.254.169.253/32`**. L'adresse est libre : le projet n'utilise que `169.254.0.1-2/30` (lien vers la VRF de l'hôte) et `169.254.169.254` (métadonnées). - **Une règle de DNAT par VPC**, posée avec `internal/iptables` à côté de celle des métadonnées, redirige vers `169.254.169.253` le trafic **à destination des adresses locales** de l'espace réseau (`addrtype LOCAL`, c'est-à-dire toutes les gateways, y compris l'anycast sur `gw-<id>`) sur les ports 53 UDP et TCP et 123 UDP. Elle **exclut ce qui arrive par `l3-<id>-i`** (le lien vers la VRF de l'hôte) : seules les VM du VPC atteignent le service, pas le trafic routé depuis le fabric. Elle passera en nftables avec #90. - Un **processus unique par hôte, `two-hostsvc`**, écoute sur `169.254.169.253` dans chaque espace réseau de VPC : 53 UDP et TCP, 123 UDP. Une socket reste attachée à l'espace réseau où elle a été créée. - Le DHCP annonce **`interface_ip`** (options 6 et 42), comme décidé. Le DNAT fait le reste ; conntrack réécrit la réponse avec l'adresse de la gateway. ### `two-hostsvc` - `cmd/two-hostsvc`, unité `two-hostsvc.service` (une seule instance par hôte). - Socket de contrôle Unix, JSON ligne à ligne, sur le modèle du serveur DHCP intégré (`internal/api/dhcp`) ; verbes `open <vpc>`, `close <vpc>`, `list`. - Pour ouvrir les sockets d'un VPC, le processus entre dans l'espace réseau le temps de l'ouverture (thread verrouillé, `setns`), puis en ressort. - Fichier d'état sous `/run/two/hostsvc/` : après un redémarrage, le processus rouvre seul les sockets des VPC dont l'espace réseau existe encore. - **DNS** : transmission telle quelle aux serveurs amont de `agent.yml`, à défaut au résolveur de l'hôte (`/etc/resolv.conf`). Vérification de l'en-tête seulement, pas de cache (donc pas d'enregistrement de locataire dans un cache partagé), pas de nouvelle dépendance. - **NTP** : relais vers les serveurs NTP amont de `agent.yml`, à défaut réponse SNTP depuis l'horloge de l'hôte ; indicateur d'alarme (LI = 3) si l'hôte n'est pas synchronisé (`adjtimex`), pour que les clients ignorent la réponse. - **Limite de débit par socket**, donc par VPC (seau à jetons). ### Agent - Configuration : section `hostsvc` dans `agent.yml`, `dns_upstream` et `ntp_upstream` (liste vide = l'hôte), `rate_limit_per_vpc`. - Création du VPC sur l'hôte : `dummy` et adresse, règle de DNAT, puis `open`. Suppression : `close`, règle, `dummy`. - DHCP : options 6 et 42 = `interface_ip`, dans les deux backends (`internal/dhcpd`, `internal/dhcp` pour dnsmasq) ; fin des `1.1.1.1, 8.8.8.8` en dur. - Watchdog (signale, ne répare pas, comme #75) : `two-hostsvc` qui ne répond pas, et pour chaque VPC présent sur l'hôte, `dummy`, règle de DNAT ou socket manquante. ### Étapes (un commit chacune, tests verts à chaque fois) 1. `two-hostsvc` : DNS, NTP/SNTP, limite de débit, fichier d'état, socket de contrôle ; tests unitaires et fuzz des en-têtes DNS et NTP. 2. Agent : configuration, client de contrôle, `dummy` + DNAT + `open`/`close` dans le cycle de vie du VPC, options DHCP 6 et 42, watchdog. 3. `deploy.sh`, unité systemd, provision du lab. 4. e2e `24-dns-ntp`, en `vxlan` et en `bridge` : une VM résout un nom et lit l'heure via `interface_ip` ; contrôle négatif (aucun autre port de `169.254.169.253` joignable, ni depuis une VM, ni depuis le fabric) ; alerte du watchdog si un élément manque ; `assert_clean` vert. 5. Doc et notes 0.3.0 (mise à jour : les VPC et subnets existants n'ont ni `dummy` ni DNAT, et gardent `1.1.1.1` ; reprise à préciser). Validation dans la même campagne de lab que #76 et la suite de #87. ### Analyse de risque - **Surface** : `two-hostsvc` est le seul processus présent dans tous les VPC. Il tourne en root avec `CAP_SYS_ADMIN` pour `setns` ; l'unité systemd retire le reste des capacités. Ses entrées sont du trafic de locataires : tests fuzz. - **Isolation** : aucune route entre la VRF et l'hôte, écoute sur une adresse link-local seulement, réponse vers l'adresse d'origine seulement ; la règle de DNAT exclut le lien vers la VRF. - **Abus** : amplification vers les serveurs amont et voisin bruyant couverts par la limite par VPC. - **Disponibilité** : si `two-hostsvc` tombe, DNS et NTP tombent pour tous les VPC de l'hôte ; redémarrage par systemd et fichier d'état.
Author
Owner

Avancement et décisions (2026-10-25)

Branche feature-86 (non poussée) :

  • aa1cc58 — two-hostsvc : relais DNS (UDP et TCP) et NTP, socket de contrôle (open, close, list), fichier d'état, configuration hostsvc.
  • 27dda54 — agent : dummy hostsvc en 169.254.169.253/32 et redirection dans l'espace réseau du VPC, open/close dans le cycle de vie du VPC, options DHCP 6 et 42 = interface_ip dans les deux backends, watchdog.

Deux écarts au plan, validés :

  • La redirection exclut aussi br-public, pas seulement le lien vers la VRF (l3-+). L'espace réseau du VPC contient un bridge br-public relié à celui de l'hôte (vp-<id>-i) : son trafic ne doit pas atteindre le relais. Forme retenue : une chaîne TWO-HOSTSVC par VPC, appelée depuis PREROUTING pour les destinations locales (addrtype LOCAL), qui renvoie (RETURN) ce qui arrive par br-public et l3-+, puis redirige 53 UDP et TCP et 123 UDP.
  • Si two-hostsvc ne répond pas, la création du VPC échoue (error) plutôt que de créer un VPC sans DNS ni NTP. La suppression échoue de même si le close échoue ; elle se relance depuis error. Conséquence : two-hostsvc doit tourner sur tout hyperviseur avant la création d'un VPC.

Vérifié hors lab, dans un conteneur Debian 12 privilégié (iptables 1.8.9 nf_tables) avec le code de l'agent : DNS UDP et TCP et NTP depuis une VM via sa gateway, port 5353 non redirigé, détection par le watchdog d'une règle ou d'une adresse retirée. La règle d'exclusion de br-public s'applique (compteur), sans démonstration de fuite en son absence dans cette topologie.

Reste : étape 3 (deploy.sh, unité systemd, provision du lab), e2e 24-dns-ntp, doc et notes 0.3.0, puis lab avec #76 et la suite de #87.

## Avancement et décisions (2026-10-25) Branche `feature-86` (non poussée) : - `aa1cc58` — `two-hostsvc` : relais DNS (UDP et TCP) et NTP, socket de contrôle (`open`, `close`, `list`), fichier d'état, configuration `hostsvc`. - `27dda54` — agent : `dummy` `hostsvc` en `169.254.169.253/32` et redirection dans l'espace réseau du VPC, `open`/`close` dans le cycle de vie du VPC, options DHCP 6 et 42 = `interface_ip` dans les deux backends, watchdog. Deux écarts au plan, validés : - **La redirection exclut aussi `br-public`**, pas seulement le lien vers la VRF (`l3-+`). L'espace réseau du VPC contient un bridge `br-public` relié à celui de l'hôte (`vp-<id>-i`) : son trafic ne doit pas atteindre le relais. Forme retenue : une chaîne `TWO-HOSTSVC` par VPC, appelée depuis `PREROUTING` pour les destinations locales (`addrtype LOCAL`), qui renvoie (RETURN) ce qui arrive par `br-public` et `l3-+`, puis redirige 53 UDP et TCP et 123 UDP. - **Si `two-hostsvc` ne répond pas, la création du VPC échoue (`error`)** plutôt que de créer un VPC sans DNS ni NTP. La suppression échoue de même si le `close` échoue ; elle se relance depuis `error`. Conséquence : `two-hostsvc` doit tourner sur tout hyperviseur avant la création d'un VPC. Vérifié hors lab, dans un conteneur Debian 12 privilégié (iptables 1.8.9 nf_tables) avec le code de l'agent : DNS UDP et TCP et NTP depuis une VM via sa gateway, port 5353 non redirigé, détection par le watchdog d'une règle ou d'une adresse retirée. La règle d'exclusion de `br-public` s'applique (compteur), sans démonstration de fuite en son absence dans cette topologie. Reste : étape 3 (`deploy.sh`, unité systemd, provision du lab), e2e `24-dns-ntp`, doc et notes 0.3.0, puis lab avec #76 et la suite de #87.
Author
Owner

Fusionné dans main. Lab du 2026-10-26 (main + #86 + #76 + #87 + #91) : suite complète verte (31 tests sur 31), dont 29-dns-ntp (50 réussis).

Fusionné dans main. Lab du 2026-10-26 (main + #86 + #76 + #87 + #91) : suite complète verte (31 tests sur 31), dont 29-dns-ntp (50 réussis).
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#86
No description provided.