two/release_notes/0.3.0.md
GnomeZworc 14b99b4925
f-88: doc: IP flottante, interfaces nommées, notes 0.3.0 #88
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
2026-10-30 00:24:40 +01:00

197 lines
14 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Gabriel
## Fonctionnalités
**Délais dédiés : section `times` (#79)**
- Nouvelle section `times` de la configuration, en secondes : `timeout_vms_stop` (300),
`next_vms_shutdown` (30), `timeout_subnet_stop` (360), `timeout_vpc_stop` (420),
`timeout_subnet_start` (300), `timeout_vms_start` (300), `poll_interval` (2). Elle remplace
`dispatcher.timeout_seconds` et `dispatcher.poll_seconds`, qui servaient à des attentes de
nature différente. Une valeur nulle ou négative, ou `next_vms_shutdown` au moins égal à
`timeout_vms_stop`, fait échouer le démarrage
- **Une VM et son subnet se suppriment d'un coup** : la suppression d'un subnet est acceptée
quand ses VM sont en `deleting`, et attend leur suppression jusqu'à `timeout_subnet_stop`. Le
409 reste pour une VM ni supprimée ni en `deleting`
**DNS et NTP des VM par l'hyperviseur : `two-hostsvc` (#86)**
- Nouveau service `two-hostsvc.service`, un par hyperviseur, démarré avant l'agent : il relaie
DNS (UDP et TCP) et NTP pour les VM de tous les VPC, depuis l'adresse `169.254.169.253` posée
dans le netns de chaque VPC. Une VM sans sortie Internet garde DNS et NTP, sans route entre la
VRF du VPC et l'hôte
- **Le DHCP annonce l'`interface_ip` du subnet comme DNS (option 6) et NTP (option 42)**, dans les
deux backends ; `1.1.1.1` et `8.8.8.8` ne sont plus annoncés. Les requêtes des VM vers leur
gateway sur 53 et 123 sont redirigées vers `two-hostsvc` ; celles vers un résolveur extérieur
ne le sont pas
- Nouvelle section `hostsvc` de la configuration : `dns_upstream` et `ntp_upstream` (serveurs
interrogés en premier ; à défaut, le résolveur et l'horloge de l'hôte) et `rate_limit_per_vpc`
(100 requêtes par seconde par défaut, DNS et NTP confondus)
- **La création d'un VPC échoue si `two-hostsvc` ne répond pas**, plutôt que de créer un VPC sans
DNS ni NTP. Le watchdog signale un `two-hostsvc` injoignable et, pour chaque VPC, un élément
manquant (adresse, redirection, VPC non servi)
**Filtrage au port de chaque VM (#76)**
- Chaque interface de VM ne peut émettre que depuis sa propre MAC et sa propre IP. Sont rejetés
à la sortie du tap : une MAC source étrangère, l'ARP dont la MAC ou l'adresse d'émetteur n'est
pas celle de l'interface (sauf la sonde `0.0.0.0`), l'IPv4 d'une autre source (sauf `0.0.0.0`
vers le port 67), les réponses de serveur DHCP et les trames d'un autre type qu'IPv4, ARP ou
IPv6. Une VM ne peut plus se faire passer pour la gateway, une autre VM ou un serveur DHCP
auprès de ses voisines. L'IPv6 n'est pas filtrée (#61)
- Nouveau champ `dhcp_server` d'une interface (faux par défaut, toujours renvoyé par le GET) : il
autorise cette interface à répondre en DHCP, par exemple pour servir le PXE de machines diskless
sur un subnet `bridge`
- Les règles sont posées avant la création du tap et retirées après sa suppression ; le watchdog
signale une interface d'une VM `running` dont les règles manquent ou ont été modifiées
**Segment public de l'hôte (#87)**
- `deploy.sh -i` crée `vxlan-public`, VXLAN du segment public partagé avec les bordures, sur le
bridge public (`-P`, `br-public`) : VNI de la nouvelle option `-N`/`--public_vni` (1 par
défaut), VTEP = IPv4 du bridge principal, sans apprentissage ; recréé si le VNI ou le VTEP
change. FRR l'annonce par `advertise-all-vni`
- Plan de VNI : 1 pour le segment public, 2–65535 pour les L3VNI, 65536 et au-delà pour les
subnets. L'agent ne vérifie pas : l'appelant n'alloue jamais le VNI du segment public
- L'agent raccorde le veth `vp-<id>-e` de chaque VPC au bridge de `interfaces.internet`
(`br-public` par défaut, jamais `default_interface`), au lieu d'un nom en dur
- Le watchdog signale un bridge public absent, éteint ou sans port VXLAN
**Interfaces de VM nommées (#88)**
- Chaque interface d'une VM porte un `name`, **obligatoire** et unique dans la VM, choisi par
l'appelant (`nic-a1b2` par exemple) : 400 s'il est absent ou en double. Il est rendu par le GET.
C'est l'identifiant stable d'une interface dans l'API (une IP flottante la désigne par ce nom) ;
aucune interface Linux n'en tire son nom
**Passerelle NAT des VPC (#42)**
- Nouvelle ressource `/nat-gateways` (`POST`, `GET`, `DELETE`) : `name`, `vpc`, `ip` (IP de
sortie avec son préfixe) et `gateway` (gateway des bordures), fournis par l'appelant et non
vérifiés. Créée sur un seul hyperviseur, elle donne une sortie Internet à toutes les VM du VPC,
sur tous les hyperviseurs, avec l'IP de sortie pour source. Une passerelle par VPC ; le VPC
doit être `running` sur l'hôte et avoir un `l3vni` (409 sinon)
- Dans le netns du VPC : `macvlan` `ng-<id>` sur le bridge `br-public` du netns, de MAC
`02:04:00` + `l3vni` (la même sur tout hôte), SNAT en nftables (table `ip two`) ; rien n'entre
par la passerelle hors réponse à une connexion établie. La route par défaut est annoncée en
type 5 dans la VRF du VPC
- Le netns de chaque VPC routé envoie désormais sa route par défaut vers la VRF ; sans passerelle,
l'`unreachable default` de #81 la rejette. Le route-map de la VRF exporte `0.0.0.0/0` seulement
si son next-hop est `169.254.0.2`, ce qui écarte l'`unreachable default`
- Déplacer la passerelle : la supprimer sur l'ancien hôte s'il répond, la créer sur le nouveau
avec la même IP. Les connexions en cours sont perdues
- La suppression d'un VPC est refusée (409) tant qu'il a une passerelle. Nouvelle métrique
`syonad_nat_gateways_total` ; le watchdog attend la route par défaut d'une passerelle `running`
dans la VRF
**IP flottante (#88)**
- Nouvelle ressource `/floating-ips` (`POST`, `GET`, `DELETE`) : `name`, `vm`, `interface` (nom de
l'interface de la VM), `ip` (IP publique avec son préfixe) et `gateway`, fournis par l'appelant
et non vérifiés. Créée sur l'hôte de la VM, elle rend l'interface joignable par l'IP publique ;
la VM sort par elle, même dans un VPC qui a une passerelle NAT. 409 si la VM n'est pas `running`
sur l'hôte, si l'interface est inconnue ou a déjà une IP flottante, ou si l'IP publique est déjà
portée
- Dans le netns du VPC : `macvlan` `fip-<hex>` sur `br-public`, de MAC `02:05` + IP publique (la
même sur tout hôte), IP publique en `/32` ; NAT 1:1 sans état en nftables (table `ip two`),
sans `notrack` : métadonnées, DNS et NTP restent servis ; routage par source vers une table
propre, le trafic interne au VPC restant dans `main`
- Le `GET` d'une VM affiche l'IP flottante de chaque interface (`floating_ip`, en lecture seule) ;
la suppression d'une VM est refusée (409) tant qu'une IP flottante y est attachée. Nouvelle
métrique `syonad_floating_ips_total`
- Déplacer l'IP flottante avec la VM : la supprimer sur l'ancien hôte, la créer sur le nouveau. Les
connexions en cours sont perdues
## Correctifs
- **Chaque VRF de VPC porte une route `unreachable default` (#81).** Une recherche qui échouait
dans la table d'une VRF continuait dans la table `main` de l'hôte : un paquet d'un locataire
vers une adresse inconnue de son VPC sortait par l'underlay, avec `169.254.0.2` pour source
(mesuré en lab). La route est posée juste après la VRF, avec la métrique maximale
`4278198272`, de sorte que toute route réelle reste prioritaire ; elle n'est pas annoncée en
EVPN et elle est retirée au démontage du VPC. Le watchdog signale une VRF qui ne l'a pas.
IPv4 seulement
- **`default_route: true` sans `gateway` est réservé au mode `bridge` (#81)** : refusé (400) en
`vxlan` et en `public_ip`. Hors `bridge`, la gateway lue dans la table de routage de l'hôte
n'est pas sur le subnet des VM : la route par défaut annoncée était inutilisable
- **La suppression d'une VM retire ses sockets QEMU (#84).** Quand QEMU échouait au démarrage
(disque absent par exemple), il pouvait laisser `<vm>.sock` dans `serial_dir`, `monitor_dir` ou
`qmp_dir`, que la suppression de la VM ne retirait pas. Les trois sont désormais supprimés une
fois QEMU arrêté ; un fichier absent n'est pas une erreur
- **`system_powerdown` est renvoyé toutes les `next_vms_shutdown` secondes (#79)** pendant
l'arrêt d'une VM, jusqu'à `timeout_vms_stop`. Un seul appui était envoyé : arrivé avant que
l'invité sache le traiter (firmware, chargeur de démarrage), il était perdu, et la suppression
durait les 300 s du délai avant un `quit` brutal (mesuré en lab)
- **La suppression d'un VPC échoue si l'un de ses subnets échoue (#79).** Elle attendait qu'aucun
subnet ne soit plus en `deleting`, puis supprimait le VPC même si un subnet était passé en
`error`. Il en va de même pour un subnet dont une VM attendue passe en `error`
- **Un thread de l'agent ne reste plus dans le netns d'un VPC (#91).** Après une opération dans
un netns, l'agent revenait au netns du thread principal du processus et non à celui du thread
courant. Si le thread principal était lui-même dans un VPC à cet instant, le thread restait dans
ce VPC et la goroutine suivante y travaillait : en lab, la suppression d'un subnet a échoué sur
`delete vxlan: Link not found` et le watchdog a signalé `br-000000` et des VRF absents. L'agent
revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est
détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon
- **Rien n'entre plus dans un VPC par le `br-public` de son netns (#42).** Ce bridge, qui relie le
netns au segment public de l'hôte, répondait à l'ARP pour toutes les adresses du netns
(`arp_ignore=0`) et laissait entrer l'IP : un équipement du segment public pouvait router vers
les VM du VPC (mesuré en lab). L'agent pose désormais `arp_ignore=1` sur ce bridge et rejette en
nftables tout IP arrivé par lui
- **`br_netfilter` est désactivé dans le netns de chaque VPC (#42)** quand le module est chargé
(`bridge-nf-call-iptables`, `-ip6tables`, `-arptables` à 0) : conntrack voyait chaque trame
pontée, et le SNAT de la passerelle NAT ne s'appliquait pas (mesuré en lab)
- **Le serveur de métadonnées crée sa socket dans le netns du VPC (#92).** Il faisait entrer un
seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant :
sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le
processus s'arrêtait. Jamais observé en lab. La socket est désormais créée dans le netns du VPC,
et `metadata@.service` est relancé en cas d'échec (`Restart=on-failure`)
## Mise à jour depuis la 0.2.0
- **Les règles de pont passent d'ebtables à nftables (#76)** : l'agent appelle `nft` et pose ses
règles dans une table `bridge two` du netns de chaque VPC. `bootstrap_kvm.sh` installe
`nftables` à la place d'`ebtables`. Les règles ebtables des subnets existants ne sont ni
reprises ni retirées : vider l'hyperviseur (VM, subnets, VPC) avant la mise à jour, puis les
recréer
- **Une VM ne peut plus émettre depuis une adresse qui n'est pas la sienne (#76)** : une VM qui
route pour d'autres machines, porte une adresse supplémentaire ou sert le DHCP perd ce trafic.
Pour un serveur DHCP, créer l'interface avec `dhcp_server: true`
- **Relancer `deploy.sh -i` (#87)** sur chaque hyperviseur pour créer `vxlan-public` ; sans lui,
le watchdog signale un bridge public sans port VXLAN à chaque tick. Un VPC routé dont le
`l3vni` vaut 1 doit être recréé avec un autre L3VNI avant : sinon la création de
`vxlan-public` échoue sur ce VNI déjà porté
- **`interfaces.internet` désigne désormais le bridge public (#87)** : une valeur héritée de
l'ancien exemple (`internet: br-000000`) raccorderait les VPC à l'underlay. La retirer, ou la
mettre à `br-public`
- **`default_route: true` exige une `gateway` hors mode `bridge`** : un appel qui l'omettait en
`vxlan` reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils
annonçaient jusqu'à leur recréation
- **Les VPC routés existants n'ont pas la route `unreachable default`** : l'agent ne la pose pas
au démarrage, le watchdog les signale à chaque tick. La recréation du VPC la pose ; d'ici là,
la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC,
la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC :
`ip route replace unreachable default metric 4278198272 table <l3vni>`
- **`br-public` du netns (#42) : seuls les VPC créés par la 0.3.0 sont protégés.** L'agent ne
reprend pas les VPC existants au démarrage : recréer chaque VPC pour fermer l'entrée par le
segment public
- **`name` est obligatoire sur chaque interface de `POST /vms` (#88)** : un appel qui l'omet reçoit
un 400. Au démarrage, l'agent nomme `nic-<rang>` (`nic-0`, `nic-1`…) les interfaces des VM
existantes
- **Passerelle NAT (#42) : seuls les VPC créés par la 0.3.0 peuvent s'en servir.** Les VPC
routés existants n'envoient pas leur route par défaut vers la VRF et leur route-map n'exporte
pas celle de la passerelle ; l'agent ne les reprend pas au démarrage. Recréer le VPC avant de
lui donner une passerelle
- **La section `dispatcher` n'est plus lue** : restée dans `/etc/two/agent.yml`, elle est ignorée,
et les valeurs par défaut de `times` s'appliquent. Une valeur personnalisée de
`dispatcher.timeout_seconds` est à reporter dans `times.timeout_vms_stop` (et dans les délais
qui en dépendent)
- **DNS et NTP (#86) : vider l'hyperviseur avant la mise à jour, puis recréer les VPC.** Les VPC
créés par la 0.2.0 n'ont ni l'adresse `169.254.169.253`, ni la redirection, ni de place dans
`two-hostsvc`, et l'agent ne les reprend pas au démarrage. Or le serveur DHCP intégré (backend
`two`) annonce la gateway comme DNS dès son redémarrage par `deploy.sh` : au renouvellement
de leur bail (au plus 6 h), les VM de ces VPC perdraient leur DNS. Avec dnsmasq, le fichier de
configuration n'est pas régénéré et les VM gardent `1.1.1.1`. Dans les deux cas, le watchdog
signale ces VPC à chaque tick. Procédure : supprimer VM, subnets et VPC de l'hyperviseur,
mettre à jour avec `deploy.sh` (qui installe et démarre `two-hostsvc`), vérifier
`systemctl status two-hostsvc`, puis recréer VPC, subnets et VM