two/release_notes/0.3.0.md
GnomeZworc 497f13f1f4
f-92: doc: netns.Call, socket des métadonnées, notes 0.3.0 #92
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
2026-10-26 23:47:48 +01:00

9.7 KiB
Raw Blame History

Gabriel

Fonctionnalités

Délais dédiés : section times (#79)

  • Nouvelle section times de la configuration, en secondes : timeout_vms_stop (300), next_vms_shutdown (30), timeout_subnet_stop (360), timeout_vpc_stop (420), timeout_subnet_start (300), timeout_vms_start (300), poll_interval (2). Elle remplace dispatcher.timeout_seconds et dispatcher.poll_seconds, qui servaient à des attentes de nature différente. Une valeur nulle ou négative, ou next_vms_shutdown au moins égal à timeout_vms_stop, fait échouer le démarrage
  • Une VM et son subnet se suppriment d'un coup : la suppression d'un subnet est acceptée quand ses VM sont en deleting, et attend leur suppression jusqu'à timeout_subnet_stop. Le 409 reste pour une VM ni supprimée ni en deleting

DNS et NTP des VM par l'hyperviseur : two-hostsvc (#86)

  • Nouveau service two-hostsvc.service, un par hyperviseur, démarré avant l'agent : il relaie DNS (UDP et TCP) et NTP pour les VM de tous les VPC, depuis l'adresse 169.254.169.253 posée dans le netns de chaque VPC. Une VM sans sortie Internet garde DNS et NTP, sans route entre la VRF du VPC et l'hôte
  • Le DHCP annonce l'interface_ip du subnet comme DNS (option 6) et NTP (option 42), dans les deux backends ; 1.1.1.1 et 8.8.8.8 ne sont plus annoncés. Les requêtes des VM vers leur gateway sur 53 et 123 sont redirigées vers two-hostsvc ; celles vers un résolveur extérieur ne le sont pas
  • Nouvelle section hostsvc de la configuration : dns_upstream et ntp_upstream (serveurs interrogés en premier ; à défaut, le résolveur et l'horloge de l'hôte) et rate_limit_per_vpc (100 requêtes par seconde par défaut, DNS et NTP confondus)
  • La création d'un VPC échoue si two-hostsvc ne répond pas, plutôt que de créer un VPC sans DNS ni NTP. Le watchdog signale un two-hostsvc injoignable et, pour chaque VPC, un élément manquant (adresse, redirection, VPC non servi)

Filtrage au port de chaque VM (#76)

  • Chaque interface de VM ne peut émettre que depuis sa propre MAC et sa propre IP. Sont rejetés à la sortie du tap : une MAC source étrangère, l'ARP dont la MAC ou l'adresse d'émetteur n'est pas celle de l'interface (sauf la sonde 0.0.0.0), l'IPv4 d'une autre source (sauf 0.0.0.0 vers le port 67), les réponses de serveur DHCP et les trames d'un autre type qu'IPv4, ARP ou IPv6. Une VM ne peut plus se faire passer pour la gateway, une autre VM ou un serveur DHCP auprès de ses voisines. L'IPv6 n'est pas filtrée (#61)
  • Nouveau champ dhcp_server d'une interface (faux par défaut, toujours renvoyé par le GET) : il autorise cette interface à répondre en DHCP, par exemple pour servir le PXE de machines diskless sur un subnet bridge
  • Les règles sont posées avant la création du tap et retirées après sa suppression ; le watchdog signale une interface d'une VM running dont les règles manquent ou ont été modifiées

Segment public de l'hôte (#87)

  • deploy.sh -i crée vxlan-public, VXLAN du segment public partagé avec les bordures, sur le bridge public (-P, br-public) : VNI de la nouvelle option -N/--public_vni (1 par défaut), VTEP = IPv4 du bridge principal, sans apprentissage ; recréé si le VNI ou le VTEP change. FRR l'annonce par advertise-all-vni
  • Plan de VNI : 1 pour le segment public, 2–65535 pour les L3VNI, 65536 et au-delà pour les subnets. L'agent ne vérifie pas : l'appelant n'alloue jamais le VNI du segment public
  • L'agent raccorde le veth vp-<id>-e de chaque VPC au bridge de interfaces.internet (br-public par défaut, jamais default_interface), au lieu d'un nom en dur
  • Le watchdog signale un bridge public absent, éteint ou sans port VXLAN

Correctifs

  • Chaque VRF de VPC porte une route unreachable default (#81). Une recherche qui échouait dans la table d'une VRF continuait dans la table main de l'hôte : un paquet d'un locataire vers une adresse inconnue de son VPC sortait par l'underlay, avec 169.254.0.2 pour source (mesuré en lab). La route est posée juste après la VRF, avec la métrique maximale 4278198272, de sorte que toute route réelle reste prioritaire ; elle n'est pas annoncée en EVPN et elle est retirée au démontage du VPC. Le watchdog signale une VRF qui ne l'a pas. IPv4 seulement
  • default_route: true sans gateway est réservé au mode bridge (#81) : refusé (400) en vxlan et en public_ip. Hors bridge, la gateway lue dans la table de routage de l'hôte n'est pas sur le subnet des VM : la route par défaut annoncée était inutilisable
  • La suppression d'une VM retire ses sockets QEMU (#84). Quand QEMU échouait au démarrage (disque absent par exemple), il pouvait laisser <vm>.sock dans serial_dir, monitor_dir ou qmp_dir, que la suppression de la VM ne retirait pas. Les trois sont désormais supprimés une fois QEMU arrêté ; un fichier absent n'est pas une erreur
  • system_powerdown est renvoyé toutes les next_vms_shutdown secondes (#79) pendant l'arrêt d'une VM, jusqu'à timeout_vms_stop. Un seul appui était envoyé : arrivé avant que l'invité sache le traiter (firmware, chargeur de démarrage), il était perdu, et la suppression durait les 300 s du délai avant un quit brutal (mesuré en lab)
  • La suppression d'un VPC échoue si l'un de ses subnets échoue (#79). Elle attendait qu'aucun subnet ne soit plus en deleting, puis supprimait le VPC même si un subnet était passé en error. Il en va de même pour un subnet dont une VM attendue passe en error
  • Un thread de l'agent ne reste plus dans le netns d'un VPC (#91). Après une opération dans un netns, l'agent revenait au netns du thread principal du processus et non à celui du thread courant. Si le thread principal était lui-même dans un VPC à cet instant, le thread restait dans ce VPC et la goroutine suivante y travaillait : en lab, la suppression d'un subnet a échoué sur delete vxlan: Link not found et le watchdog a signalé br-000000 et des VRF absents. L'agent revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon
  • Le serveur de métadonnées crée sa socket dans le netns du VPC (#92). Il faisait entrer un seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant : sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le processus s'arrêtait. Jamais observé en lab. La socket est désormais créée dans le netns du VPC, et metadata@.service est relancé en cas d'échec (Restart=on-failure)

Mise à jour depuis la 0.2.0

  • Les règles de pont passent d'ebtables à nftables (#76) : l'agent appelle nft et pose ses règles dans une table bridge two du netns de chaque VPC. bootstrap_kvm.sh installe nftables à la place d'ebtables. Les règles ebtables des subnets existants ne sont ni reprises ni retirées : vider l'hyperviseur (VM, subnets, VPC) avant la mise à jour, puis les recréer

  • Une VM ne peut plus émettre depuis une adresse qui n'est pas la sienne (#76) : une VM qui route pour d'autres machines, porte une adresse supplémentaire ou sert le DHCP perd ce trafic. Pour un serveur DHCP, créer l'interface avec dhcp_server: true

  • Relancer deploy.sh -i (#87) sur chaque hyperviseur pour créer vxlan-public ; sans lui, le watchdog signale un bridge public sans port VXLAN à chaque tick. Un VPC routé dont le l3vni vaut 1 doit être recréé avec un autre L3VNI avant : sinon la création de vxlan-public échoue sur ce VNI déjà porté

  • interfaces.internet désigne désormais le bridge public (#87) : une valeur héritée de l'ancien exemple (internet: br-000000) raccorderait les VPC à l'underlay. La retirer, ou la mettre à br-public

  • default_route: true exige une gateway hors mode bridge : un appel qui l'omettait en vxlan reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils annonçaient jusqu'à leur recréation

  • Les VPC routés existants n'ont pas la route unreachable default : l'agent ne la pose pas au démarrage, le watchdog les signale à chaque tick. La recréation du VPC la pose ; d'ici là, la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC, la poser à la main sur chaque hyperviseur, la table étant le l3vni du VPC : ip route replace unreachable default metric 4278198272 table <l3vni>

  • La section dispatcher n'est plus lue : restée dans /etc/two/agent.yml, elle est ignorée, et les valeurs par défaut de times s'appliquent. Une valeur personnalisée de dispatcher.timeout_seconds est à reporter dans times.timeout_vms_stop (et dans les délais qui en dépendent)

  • DNS et NTP (#86) : vider l'hyperviseur avant la mise à jour, puis recréer les VPC. Les VPC créés par la 0.2.0 n'ont ni l'adresse 169.254.169.253, ni la redirection, ni de place dans two-hostsvc, et l'agent ne les reprend pas au démarrage. Or le serveur DHCP intégré (backend two) annonce la gateway comme DNS dès son redémarrage par deploy.sh : au renouvellement de leur bail (au plus 6 h), les VM de ces VPC perdraient leur DNS. Avec dnsmasq, le fichier de configuration n'est pas régénéré et les VM gardent 1.1.1.1. Dans les deux cas, le watchdog signale ces VPC à chaque tick. Procédure : supprimer VM, subnets et VPC de l'hyperviseur, mettre à jour avec deploy.sh (qui installe et démarre two-hostsvc), vérifier systemctl status two-hostsvc, puis recréer VPC, subnets et VM