17 KiB
Gabriel
Fonctionnalités
Délais dédiés : section times (#79)
- Nouvelle section
timesde la configuration, en secondes :timeout_vms_stop(300),next_vms_shutdown(30),timeout_subnet_stop(360),timeout_vpc_stop(420),timeout_subnet_start(300),timeout_vms_start(300),poll_interval(2). Elle remplacedispatcher.timeout_secondsetdispatcher.poll_seconds, qui servaient à des attentes de nature différente. Une valeur nulle ou négative, ounext_vms_shutdownau moins égal àtimeout_vms_stop, fait échouer le démarrage - Une VM et son subnet se suppriment d'un coup : la suppression d'un subnet est acceptée
quand ses VM sont en
deleting, et attend leur suppression jusqu'àtimeout_subnet_stop. Le 409 reste pour une VM ni supprimée ni endeleting
DNS et NTP des VM par l'hyperviseur : two-hostsvc (#86)
- Nouveau service
two-hostsvc.service, un par hyperviseur, démarré avant l'agent : il relaie DNS (UDP et TCP) et NTP pour les VM de tous les VPC, depuis l'adresse169.254.169.253posée dans le netns de chaque VPC. Une VM sans sortie Internet garde DNS et NTP, sans route entre la VRF du VPC et l'hôte - Le DHCP annonce l'
interface_ipdu subnet comme DNS (option 6) et NTP (option 42), dans les deux backends ;1.1.1.1et8.8.8.8ne sont plus annoncés. Les requêtes des VM vers leur gateway sur 53 et 123 sont redirigées verstwo-hostsvc; celles vers un résolveur extérieur ne le sont pas - Nouvelle section
hostsvcde la configuration :dns_upstreametntp_upstream(serveurs interrogés en premier ; à défaut, le résolveur et l'horloge de l'hôte) etrate_limit_per_vpc(100 requêtes par seconde par défaut, DNS et NTP confondus) - La création d'un VPC échoue si
two-hostsvcne répond pas, plutôt que de créer un VPC sans DNS ni NTP. Le watchdog signale untwo-hostsvcinjoignable et, pour chaque VPC, un élément manquant (adresse, redirection, VPC non servi)
Filtrage au port de chaque VM (#76)
- Chaque interface de VM ne peut émettre que depuis sa propre MAC et sa propre IP. Sont rejetés
à la sortie du tap : une MAC source étrangère, l'ARP dont la MAC ou l'adresse d'émetteur n'est
pas celle de l'interface (sauf la sonde
0.0.0.0), l'IPv4 d'une autre source (sauf0.0.0.0vers le port 67), les réponses de serveur DHCP et les trames d'un autre type qu'IPv4, ARP ou IPv6. Une VM ne peut plus se faire passer pour la gateway, une autre VM ou un serveur DHCP auprès de ses voisines. L'IPv6 n'est pas filtrée (#61) - Nouveau champ
dhcp_serverd'une interface (faux par défaut, toujours renvoyé par le GET) : il autorise cette interface à répondre en DHCP, par exemple pour servir le PXE de machines diskless sur un subnetbridge - Les règles sont posées avant la création du tap et retirées après sa suppression ; le watchdog
signale une interface d'une VM
runningdont les règles manquent ou ont été modifiées
Segment public de l'hôte (#87)
deploy.sh -icréevxlan-public, VXLAN du segment public partagé avec les bordures, sur le bridge public (-P,br-public) : VNI de la nouvelle option-N/--public_vni(1 par défaut), VTEP = IPv4 du bridge principal, sans apprentissage ; recréé si le VNI ou le VTEP change. FRR l'annonce paradvertise-all-vni- Plan de VNI : 1 pour le segment public, 2–65535 pour les L3VNI, 65536 et au-delà pour les subnets. L'agent ne vérifie pas : l'appelant n'alloue jamais le VNI du segment public
- L'agent raccorde le veth
vp-<id>-ede chaque VPC au bridge deinterfaces.internet(br-publicpar défaut, jamaisdefault_interface), au lieu d'un nom en dur - Le watchdog signale un bridge public absent, éteint ou sans port VXLAN
Interfaces de VM nommées (#88)
- Chaque interface d'une VM porte un
name, obligatoire et unique dans la VM, choisi par l'appelant (nic-a1b2par exemple) : 400 s'il est absent ou en double. Il est rendu par le GET. C'est l'identifiant stable d'une interface dans l'API (une IP flottante la désigne par ce nom) ; aucune interface Linux n'en tire son nom
Passerelle NAT des VPC (#42)
- Nouvelle ressource
/nat-gateways(POST,GET,DELETE) :name,vpc,ip(IP de sortie avec son préfixe) etgateway(gateway des bordures), fournis par l'appelant et non vérifiés. Créée sur un seul hyperviseur, elle donne une sortie Internet à toutes les VM du VPC, sur tous les hyperviseurs, avec l'IP de sortie pour source. Une passerelle par VPC ; le VPC doit êtrerunningsur l'hôte et avoir unl3vni(409 sinon) - Dans le netns du VPC :
macvlanng-<id>sur le bridgebr-publicdu netns, de MAC02:04:00+l3vni(la même sur tout hôte), SNAT en nftables (tableip two) ; rien n'entre par la passerelle hors réponse à une connexion établie. La route par défaut est annoncée en type 5 dans la VRF du VPC - Le netns de chaque VPC routé envoie désormais sa route par défaut vers la VRF ; sans passerelle,
l'
unreachable defaultde #81 la rejette. Le route-map de la VRF exporte0.0.0.0/0seulement si son next-hop est169.254.0.2, ce qui écarte l'unreachable default - Déplacer la passerelle : la supprimer sur l'ancien hôte s'il répond, la créer sur le nouveau avec la même IP. Les connexions en cours sont perdues
- La suppression d'un VPC est refusée (409) tant qu'il a une passerelle. Nouvelle métrique
syonad_nat_gateways_total; le watchdog attend la route par défaut d'une passerellerunningdans la VRF
IP flottante (#88)
- Nouvelle ressource
/floating-ips(POST,GET,DELETE) :name,vm,interface(nom de l'interface de la VM),ip(IP publique avec son préfixe) etgateway, fournis par l'appelant et non vérifiés. Créée sur l'hôte de la VM, elle rend l'interface joignable par l'IP publique ; la VM sort par elle, même dans un VPC qui a une passerelle NAT. 409 si la VM n'est pasrunningsur l'hôte, si l'interface est inconnue ou a déjà une IP flottante, ou si l'IP publique est déjà portée - Dans le netns du VPC :
macvlanfip-<hex>surbr-public, de MAC02:05+ IP publique (la même sur tout hôte), IP publique en/32; NAT 1:1 sans état en nftables (tableip two), sansnotrack: métadonnées, DNS et NTP restent servis ; routage par source vers une table propre, le trafic interne au VPC restant dansmain - Le
GETd'une VM affiche l'IP flottante de chaque interface (floating_ip, en lecture seule) ; la suppression d'une VM est refusée (409) tant qu'une IP flottante y est attachée. Nouvelle métriquesyonad_floating_ips_total - Déplacer l'IP flottante avec la VM : la supprimer sur l'ancien hôte, la créer sur le nouveau. Les connexions en cours sont perdues
Subnet public_ip (#89)
- Le mode
public_ipest mis en place : la VM porte son IP publique, sans NAT. Le subnet est raccordé commebridge, toujours au bridge public de l'hôte (interfaces.internet) ;iface_typeest ignoré, le contrôle de MTU porte sur le bridge public - Une plage publique est partagée par plusieurs VPC : chacun a son subnet, avec la même
interface_ip, confinée à son netns par les règles du modebridge(sur un même hôte comme entre hôtes). Le nom de chaque subnet est choisi par l'appelant et unique sur l'hyperviseur - Une IP flottante est refusée (409) sur une interface d'un subnet
public_ip. Le watchdog contrôle les subnetspublic_ipcomme les subnetsbridge
Connaissance de l'hôte (#39)
GET /register: hostname, CPU (fabricant, modèle, sockets, cœurs, threads), RAM totale, OS et noyau, lus au démarrage de l'agent (503 si la lecture a échoué)GET /ping: version de l'agent, démarrages de l'hôte et de l'agent (timestamps Unix), uptime de l'hôte et load, mesurés toutes lestimes.host_state_intervalsecondes (10 par défaut) et gardés en mémoire, avec l'heure de la mesure (collected_at)- L'agent connaît sa version : injectée au build (tag de la release), affichée dans
/pinget dans la lignestarting agentdu journal
Correctifs
-
Chaque VRF de VPC porte une route
unreachable default(#81). Une recherche qui échouait dans la table d'une VRF continuait dans la tablemainde l'hôte : un paquet d'un locataire vers une adresse inconnue de son VPC sortait par l'underlay, avec169.254.0.2pour source (mesuré en lab). La route est posée juste après la VRF, avec la métrique maximale4278198272, de sorte que toute route réelle reste prioritaire ; elle n'est pas annoncée en EVPN et elle est retirée au démontage du VPC. Le watchdog signale une VRF qui ne l'a pas. IPv4 seulement -
default_route: truesansgatewayest réservé au modebridge(#81) : refusé (400) envxlanet enpublic_ip. Horsbridge, la gateway lue dans la table de routage de l'hôte n'est pas sur le subnet des VM : la route par défaut annoncée était inutilisable -
La suppression d'une VM retire ses sockets QEMU (#84). Quand QEMU échouait au démarrage (disque absent par exemple), il pouvait laisser
<vm>.sockdansserial_dir,monitor_dirouqmp_dir, que la suppression de la VM ne retirait pas. Les trois sont désormais supprimés une fois QEMU arrêté ; un fichier absent n'est pas une erreur -
system_powerdownest renvoyé toutes lesnext_vms_shutdownsecondes (#79) pendant l'arrêt d'une VM, jusqu'àtimeout_vms_stop. Un seul appui était envoyé : arrivé avant que l'invité sache le traiter (firmware, chargeur de démarrage), il était perdu, et la suppression durait les 300 s du délai avant unquitbrutal (mesuré en lab) -
La suppression d'un VPC échoue si l'un de ses subnets échoue (#79). Elle attendait qu'aucun subnet ne soit plus en
deleting, puis supprimait le VPC même si un subnet était passé enerror. Il en va de même pour un subnet dont une VM attendue passe enerror -
Un thread de l'agent ne reste plus dans le netns d'un VPC (#91). Après une opération dans un netns, l'agent revenait au netns du thread principal du processus et non à celui du thread courant. Si le thread principal était lui-même dans un VPC à cet instant, le thread restait dans ce VPC et la goroutine suivante y travaillait : en lab, la suppression d'un subnet a échoué sur
delete vxlan: Link not foundet le watchdog a signalébr-000000et des VRF absents. L'agent revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon -
Rien n'entre plus dans un VPC par le
br-publicde son netns (#42). Ce bridge, qui relie le netns au segment public de l'hôte, répondait à l'ARP pour toutes les adresses du netns (arp_ignore=0) et laissait entrer l'IP : un équipement du segment public pouvait router vers les VM du VPC (mesuré en lab). L'agent pose désormaisarp_ignore=1sur ce bridge et rejette en nftables tout IP arrivé par lui -
br_netfilterest désactivé dans le netns de chaque VPC (#42) quand le module est chargé (bridge-nf-call-iptables,-ip6tables,-arptablesà 0) : conntrack voyait chaque trame pontée, et le SNAT de la passerelle NAT ne s'appliquait pas (mesuré en lab) -
Le serveur de métadonnées crée sa socket dans le netns du VPC (#92). Il faisait entrer un seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant : sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le processus s'arrêtait. Jamais observé en lab. La socket est désormais créée dans le netns du VPC, et
metadata@.serviceest relancé en cas d'échec (Restart=on-failure) -
La MAC d'une VM reste sur son tap pendant une migration (#95). Pendant la séquence orchestrée d'une migration, la même MAC existe sur l'ancien et le nouvel hôte. Une trame de l'ancienne VM, arrivée par le VXLAN du subnet, faisait réapprendre sa MAC par le pont du netns du nouvel hôte vers le VXLAN : le trafic destiné à la nouvelle VM repartait vers l'ancien hôte, environ 10 s, jusqu'à ce qu'elle émette à nouveau (mesuré en lab ; test 52 intermittent). L'agent pose désormais, à la création du tap, une entrée de pont
static stickyde la MAC de l'interface sur son tap, que l'apprentissage ne peut pas déplacer. Tous les modes de subnet. Le watchdog signale une interface d'une VMrunningdont l'entrée manque
Mise à jour depuis la 0.2.0
-
Les règles de pont passent d'ebtables à nftables (#76) : l'agent appelle
nftet pose ses règles dans une tablebridge twodu netns de chaque VPC.bootstrap_kvm.shinstallenftablesà la place d'ebtables. Les règles ebtables des subnets existants ne sont ni reprises ni retirées : vider l'hyperviseur (VM, subnets, VPC) avant la mise à jour, puis les recréer -
Les redirections passent d'iptables à nftables (#90) : celle des métadonnées (une chaîne
md-<vm>par VM) et celle du DNS et du NTP (chaînehostsvc) sont posées dans la tableip twodu netns de chaque VPC.bootstrap_kvm.shn'installe plusiptables, ne charge plusbr_netfilteret n'écrit plusnet.bridge.bridge-nf-call-iptables = 1. L'agent ne reprend pas les règles iptables des VM créées par la 0.2.0 : le vidage de l'hyperviseur demandé ci-dessous les retire. Sur un hyperviseur déjà déployé, le module reste chargé jusqu'au redémarrage (oumodprobe -r br_netfilter) -
Une VM ne peut plus émettre depuis une adresse qui n'est pas la sienne (#76) : une VM qui route pour d'autres machines, porte une adresse supplémentaire ou sert le DHCP perd ce trafic. Pour un serveur DHCP, créer l'interface avec
dhcp_server: true -
Relancer
deploy.sh -i(#87) sur chaque hyperviseur pour créervxlan-public; sans lui, le watchdog signale un bridge public sans port VXLAN à chaque tick. Un VPC routé dont lel3vnivaut 1 doit être recréé avec un autre L3VNI avant : sinon la création devxlan-publicéchoue sur ce VNI déjà porté -
interfaces.internetdésigne désormais le bridge public (#87) : une valeur héritée de l'ancien exemple (internet: br-000000) raccorderait les VPC à l'underlay. La retirer, ou la mettre àbr-public -
default_route: trueexige unegatewayhors modebridge: un appel qui l'omettait envxlanreçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils annonçaient jusqu'à leur recréation -
Les VPC routés existants n'ont pas la route
unreachable default: l'agent ne la pose pas au démarrage, le watchdog les signale à chaque tick. La recréation du VPC la pose ; d'ici là, la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC, la poser à la main sur chaque hyperviseur, la table étant lel3vnidu VPC :ip route replace unreachable default metric 4278198272 table <l3vni> -
br-publicdu netns (#42) : seuls les VPC créés par la 0.3.0 sont protégés. L'agent ne reprend pas les VPC existants au démarrage : recréer chaque VPC pour fermer l'entrée par le segment public -
MAC figée sur le tap (#95) : seules les VM créées par la 0.3.0 l'ont. L'agent ne reprend pas les VM existantes au démarrage, et le watchdog les signale à chaque tick jusqu'à leur recréation. Le vidage de l'hyperviseur demandé par #76 les recrée de toute façon
-
nameest obligatoire sur chaque interface dePOST /vms(#88) : un appel qui l'omet reçoit un 400. Au démarrage, l'agent nommenic-<rang>(nic-0,nic-1…) les interfaces des VM existantes -
Passerelle NAT (#42) : seuls les VPC créés par la 0.3.0 peuvent s'en servir. Les VPC routés existants n'envoient pas leur route par défaut vers la VRF et leur route-map n'exporte pas celle de la passerelle ; l'agent ne les reprend pas au démarrage. Recréer le VPC avant de lui donner une passerelle
-
La section
dispatchern'est plus lue : restée dans/etc/two/agent.yml, elle est ignorée, et les valeurs par défaut detimess'appliquent. Une valeur personnalisée dedispatcher.timeout_secondsest à reporter danstimes.timeout_vms_stop(et dans les délais qui en dépendent) -
DNS et NTP (#86) : vider l'hyperviseur avant la mise à jour, puis recréer les VPC. Les VPC créés par la 0.2.0 n'ont ni l'adresse
169.254.169.253, ni la redirection, ni de place danstwo-hostsvc, et l'agent ne les reprend pas au démarrage. Or le serveur DHCP intégré (backendtwo) annonce la gateway comme DNS dès son redémarrage pardeploy.sh: au renouvellement de leur bail (au plus 6 h), les VM de ces VPC perdraient leur DNS. Avec dnsmasq, le fichier de configuration n'est pas régénéré et les VM gardent1.1.1.1. Dans les deux cas, le watchdog signale ces VPC à chaque tick. Procédure : supprimer VM, subnets et VPC de l'hyperviseur, mettre à jour avecdeploy.sh(qui installe et démarretwo-hostsvc), vérifiersystemctl status two-hostsvc, puis recréer VPC, subnets et VM