-
0.2.0 — Bael
StableAll checks were successfulDocumentation / publish (push) Successful in 1m42sRelease Pipeline / set-release-target (push) Successful in 3sRelease Pipeline / upload-assets (agent.service, systemd/agent.service) (push) Successful in 8sRelease Pipeline / upload-assets (run-dnsmasq-in-netns.sh, scripts/run-dnsmasq-in-netns.sh) (push) Successful in 8sRelease Pipeline / upload-assets (dhcp@.service, systemd/dhcp@.service) (push) Successful in 8sRelease Pipeline / upload-assets (dnsmasq@.service, systemd/dnsmasq@.service) (push) Successful in 8sRelease Pipeline / upload-assets (metadata@.service, systemd/metadata@.service) (push) Successful in 8sRelease Pipeline / upload-assets (run-dhcp-in-netns.sh, scripts/run-dhcp-in-netns.sh) (push) Successful in 8sRelease Pipeline / build (agent, amd64, linux) (push) Successful in 0sRelease Pipeline / build (dhcp, amd64, linux) (push) Successful in 0sRelease Pipeline / build (metadata, amd64, linux) (push) Successful in 0sRelease Pipeline / checksums (push) Successful in 8sRelease Pipeline / release (push) Successful in 30sRelease Pipeline / publish (push) Successful in 0sRelease Pipeline / build (push) Successful in 2m17sreleased this
2026-10-24 18:38:41 +00:00 | 97 commits to main since this releaseServeur DHCP intégré, en coexistence avec dnsmasq ; routage inter-subnet entre hyperviseurs par
L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet.Fonctionnalités
Serveur DHCP intégré
- Nouveau binaire
dhcp, une instance par subnet lancée dans le netns du VPC par l'unit
dhcp@<netns>_<bridge>. Il reçoit son bridge et ses deux chemins de fichiers en paramètres :
il ne compose aucun chemin et ignore le netns dans lequel il tourne - Piloté par l'agent sur une socket Unix
/run/two/dhcp/<netns>_<bridge>.sock, en JSON par
ligne. Ordres idempotents en remplacement intégral : configuration du subnet à sa création,
une réservation par interface à chaque création ou suppression de VM - Réservations statiques uniquement, pas de baux : une MAC inconnue n'obtient rien, et le
serveur reste silencieux plutôt que de répondre par un refus. AucunDHCPNAKn'est émis - État auto-persisté dans
/run/two/dhcp/<netns>_<bridge>.state, en écriture atomique et lisible
par le seulroot. Le fichier appartient au processus, qui le relit à son démarrage ; l'agent
ne l'écrit jamais et se borne à le supprimer — à la création du subnet pour écarter un résidu,
à sa suppression après avoir arrêté l'unit - La route par défaut est décidée par interface et non plus par subnet, ce qui permet de ne
l'annoncer que sur une interface d'une VM multi-réseaux - L'encodage RFC 3442 de l'option 121 est délégué à
github.com/insomniacslk/dhcp
Coexistence avec dnsmasq
- Nouvelle clé
dhcp.backend,dnsmasqoutwo, qui choisit le serveur des subnets créés par
cet agent. Le défaut esttwo(#85) ;dnsmasqreste disponible jusqu'à son retrait (#49) - La bascule est une opération manuelle sur un hyperviseur vide — l'option ne migre rien, un
subnet déjà créé reste servi par le serveur qui l'a été. La procédure est documentée - Toute valeur autre que
dnsmasqoutwofait échouer le démarrage de l'agent
Routage inter-subnet entre hyperviseurs : L3VNI (#41)
- Nouveau champ facultatif
l3vnisurPOST /vpcs(1 à 65535, sauf 253-255 : c'est aussi
l'identifiant de la table de routage, et le numéro du RD<VTEP>:<l3vni>, sur 16 bits).
Absent, le VPC se comporte comme avant. Une L3VNI déjà portée par un VPC de l'agent est refusée
(409), comme unl3vnidemandé sans sectionbgp - Pour un VPC routé, l'agent pose sur l'hyperviseur une VRF (table = L3VNI), un bridge à la MAC de
routeur02:02:<IPv4 du VTEP>, le VXLAN de la L3VNI, un lien de transit169.254.0.1/30↔
169.254.0.2/30vers le netns et la route ducidrdu VPC dans le netns ; FRR reçoit la VRF,
savni, une instancerouter bgp … vrf(RD<VTEP>:<l3vni>, RT<asn>:<l3vni>) et l'export
des routes ducidr. Un hyperviseur n'a plus besoin de porter un subnet pour joindre ses VM - Routes annoncées : le
/24de chaque subnetvxlanà sa création, le/32de chaque interface
de VM juste avant son passage enrunning; retirés en premier à la suppression - La suppression d'un VPC routé retire la configuration de routage de FRR, puis les interfaces,
puis la VRF de FRR — dans cet ordre, faute de quoibgpdplante (FRR 10.7.1)
Configuration BGP pilotée par l'agent
- Nouvelle section facultative
bgp(asn,route_reflectors). Présente, l'agent applique à
chaque démarrage, parvtysh, la base BGP de l'hyperviseur (router-id = VTEP, peer-group
fabricvers les route reflectors, EVPN,advertise-all-vni) et l'enregistre :
/etc/frr/frr.confdevient un fichier généré. Un route reflector retiré de la liste est retiré
de FRR. Absente, l'agent ne touche pas à FRR - Le démarrage échoue si la section est incomplète, si FRR tourne déjà sous un autre AS ou si
vtyshne répond pas
Gateway anycast des subnets
vxlan(#57)- La gateway et l'adresse d'émission sont calculées par l'agent : avant-dernière adresse du
cidr(.254en/24) pour la gateway, exposée commeinterface_ip, et celle d'avant
(.253) pour l'adresse d'émission, exposée comme nouveau champrelay_ip. Lecidrdoit
être sans bits d'hôte et faire au plus/29 - La gateway est portée par un macvlan
gw-<subnet>à MAC anycast02:01:00:<VNI sur 24 bits>,
identique sur tous les hôtes qui portent le subnet : une VM résout toujours sa gateway vers son
hôte. Le bridge garde une MAC propre à l'hôte,02:03:<IPv4 du VTEP>, et porte l'adresse
d'émission, d'où partent les requêtes ARP du netns - Une VM qui reçoit la requête ARP d'un autre hôte ne change plus de gateway : jusqu'ici, elle
envoyait pendant quelques secondes son trafic à cet hôte, coupant métadonnées, renouvellement
DHCP et sessions depuis le netns. Mesuré en lab : aucune perte pendant cette fenêtre - La MAC anycast est confinée au netns — règles ebtables sur le veth du subnet et entrée FDB
locale dans le bridge — et n'apparaît jamais en EVPN. Le DHCP écoute surgw-<subnet>; la
route du subnet a la gateway pour source - Une VM ne peut prendre ni la gateway, ni l'adresse d'émission, ni la
gatewayexplicite, ni
l'adresse de réseau ou de broadcast du subnet, ni une adresse hors de soncidr(422) - Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l'entrée FDB
MAC des VM fournie à la création (#62)
- Champ
macobligatoire par interface dansPOST /vms, rendu parGET /vms/{name}. Il est
passé tel quel à QEMU et à la réservation DHCP ; son format et son unicité relèvent de l'appelant - Fin de la table
subnet/<name>/dhcp/<ip>, qui préchargeait une MAC par adresse ducidr: la
MAC dérivée du rang de l'IP donnait la même MAC à deux interfaces d'une VM de même rang dans
leurs subnets (VM injoignable), et n'était pas tenable en IPv6 - Migration au démarrage : les VM existantes gardent leur MAC, recopiée sur chaque interface
Disques :
vdapour la racine,xvdXpour les autres (#74)devaccepte désormaisvda, le disque racine virtio, etxvdaàxvdzpour les disques
additionnels, sur la cible SCSI de même rang (xvda→ 0). Toute autre valeur est refusée (400),
sdXcompris- Chaque disque reçoit le numéro de série
<dev>. Le noyau de l'invité nomme les disques SCSI
/dev/sdYdans l'ordre de détection, qui change d'un démarrage à l'autre (mesuré en lab :sda
etsdbinversés 4 démarrages sur 6). Le nom stable est/dev/xvdX, créé par une règle udev
de l'image (exigence décrite dans la documentation de construction d'image), et toujours
/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdX - Migration au démarrage : les clés
vm/<name>/disk/sdXdeviennentvm/<name>/disk/xvdX
MTU unique du cluster (#56)
- Nouvelle section
networkde la configuration de l'agent.mtu_vm(1500 par défaut, 1500 au
plus) fixe le MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN que
l'agent crée, jusque-là figé à 1500. Il doit être identique sur tous les hyperviseurs. Sous
1500, il fautallow_mtu_vm_below_1500, et jamais sous 1280 ; une valeur hors bornes fait
échouer le démarrage - Le MTU est annoncé aux VM par l'option DHCP 26 (serveur intégré et dnsmasq) et par
host_mtu
sur leur interface virtio.probel'affiche - L'underlay est attendu à exactement 9000 : un subnet
vxlandont l'interface n'y est pas est
refusé (422), comme un VPC avecl3vnisidefault_interfacen'y est pas (409), sauf avec
allow_mtu_underlay_below_9000. Dans tous les cas l'underlay doit portermtu_vm+ 50 octets
d'en-tête VXLAN. Un subnetbridgeest refusé si son bridge est sousmtu_vm
Exploitation
- Le watchdog contrôle aussi, avec une section
bgp: les sessions vers les route reflectors ;
pour chaque VPC routé, les interfaces de la VRF et l'état de la L3VNI dans FRR (type, état, MAC
de routeur) ; la cohérence entre routes exportées et ressourcesrunning— une route exportée
sans propriétaire est signalée comme trou noir, une route attendue absente comme manquante - Le watchdog interroge le serveur DHCP intégré et compare les réservations servies à celles que
la base implique. Il nomme ce qui diverge — ordre perdu à la création, ordre perdu à la
suppression, adresse ou route par défaut divergente — et reste en lecture seule. Une VM en
creating,deletingouerrorn'est pas comparée : sa réservation peut être présente ou
absente sans alerte, le temps que la création ou la suppression aboutisse (#78) - La socket de contrôle répond à
get-stateet àprobe, ce dernier montrant sans effet de bord
ce qui serait envoyé à une MAC donnée : adresse, masque, routeur, DNS et routes bootstrap_kvm.shinstalle les paquets KVM sans les paquets recommandés et demandeqemu-utils
explicitement : l'installation, rejouée à chaque démarrage, passe d'environ 270 à 65 Mo (#64)- Documentation Sphinx du projet : concepts, architecture, déploiement et exploitation
Correctifs
- Suppression d'un subnet refusée tant qu'une VM non supprimée l'utilise (409, avec la liste
des VM), pour tous les subnets : garantit qu'une route/32est retirée avant le/24de son
subnet, ce qui évite un trou noir partiel mesuré en lab - Un fichier de configuration présent mais invalide fait désormais échouer le démarrage.
Jusqu'en 0.1.0 l'erreur de lecture était ignorée : l'agent tournait alors entièrement sur ses
valeurs par défaut sans le dire, ce qui rendait indétectable une simple tabulation d'indentation - Réponses de l'API des subnets alignées sur la spécification :
gatewayest rendu aussi par
GET /subnetset par la réponse 202 dePOST /subnets, plus seulement par
GET /subnets/{name};vxlan_idest omis hors modevxlanau lieu de valoir 0 (#80) probeannonce explicitement"served": falsepour une MAC non réservée, au lieu d'omettre le
champ et de le rendre indistinguable d'une réponse tronquée- Le serveur DHCP intégré s'arrête proprement sur
SIGTERMetSIGINT: il ferme sa socket de
contrôle et sa socket UDP avant de sortir. Il mourait jusque-là sans nettoyer, et laissait
/run/two/dhcp/<netns>_<bridge>.sockaprès la suppression du subnet. L'agent supprime aussi
cette socket avec le fichier d'état, ce qui couvre une mort brutale du processus (#77) - Les VXLAN portent l'adresse VTEP locale (#51). Créés sans adresse source, ils laissaient FRR
sans VTEP local : aucune route EVPN annoncée, et les VM d'un même subnetvxlanne se
joignaient pas d'un hyperviseur à l'autre - VM multi-NIC : les interfaces secondaires obtiennent leur bail (#73). Le
network-config
servi par le serveur de metadata ne déclarait queeth0; il déclare désormais une entrée par
interface, reconnue par sa MAC. L'image doit en outre lancer DHCP sur toutes ses interfaces
en*: voir la documentation de l'image - Mode
bridgesur plusieurs hôtes :interface_ipconfinée à son hôte (#75). Chaque hôte
portant la mêmeinterface_ip, une VM obtenait parfois l'ARP, les métadonnées ou le DHCP d'un
autre hôte : en lab, une VM ne recevait ses propres métadonnées que 3 à 4 fois sur 5. L'agent
bloque désormais vers le segment les requêtes ARP versinterface_ip, l'ARP émis depuis elle
et le DHCP émis depuis elle, y compris par le serveur local (chaîneOUTPUT, que la règle
précédente ne couvrait pas). Le watchdog signale une règle manquante ; la suppression d'un
subnet ne retire que les règles présentes
Changements internes
- Nouveaux paquets
internal/frr(seul point d'appel àvtysh: génération des commandes,
démontage ordonné, relecture de la configuration après démontage) etinternal/sysctl; une
remarque devtysh(« Configuration applied with notes ») n'est pas une erreur, et la
suppression d'une instance BGP de VRF est réessayée tant quebgpdn'a pas libéré la L3VNI - Les tests du dispatcher arrêtent les workers avant de fermer la base (#47), ceux du watchdog
attendent la fin deRunavant de la fermer (#83) - Lab de test : labctl, qui monte un lab virtuel (hyperviseurs en KVM imbriqué, route
reflectors, switchs L3), vit dans son propre dépôt (#50, #55) ; la suitetest/e2ereste dans
two, refondue par fonctionnalité dans un ordre fixe (#70), sur un plan de contrôle redondant —
deux route reflectors, deux switchs (#54). L'image Rocky 10 des VM de test se construit de
façon reproductible danssyonad/two-images(#53) - Le module passe à Go 1.25, exigé par la bibliothèque DHCP retenue. La version de Go du
workflow de build, restée à 1.21 alors que le module en demandait davantage, est alignée - Nouveau paquet
pkg/db/statefile: persistance générique d'un état de composant dans un
fichier, en écriture atomique. Badger a été écarté pour cet usage — une instance par subnet
coûterait une memtable de 64 Mio et quatre goroutines de compaction pour environ un kilo-octet
d'état, dans untmpfs, et laisserait un verrou résiduel après un arrêt brutal internal/subnetetinternal/vmne parlent plus à dnsmasq en direct mais à une interface
Backendà deux implémentations
Périmètre et limites connues
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
- L3VNI : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. Le transit
169.254.0.0/30étant identique sur tous les hôtes, les ICMP des sauts distants sont
rejetés comme « martiens » (traceroute partiel) - Avec une section
bgp, l'agent ne démarre pas sans FRR etagent.servicene le relance pas :
au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52) bootstrap_kvm.shactivenet.ipv4.ip_forwarden global ; le forwarding que l'agent active
sur les seules interfaces de la VRF n'en restreint donc pas la portée- dnsmasq n'est pas retiré et reste un paquet requis : il sert les hyperviseurs qui déclarent
dhcp.backend: dnsmasq, dont ceux mis à jour avec des subnets existants, et le retour arrière
suppose dnsmasq installé. Son retrait est prévu en 0.4.0 (#49) - Pas de DNS, pas de pool dynamique, pas de PXE, pas de DHCPv6 dans le serveur intégré
- La comparaison faite par le watchdog porte sur les réservations et non sur la configuration
du subnet : celle-ci dépend de la route par défaut de l'host, dont la lecture au moment du
contrôle produirait de faux écarts. Un serveur dépourvu de configuration est en revanche signalé - L'option 249 (routes classless de Microsoft) n'est pas émise, comme dnsmasq ne l'émet pas
- Le serveur intégré écoute UDP/67 sans authentification, comme tout serveur DHCP : l'isolation
entre locataires d'un même subnet repose sur les règles ebtables anti-usurpation, inchangées internal/dhcpbackendn'est testé sous Linux que pour ses appels systemd ; le reste, y compris
le dialogue avec le serveur intégré, est couvert sur toute plateforme
Mise à jour depuis la 0.1.0
curl -O https://git.g3e.fr/syonad/two/raw/branch/main/scripts/deploy.sh bash ./deploy.sh -t 0.2.0Sans
bgpdans/etc/two/agent.yml, le comportement est celui de la 0.1.0, à six exceptions
près ; les quatre premières touchent les appelants de l'API :interface_ipne se fournit plus pour un subnetvxlan: il est refusé (400), l'agent le
calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières
adresses utilisables du subnet. Il reste obligatoire enbridgeetpublic_ip- un subnet encore utilisé par une VM ne se supprime plus : supprimer les VM d'abord
- chaque interface d'une VM doit porter sa
mac(400 sinon) : l'appelant la choisit et en
garantit l'unicité. Les VM existantes gardent la leur, recopiée au premier démarrage de l'agent - les disques additionnels s'appellent
xvdX:sdXest refusé (400). Les VM existantes sont
migrées ; leurs disques prennent le numéro de sériexvdXau prochain lancement, et une image
qui les montait par/dev/sdYdoit passer à/dev/xvdX - l'underlay doit être à 9000 : sur un hyperviseur dont
default_interface(ou l'interface
d'uniface_type) est à un autre MTU, la création d'un subnetvxlanest refusée. Passer
l'underlay à 9000, ou posernetwork.allow_mtu_underlay_below_9000: true— sous 1550, il faut
aussi abaissernetwork.mtu_vmavecallow_mtu_vm_below_1500. Les subnets existants gardent
leurs interfaces à 1500 jusqu'à leur recréation - le DHCP passe par défaut au serveur intégré (
dhcp.backend: two) : sur un hyperviseur qui a
déjà des subnets, ajouterdhcp.backend: dnsmasqà/etc/two/agent.ymlavant
deploy.sh -t 0.2.0. Sinon ses subnets restent servis par dnsmasq pendant que l'agent s'adresse
au serveur intégré : les VM existantes continuent, les nouvelles n'obtiennent pas d'adresse.
Un hyperviseur vide n'a rien à faire
Les subnets
vxlanexistants gardent leur adressage et le modèle précédent (gateway sur le
bridge) jusqu'à leur recréation. Les subnetsbridgeexistants restent sans le confinement de
interface_ip(#75) jusqu'à leur recréation ; le watchdog les signale.Pour router entre hyperviseurs : ajouter la section
bgp, réduirefrr.confàhostnameet
log(l'agent pose le reste), puis créer les VPC avecl3vni. Pour passer au serveur intégré, suivre la procédure de bascule dans la
documentation d'exploitation — elle suppose un hyperviseur vidé.Downloads
- Nouveau binaire