Bael#
Serveur DHCP intégré, en coexistence avec dnsmasq ; routage inter-subnet entre hyperviseurs par L3VNI, avec une configuration BGP pilotée par l’agent ; documentation du projet.
Fonctionnalités#
Serveur DHCP intégré
Nouveau binaire
dhcp, une instance par subnet lancée dans le netns du VPC par l’unitdhcp@<netns>_<bridge>. Il reçoit son bridge et ses deux chemins de fichiers en paramètres : il ne compose aucun chemin et ignore le netns dans lequel il tournePiloté par l’agent sur une socket Unix
/run/two/dhcp/<netns>_<bridge>.sock, en JSON par ligne. Ordres idempotents en remplacement intégral : configuration du subnet à sa création, une réservation par interface à chaque création ou suppression de VMRéservations statiques uniquement, pas de baux : une MAC inconnue n’obtient rien, et le serveur reste silencieux plutôt que de répondre par un refus. Aucun
DHCPNAKn’est émisÉtat auto-persisté dans
/run/two/dhcp/<netns>_<bridge>.state, en écriture atomique et lisible par le seulroot. Le fichier appartient au processus, qui le relit à son démarrage ; l’agent ne l’écrit jamais et se borne à le supprimer — à la création du subnet pour écarter un résidu, à sa suppression après avoir arrêté l’unitLa route par défaut est décidée par interface et non plus par subnet, ce qui permet de ne l’annoncer que sur une interface d’une VM multi-réseaux
L’encodage RFC 3442 de l’option 121 est délégué à
github.com/insomniacslk/dhcp
Coexistence avec dnsmasq
Nouvelle clé
dhcp.backend,dnsmasqoutwo, qui choisit le serveur des subnets créés par cet agent. Le défaut esttwo(#85) ;dnsmasqreste disponible jusqu’à son retrait (#49)La bascule est une opération manuelle sur un hyperviseur vide — l’option ne migre rien, un subnet déjà créé reste servi par le serveur qui l’a été. La procédure est documentée
Toute valeur autre que
dnsmasqoutwofait échouer le démarrage de l’agent
Routage inter-subnet entre hyperviseurs : L3VNI (#41)
Nouveau champ facultatif
l3vnisurPOST /vpcs(1 à 65535, sauf 253-255 : c’est aussi l’identifiant de la table de routage, et le numéro du RD<VTEP>:<l3vni>, sur 16 bits). Absent, le VPC se comporte comme avant. Une L3VNI déjà portée par un VPC de l’agent est refusée (409), comme unl3vnidemandé sans sectionbgpPour un VPC routé, l’agent pose sur l’hyperviseur une VRF (table = L3VNI), un bridge à la MAC de routeur
02:02:<IPv4 du VTEP>, le VXLAN de la L3VNI, un lien de transit169.254.0.1/30↔169.254.0.2/30vers le netns et la route ducidrdu VPC dans le netns ; FRR reçoit la VRF, savni, une instancerouter bgp … vrf(RD<VTEP>:<l3vni>, RT<asn>:<l3vni>) et l’export des routes ducidr. Un hyperviseur n’a plus besoin de porter un subnet pour joindre ses VMRoutes annoncées : le
/24de chaque subnetvxlanà sa création, le/32de chaque interface de VM juste avant son passage enrunning; retirés en premier à la suppressionLa suppression d’un VPC routé retire la configuration de routage de FRR, puis les interfaces, puis la VRF de FRR — dans cet ordre, faute de quoi
bgpdplante (FRR 10.7.1)
Configuration BGP pilotée par l’agent
Nouvelle section facultative
bgp(asn,route_reflectors). Présente, l’agent applique à chaque démarrage, parvtysh, la base BGP de l’hyperviseur (router-id = VTEP, peer-groupfabricvers les route reflectors, EVPN,advertise-all-vni) et l’enregistre :/etc/frr/frr.confdevient un fichier généré. Un route reflector retiré de la liste est retiré de FRR. Absente, l’agent ne touche pas à FRRLe démarrage échoue si la section est incomplète, si FRR tourne déjà sous un autre AS ou si
vtyshne répond pas
Gateway anycast des subnets vxlan (#57)
La gateway et l’adresse d’émission sont calculées par l’agent : avant-dernière adresse du
cidr(.254en/24) pour la gateway, exposée commeinterface_ip, et celle d’avant (.253) pour l’adresse d’émission, exposée comme nouveau champrelay_ip. Lecidrdoit être sans bits d’hôte et faire au plus/29La gateway est portée par un macvlan
gw-<subnet>à MAC anycast02:01:00:<VNI sur 24 bits>, identique sur tous les hôtes qui portent le subnet : une VM résout toujours sa gateway vers son hôte. Le bridge garde une MAC propre à l’hôte,02:03:<IPv4 du VTEP>, et porte l’adresse d’émission, d’où partent les requêtes ARP du netnsUne VM qui reçoit la requête ARP d’un autre hôte ne change plus de gateway : jusqu’ici, elle envoyait pendant quelques secondes son trafic à cet hôte, coupant métadonnées, renouvellement DHCP et sessions depuis le netns. Mesuré en lab : aucune perte pendant cette fenêtre
La MAC anycast est confinée au netns — règles ebtables sur le veth du subnet et entrée FDB locale dans le bridge — et n’apparaît jamais en EVPN. Le DHCP écoute sur
gw-<subnet>; la route du subnet a la gateway pour sourceUne VM ne peut prendre ni la gateway, ni l’adresse d’émission, ni la
gatewayexplicite, ni l’adresse de réseau ou de broadcast du subnet, ni une adresse hors de soncidr(422)Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l’entrée FDB
MAC des VM fournie à la création (#62)
Champ
macobligatoire par interface dansPOST /vms, rendu parGET /vms/{name}. Il est passé tel quel à QEMU et à la réservation DHCP ; son format et son unicité relèvent de l’appelantFin de la table
subnet/<name>/dhcp/<ip>, qui préchargeait une MAC par adresse ducidr: la MAC dérivée du rang de l’IP donnait la même MAC à deux interfaces d’une VM de même rang dans leurs subnets (VM injoignable), et n’était pas tenable en IPv6Migration au démarrage : les VM existantes gardent leur MAC, recopiée sur chaque interface
Disques : vda pour la racine, xvdX pour les autres (#74)
devaccepte désormaisvda, le disque racine virtio, etxvdaàxvdzpour les disques additionnels, sur la cible SCSI de même rang (xvda→ 0). Toute autre valeur est refusée (400),sdXcomprisChaque disque reçoit le numéro de série
<dev>. Le noyau de l’invité nomme les disques SCSI/dev/sdYdans l’ordre de détection, qui change d’un démarrage à l’autre (mesuré en lab :sdaetsdbinversés 4 démarrages sur 6). Le nom stable est/dev/xvdX, créé par une règle udev de l’image (exigence décrite dans la documentation de construction d’image), et toujours/dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_xvdXMigration au démarrage : les clés
vm/<name>/disk/sdXdeviennentvm/<name>/disk/xvdX
MTU unique du cluster (#56)
Nouvelle section
networkde la configuration de l’agent.mtu_vm(1500 par défaut, 1500 au plus) fixe le MTU de toutes les VM et de tous les bridges, veth, taps et interfaces VXLAN que l’agent crée, jusque-là figé à 1500. Il doit être identique sur tous les hyperviseurs. Sous 1500, il fautallow_mtu_vm_below_1500, et jamais sous 1280 ; une valeur hors bornes fait échouer le démarrageLe MTU est annoncé aux VM par l’option DHCP 26 (serveur intégré et dnsmasq) et par
host_mtusur leur interface virtio.probel’afficheL’underlay est attendu à exactement 9000 : un subnet
vxlandont l’interface n’y est pas est refusé (422), comme un VPC avecl3vnisidefault_interfacen’y est pas (409), sauf avecallow_mtu_underlay_below_9000. Dans tous les cas l’underlay doit portermtu_vm+ 50 octets d’en-tête VXLAN. Un subnetbridgeest refusé si son bridge est sousmtu_vm
Exploitation
Le watchdog contrôle aussi, avec une section
bgp: les sessions vers les route reflectors ; pour chaque VPC routé, les interfaces de la VRF et l’état de la L3VNI dans FRR (type, état, MAC de routeur) ; la cohérence entre routes exportées et ressourcesrunning— une route exportée sans propriétaire est signalée comme trou noir, une route attendue absente comme manquanteLe watchdog interroge le serveur DHCP intégré et compare les réservations servies à celles que la base implique. Il nomme ce qui diverge — ordre perdu à la création, ordre perdu à la suppression, adresse ou route par défaut divergente — et reste en lecture seule. Une VM en
creating,deletingouerrorn’est pas comparée : sa réservation peut être présente ou absente sans alerte, le temps que la création ou la suppression aboutisse (#78)La socket de contrôle répond à
get-stateet àprobe, ce dernier montrant sans effet de bord ce qui serait envoyé à une MAC donnée : adresse, masque, routeur, DNS et routesbootstrap_kvm.shinstalle les paquets KVM sans les paquets recommandés et demandeqemu-utilsexplicitement : l’installation, rejouée à chaque démarrage, passe d’environ 270 à 65 Mo (#64)Documentation Sphinx du projet : concepts, architecture, déploiement et exploitation
Correctifs#
Suppression d’un subnet refusée tant qu’une VM non supprimée l’utilise (409, avec la liste des VM), pour tous les subnets : garantit qu’une route
/32est retirée avant le/24de son subnet, ce qui évite un trou noir partiel mesuré en labUn fichier de configuration présent mais invalide fait désormais échouer le démarrage. Jusqu’en 0.1.0 l’erreur de lecture était ignorée : l’agent tournait alors entièrement sur ses valeurs par défaut sans le dire, ce qui rendait indétectable une simple tabulation d’indentation
Réponses de l’API des subnets alignées sur la spécification :
gatewayest rendu aussi parGET /subnetset par la réponse 202 dePOST /subnets, plus seulement parGET /subnets/{name};vxlan_idest omis hors modevxlanau lieu de valoir 0 (#80)probeannonce explicitement"served": falsepour une MAC non réservée, au lieu d’omettre le champ et de le rendre indistinguable d’une réponse tronquéeLe serveur DHCP intégré s’arrête proprement sur
SIGTERMetSIGINT: il ferme sa socket de contrôle et sa socket UDP avant de sortir. Il mourait jusque-là sans nettoyer, et laissait/run/two/dhcp/<netns>_<bridge>.sockaprès la suppression du subnet. L’agent supprime aussi cette socket avec le fichier d’état, ce qui couvre une mort brutale du processus (#77)Les VXLAN portent l’adresse VTEP locale (#51). Créés sans adresse source, ils laissaient FRR sans VTEP local : aucune route EVPN annoncée, et les VM d’un même subnet
vxlanne se joignaient pas d’un hyperviseur à l’autreVM multi-NIC : les interfaces secondaires obtiennent leur bail (#73). Le
network-configservi par le serveur de metadata ne déclarait queeth0; il déclare désormais une entrée par interface, reconnue par sa MAC. L’image doit en outre lancer DHCP sur toutes ses interfacesen*: voir la documentation de l’imageMode
bridgesur plusieurs hôtes :interface_ipconfinée à son hôte (#75). Chaque hôte portant la mêmeinterface_ip, une VM obtenait parfois l’ARP, les métadonnées ou le DHCP d’un autre hôte : en lab, une VM ne recevait ses propres métadonnées que 3 à 4 fois sur 5. L’agent bloque désormais vers le segment les requêtes ARP versinterface_ip, l’ARP émis depuis elle et le DHCP émis depuis elle, y compris par le serveur local (chaîneOUTPUT, que la règle précédente ne couvrait pas). Le watchdog signale une règle manquante ; la suppression d’un subnet ne retire que les règles présentes
Changements internes#
Nouveaux paquets
internal/frr(seul point d’appel àvtysh: génération des commandes, démontage ordonné, relecture de la configuration après démontage) etinternal/sysctl; une remarque devtysh(« Configuration applied with notes ») n’est pas une erreur, et la suppression d’une instance BGP de VRF est réessayée tant quebgpdn’a pas libéré la L3VNILes tests du dispatcher arrêtent les workers avant de fermer la base (#47), ceux du watchdog attendent la fin de
Runavant de la fermer (#83)Lab de test : labctl, qui monte un lab virtuel (hyperviseurs en KVM imbriqué, route reflectors, switchs L3), vit dans son propre dépôt (#50, #55) ; la suite
test/e2ereste dans two, refondue par fonctionnalité dans un ordre fixe (#70), sur un plan de contrôle redondant — deux route reflectors, deux switchs (#54). L’image Rocky 10 des VM de test se construit de façon reproductible danssyonad/two-images(#53)Le module passe à Go 1.25, exigé par la bibliothèque DHCP retenue. La version de Go du workflow de build, restée à 1.21 alors que le module en demandait davantage, est alignée
Nouveau paquet
pkg/db/statefile: persistance générique d’un état de composant dans un fichier, en écriture atomique. Badger a été écarté pour cet usage — une instance par subnet coûterait une memtable de 64 Mio et quatre goroutines de compaction pour environ un kilo-octet d’état, dans untmpfs, et laisserait un verrou résiduel après un arrêt brutalinternal/subnetetinternal/vmne parlent plus à dnsmasq en direct mais à une interfaceBackendà deux implémentations
Périmètre et limites connues#
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S’y ajoutent :
L3VNI : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. Le transit
169.254.0.0/30étant identique sur tous les hôtes, les ICMP des sauts distants sont rejetés comme « martiens » (traceroute partiel)Avec une section
bgp, l’agent ne démarre pas sans FRR etagent.servicene le relance pas : au démarrage, l’ordre est migration réseau, puis FRR, puis l’agent (#52)bootstrap_kvm.shactivenet.ipv4.ip_forwarden global ; le forwarding que l’agent active sur les seules interfaces de la VRF n’en restreint donc pas la portéednsmasq n’est pas retiré et reste un paquet requis : il sert les hyperviseurs qui déclarent
dhcp.backend: dnsmasq, dont ceux mis à jour avec des subnets existants, et le retour arrière suppose dnsmasq installé. Son retrait est prévu en 0.4.0 (#49)Pas de DNS, pas de pool dynamique, pas de PXE, pas de DHCPv6 dans le serveur intégré
La comparaison faite par le watchdog porte sur les réservations et non sur la configuration du subnet : celle-ci dépend de la route par défaut de l’host, dont la lecture au moment du contrôle produirait de faux écarts. Un serveur dépourvu de configuration est en revanche signalé
L’option 249 (routes classless de Microsoft) n’est pas émise, comme dnsmasq ne l’émet pas
Le serveur intégré écoute UDP/67 sans authentification, comme tout serveur DHCP : l’isolation entre locataires d’un même subnet repose sur les règles ebtables anti-usurpation, inchangées
internal/dhcpbackendn’est testé sous Linux que pour ses appels systemd ; le reste, y compris le dialogue avec le serveur intégré, est couvert sur toute plateforme
Mise à jour depuis la 0.1.0#
curl -O https://git.g3e.fr/syonad/two/raw/branch/main/scripts/deploy.sh
bash ./deploy.sh -t 0.2.0
Sans bgp dans /etc/two/agent.yml, le comportement est celui de la 0.1.0, à six exceptions
près ; les quatre premières touchent les appelants de l’API :
interface_ipne se fournit plus pour un subnetvxlan: il est refusé (400), l’agent le calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières adresses utilisables du subnet. Il reste obligatoire enbridgeetpublic_ipun subnet encore utilisé par une VM ne se supprime plus : supprimer les VM d’abord
chaque interface d’une VM doit porter sa
mac(400 sinon) : l’appelant la choisit et en garantit l’unicité. Les VM existantes gardent la leur, recopiée au premier démarrage de l’agentles disques additionnels s’appellent
xvdX:sdXest refusé (400). Les VM existantes sont migrées ; leurs disques prennent le numéro de sériexvdXau prochain lancement, et une image qui les montait par/dev/sdYdoit passer à/dev/xvdXl’underlay doit être à 9000 : sur un hyperviseur dont
default_interface(ou l’interface d’uniface_type) est à un autre MTU, la création d’un subnetvxlanest refusée. Passer l’underlay à 9000, ou posernetwork.allow_mtu_underlay_below_9000: true— sous 1550, il faut aussi abaissernetwork.mtu_vmavecallow_mtu_vm_below_1500. Les subnets existants gardent leurs interfaces à 1500 jusqu’à leur recréationle DHCP passe par défaut au serveur intégré (
dhcp.backend: two) : sur un hyperviseur qui a déjà des subnets, ajouterdhcp.backend: dnsmasqà/etc/two/agent.ymlavantdeploy.sh -t 0.2.0. Sinon ses subnets restent servis par dnsmasq pendant que l’agent s’adresse au serveur intégré : les VM existantes continuent, les nouvelles n’obtiennent pas d’adresse. Un hyperviseur vide n’a rien à faire
Les subnets vxlan existants gardent leur adressage et le modèle précédent (gateway sur le
bridge) jusqu’à leur recréation. Les subnets bridge existants restent sans le confinement de
interface_ip (#75) jusqu’à leur recréation ; le watchdog les signale.
Pour router entre hyperviseurs : ajouter la section bgp, réduire frr.conf à hostname et
log (l’agent pose le reste), puis créer les VPC avec l3vni. Pour passer au serveur intégré, suivre la procédure de bascule dans la
documentation d’exploitation — elle suppose un hyperviseur vidé.