9.6 KiB
Bael
Serveur DHCP intégré, en coexistence avec dnsmasq ; routage inter-subnet entre hyperviseurs par L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet.
Fonctionnalités
Serveur DHCP intégré
- Nouveau binaire
dhcp, une instance par subnet lancée dans le netns du VPC par l'unitdhcp@<netns>_<bridge>. Il reçoit son bridge et ses deux chemins de fichiers en paramètres : il ne compose aucun chemin et ignore le netns dans lequel il tourne - Piloté par l'agent sur une socket Unix
/run/two/dhcp/<netns>_<bridge>.sock, en JSON par ligne. Ordres idempotents en remplacement intégral : configuration du subnet à sa création, une réservation par interface à chaque création ou suppression de VM - Réservations statiques uniquement, pas de baux : une MAC inconnue n'obtient rien, et le
serveur reste silencieux plutôt que de répondre par un refus. Aucun
DHCPNAKn'est émis - État auto-persisté dans
/run/two/dhcp/<netns>_<bridge>.state, en écriture atomique et lisible par le seulroot. Le fichier appartient au processus, qui le relit à son démarrage ; l'agent ne l'écrit jamais et se borne à le supprimer — à la création du subnet pour écarter un résidu, à sa suppression après avoir arrêté l'unit - La route par défaut est décidée par interface et non plus par subnet, ce qui permet de ne l'annoncer que sur une interface d'une VM multi-réseaux
- L'encodage RFC 3442 de l'option 121 est délégué à
github.com/insomniacslk/dhcp
Coexistence avec dnsmasq
- Nouvelle clé
dhcp.backend,dnsmasqoutwo, qui choisit le serveur des subnets créés par cet agent. Le défaut estdnsmasq: un fichier de configuration de la 0.1.0, non modifié, se comporte exactement comme avant - La bascule est une opération manuelle sur un hyperviseur vide — l'option ne migre rien, un subnet déjà créé reste servi par le serveur qui l'a été. La procédure est documentée
- Toute valeur autre que
dnsmasqoutwofait échouer le démarrage de l'agent
Routage inter-subnet entre hyperviseurs : L3VNI (#41)
- Nouveau champ facultatif
l3vnisurPOST /vpcs(1 à 65535, sauf 253-255 : c'est aussi l'identifiant de la table de routage, et le numéro du RD<VTEP>:<l3vni>, sur 16 bits). Absent, le VPC se comporte comme avant. Une L3VNI déjà portée par un VPC de l'agent est refusée (409), comme unl3vnidemandé sans sectionbgp - Pour un VPC routé, l'agent pose sur l'hyperviseur une VRF (table = L3VNI), un bridge à la MAC de
routeur
02:02:<IPv4 du VTEP>, le VXLAN de la L3VNI, un lien de transit169.254.0.1/30↔169.254.0.2/30vers le netns et la route ducidrdu VPC dans le netns ; FRR reçoit la VRF, savni, une instancerouter bgp … vrf(RD<VTEP>:<l3vni>, RT<asn>:<l3vni>) et l'export des routes ducidr. Un hyperviseur n'a plus besoin de porter un subnet pour joindre ses VM - Routes annoncées : le
/24de chaque subnetvxlanà sa création, le/32de chaque interface de VM juste avant son passage enrunning; retirés en premier à la suppression - La suppression d'un VPC routé retire la configuration de routage de FRR, puis les interfaces,
puis la VRF de FRR — dans cet ordre, faute de quoi
bgpdplante (FRR 10.7.1)
Configuration BGP pilotée par l'agent
- Nouvelle section facultative
bgp(asn,route_reflectors). Présente, l'agent applique à chaque démarrage, parvtysh, la base BGP de l'hyperviseur (router-id = VTEP, peer-groupfabricvers les route reflectors, EVPN,advertise-all-vni) et l'enregistre :/etc/frr/frr.confdevient un fichier généré. Un route reflector retiré de la liste est retiré de FRR. Absente, l'agent ne touche pas à FRR - Le démarrage échoue si la section est incomplète, si FRR tourne déjà sous un autre AS ou si
vtyshne répond pas
Gateway des subnets vxlan
- Le bridge du subnet porte une MAC propre à l'hôte,
02:03:<IPv4 du VTEP>, posée à la création du subnet. Une MAC identique sur tous les hôtes (anycast) a été essayée puis retirée : annoncée en double en EVPN, elle empêchait aussi une gateway de joindre en L2 une VM d'un autre hôte (#57)
Exploitation
- Le watchdog contrôle aussi, avec une section
bgp: les sessions vers les route reflectors ; pour chaque VPC routé, les interfaces de la VRF et l'état de la L3VNI dans FRR (type, état, MAC de routeur) ; la cohérence entre routes exportées et ressourcesrunning— une route exportée sans propriétaire est signalée comme trou noir, une route attendue absente comme manquante - Le watchdog interroge le serveur DHCP intégré et compare les réservations servies à celles que la base implique. Il nomme ce qui diverge — ordre perdu à la création, ordre perdu à la suppression, adresse ou route par défaut divergente — et reste en lecture seule
- La socket de contrôle répond à
get-stateet àprobe, ce dernier montrant sans effet de bord ce qui serait envoyé à une MAC donnée : adresse, masque, routeur, DNS et routes - Documentation Sphinx du projet : concepts, architecture, déploiement et exploitation
Correctifs
- Suppression d'un subnet refusée tant qu'une VM non supprimée l'utilise (409, avec la liste
des VM), pour tous les subnets : garantit qu'une route
/32est retirée avant le/24de son subnet, ce qui évite un trou noir partiel mesuré en lab - Un fichier de configuration présent mais invalide fait désormais échouer le démarrage. Jusqu'en 0.1.0 l'erreur de lecture était ignorée : l'agent tournait alors entièrement sur ses valeurs par défaut sans le dire, ce qui rendait indétectable une simple tabulation d'indentation
probeannonce explicitement"served": falsepour une MAC non réservée, au lieu d'omettre le champ et de le rendre indistinguable d'une réponse tronquée
Changements internes
- Nouveaux paquets
internal/frr(seul point d'appel àvtysh: génération des commandes, démontage ordonné, relecture de la configuration après démontage) etinternal/sysctl; une remarque devtysh(« Configuration applied with notes ») n'est pas une erreur, et la suppression d'une instance BGP de VRF est réessayée tant quebgpdn'a pas libéré la L3VNI - Les tests du dispatcher arrêtent les workers avant de fermer la base (#47)
- Le module passe à Go 1.25, exigé par la bibliothèque DHCP retenue. La version de Go du workflow de build, restée à 1.21 alors que le module en demandait davantage, est alignée
- Nouveau paquet
pkg/db/statefile: persistance générique d'un état de composant dans un fichier, en écriture atomique. Badger a été écarté pour cet usage — une instance par subnet coûterait une memtable de 64 Mio et quatre goroutines de compaction pour environ un kilo-octet d'état, dans untmpfs, et laisserait un verrou résiduel après un arrêt brutal internal/subnetetinternal/vmne parlent plus à dnsmasq en direct mais à une interfaceBackendà deux implémentations
Périmètre et limites connues
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
- L3VNI : pas de migration à chaud ; le cache ARP d'une VM qui changerait d'hôte reste à
traiter (#57). MTU 1500 de bout en bout (#56). Un seul route reflector qualifié (#54). Le
transit
169.254.0.0/30étant identique sur tous les hôtes, les ICMP des sauts distants sont rejetés comme « martiens » (traceroute partiel) - Avec une section
bgp, l'agent ne démarre pas sans FRR etagent.servicene le relance pas : au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52) bootstrap_kvm.shactivenet.ipv4.ip_forwarden global ; le forwarding que l'agent active sur les seules interfaces de la VRF n'en restreint donc pas la portée- dnsmasq n'est pas retiré et reste un paquet requis : le backend intégré ne sert que les subnets créés après la bascule, et le retour arrière suppose dnsmasq installé
- Pas de DNS, pas de pool dynamique, pas de PXE, pas de DHCPv6 dans le serveur intégré
- La comparaison faite par le watchdog porte sur les réservations et non sur la configuration du subnet : celle-ci dépend de la route par défaut de l'host, dont la lecture au moment du contrôle produirait de faux écarts. Un serveur dépourvu de configuration est en revanche signalé
- L'option 249 (routes classless de Microsoft) n'est pas émise, comme dnsmasq ne l'émet pas
- Le serveur intégré écoute UDP/67 sans authentification, comme tout serveur DHCP : l'isolation entre locataires d'un même subnet repose sur les règles ebtables anti-usurpation, inchangées
internal/dhcpbackendn'est testé sous Linux que pour ses appels systemd ; le reste, y compris le dialogue avec le serveur intégré, est couvert sur toute plateforme
Mise à jour depuis la 0.1.0
curl -O https://git.g3e.fr/syonad/two/raw/branch/main/scripts/deploy.sh
bash ./deploy.sh -t 0.2.0
Aucune action n'est requise : sans dhcp.backend ni bgp dans /etc/two/agent.yml, le
comportement est celui de la 0.1.0, à une exception près — un subnet encore utilisé par une VM
ne se supprime plus : supprimer les VM d'abord. Les subnets vxlan existants gardent leur MAC
de gateway jusqu'à leur recréation.
Pour router entre hyperviseurs : ajouter la section bgp, réduire frr.conf à hostname et
log (l'agent pose le reste), puis créer les VPC avec l3vni. Pour passer au serveur intégré, suivre la procédure de bascule dans la
documentation d'exploitation — elle suppose un hyperviseur vidé.