Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
9.5 KiB
Bael
Serveur DHCP intégré, en coexistence avec dnsmasq ; routage inter-subnet entre hyperviseurs par L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet.
Fonctionnalités
Serveur DHCP intégré
- Nouveau binaire
dhcp, une instance par subnet lancée dans le netns du VPC par l'unitdhcp@<netns>_<bridge>. Il reçoit son bridge et ses deux chemins de fichiers en paramètres : il ne compose aucun chemin et ignore le netns dans lequel il tourne - Piloté par l'agent sur une socket Unix
/run/two/dhcp/<netns>_<bridge>.sock, en JSON par ligne. Ordres idempotents en remplacement intégral : configuration du subnet à sa création, une réservation par interface à chaque création ou suppression de VM - Réservations statiques uniquement, pas de baux : une MAC inconnue n'obtient rien, et le
serveur reste silencieux plutôt que de répondre par un refus. Aucun
DHCPNAKn'est émis - État auto-persisté dans
/run/two/dhcp/<netns>_<bridge>.state, en écriture atomique et lisible par le seulroot. Le fichier appartient au processus, qui le relit à son démarrage ; l'agent ne l'écrit jamais et se borne à le supprimer — à la création du subnet pour écarter un résidu, à sa suppression après avoir arrêté l'unit - La route par défaut est décidée par interface et non plus par subnet, ce qui permet de ne l'annoncer que sur une interface d'une VM multi-réseaux
- L'encodage RFC 3442 de l'option 121 est délégué à
github.com/insomniacslk/dhcp
Coexistence avec dnsmasq
- Nouvelle clé
dhcp.backend,dnsmasqoutwo, qui choisit le serveur des subnets créés par cet agent. Le défaut estdnsmasq: un fichier de configuration de la 0.1.0, non modifié, se comporte exactement comme avant - La bascule est une opération manuelle sur un hyperviseur vide — l'option ne migre rien, un subnet déjà créé reste servi par le serveur qui l'a été. La procédure est documentée
- Toute valeur autre que
dnsmasqoutwofait échouer le démarrage de l'agent
Routage inter-subnet entre hyperviseurs : L3VNI (#41)
- Nouveau champ facultatif
l3vnisurPOST /vpcs(1 à 16777215, sauf 253-255 : c'est aussi l'identifiant de la table de routage). Absent, le VPC se comporte comme avant. Une L3VNI déjà portée par un VPC de l'agent est refusée (409), comme unl3vnidemandé sans sectionbgp - Pour un VPC routé, l'agent pose sur l'hyperviseur une VRF (table = L3VNI), un bridge à la MAC de
routeur
02:02:<IPv4 du VTEP>, le VXLAN de la L3VNI, un lien de transit169.254.0.1/30↔169.254.0.2/30vers le netns et la route ducidrdu VPC dans le netns ; FRR reçoit la VRF, savni, une instancerouter bgp … vrf(RD<VTEP>:<l3vni>, RT<asn>:<l3vni>) et l'export des routes ducidr. Un hyperviseur n'a plus besoin de porter un subnet pour joindre ses VM - Routes annoncées : le
/24de chaque subnetvxlanà sa création, le/32de chaque interface de VM juste avant son passage enrunning; retirés en premier à la suppression - La suppression d'un VPC routé retire la configuration de routage de FRR, puis les interfaces,
puis la VRF de FRR — dans cet ordre, faute de quoi
bgpdplante (FRR 10.7.1)
Configuration BGP pilotée par l'agent
- Nouvelle section facultative
bgp(asn,route_reflectors). Présente, l'agent applique à chaque démarrage, parvtysh, la base BGP de l'hyperviseur (router-id = VTEP, peer-groupfabricvers les route reflectors, EVPN,advertise-all-vni) et l'enregistre :/etc/frr/frr.confdevient un fichier généré. Un route reflector retiré de la liste est retiré de FRR. Absente, l'agent ne touche pas à FRR - Le démarrage échoue si la section est incomplète, si FRR tourne déjà sous un autre AS ou si
vtyshne répond pas
Gateway des subnets vxlan
- Le bridge du subnet porte une MAC propre à l'hôte,
02:03:<IPv4 du VTEP>, posée à la création du subnet. Une MAC identique sur tous les hôtes (anycast) a été essayée puis retirée : annoncée en double en EVPN, elle empêchait aussi une gateway de joindre en L2 une VM d'un autre hôte (#57)
Exploitation
- Le watchdog contrôle aussi, avec une section
bgp: les sessions vers les route reflectors ; pour chaque VPC routé, les interfaces de la VRF et l'état de la L3VNI dans FRR (type, état, MAC de routeur) ; la cohérence entre routes exportées et ressourcesrunning— une route exportée sans propriétaire est signalée comme trou noir, une route attendue absente comme manquante - Le watchdog interroge le serveur DHCP intégré et compare les réservations servies à celles que la base implique. Il nomme ce qui diverge — ordre perdu à la création, ordre perdu à la suppression, adresse ou route par défaut divergente — et reste en lecture seule
- La socket de contrôle répond à
get-stateet àprobe, ce dernier montrant sans effet de bord ce qui serait envoyé à une MAC donnée : adresse, masque, routeur, DNS et routes - Documentation Sphinx du projet : concepts, architecture, déploiement et exploitation
Correctifs
- Suppression d'un subnet refusée tant qu'une VM non supprimée l'utilise (409, avec la liste
des VM), pour tous les subnets : garantit qu'une route
/32est retirée avant le/24de son subnet, ce qui évite un trou noir partiel mesuré en lab - Un fichier de configuration présent mais invalide fait désormais échouer le démarrage. Jusqu'en 0.1.0 l'erreur de lecture était ignorée : l'agent tournait alors entièrement sur ses valeurs par défaut sans le dire, ce qui rendait indétectable une simple tabulation d'indentation
probeannonce explicitement"served": falsepour une MAC non réservée, au lieu d'omettre le champ et de le rendre indistinguable d'une réponse tronquée
Changements internes
- Nouveaux paquets
internal/frr(seul point d'appel àvtysh: génération des commandes, démontage ordonné, relecture de la configuration après démontage) etinternal/sysctl; une remarque devtysh(« Configuration applied with notes ») n'est pas une erreur, et la suppression d'une instance BGP de VRF est réessayée tant quebgpdn'a pas libéré la L3VNI - Les tests du dispatcher arrêtent les workers avant de fermer la base (#47)
- Le module passe à Go 1.25, exigé par la bibliothèque DHCP retenue. La version de Go du workflow de build, restée à 1.21 alors que le module en demandait davantage, est alignée
- Nouveau paquet
pkg/db/statefile: persistance générique d'un état de composant dans un fichier, en écriture atomique. Badger a été écarté pour cet usage — une instance par subnet coûterait une memtable de 64 Mio et quatre goroutines de compaction pour environ un kilo-octet d'état, dans untmpfs, et laisserait un verrou résiduel après un arrêt brutal internal/subnetetinternal/vmne parlent plus à dnsmasq en direct mais à une interfaceBackendà deux implémentations
Périmètre et limites connues
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
- L3VNI : pas de migration à chaud ; le cache ARP d'une VM qui changerait d'hôte reste à
traiter (#57). MTU 1500 de bout en bout (#56). Un seul route reflector qualifié (#54). Le
transit
169.254.0.0/30étant identique sur tous les hôtes, les ICMP des sauts distants sont rejetés comme « martiens » (traceroute partiel) - Avec une section
bgp, l'agent ne démarre pas sans FRR etagent.servicene le relance pas : au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52) bootstrap_kvm.shactivenet.ipv4.ip_forwarden global ; le forwarding que l'agent active sur les seules interfaces de la VRF n'en restreint donc pas la portée- dnsmasq n'est pas retiré et reste un paquet requis : le backend intégré ne sert que les subnets créés après la bascule, et le retour arrière suppose dnsmasq installé
- Pas de DNS, pas de pool dynamique, pas de PXE, pas de DHCPv6 dans le serveur intégré
- La comparaison faite par le watchdog porte sur les réservations et non sur la configuration du subnet : celle-ci dépend de la route par défaut de l'host, dont la lecture au moment du contrôle produirait de faux écarts. Un serveur dépourvu de configuration est en revanche signalé
- L'option 249 (routes classless de Microsoft) n'est pas émise, comme dnsmasq ne l'émet pas
- Le serveur intégré écoute UDP/67 sans authentification, comme tout serveur DHCP : l'isolation entre locataires d'un même subnet repose sur les règles ebtables anti-usurpation, inchangées
internal/dhcpbackendn'est testé sous Linux que pour ses appels systemd ; le reste, y compris le dialogue avec le serveur intégré, est couvert sur toute plateforme
Mise à jour depuis la 0.1.0
curl -O https://git.g3e.fr/syonad/two/raw/branch/main/scripts/deploy.sh
bash ./deploy.sh -t 0.2.0
Aucune action n'est requise : sans dhcp.backend ni bgp dans /etc/two/agent.yml, le
comportement est celui de la 0.1.0, à une exception près — un subnet encore utilisé par une VM
ne se supprime plus : supprimer les VM d'abord. Les subnets vxlan existants gardent leur MAC
de gateway jusqu'à leur recréation.
Pour router entre hyperviseurs : ajouter la section bgp, réduire frr.conf à hostname et
log (l'agent pose le reste), puis créer les VPC avec l3vni. Pour passer au serveur intégré, suivre la procédure de bascule dans la
documentation d'exploitation — elle suppose un hyperviseur vidé.