diff --git a/README.md b/README.md index 538b2ae..17ed19a 100644 --- a/README.md +++ b/README.md @@ -22,20 +22,20 @@ Options utiles : | Option | Effet | |---|---| -| `-t ` | déployer une release donnée | -| `-b ` | déployer depuis une branche au lieu d'une release | +| `-t ` | déployer une release donnée ; sans `-t`, la dernière publiée, préversions comprises | +| `-b /` | branche d'où viennent l'auto-mise à jour du script et le bootstrap (`main/` par défaut, `/` final obligatoire) ; les binaires viennent toujours d'une release | | `-i` | préparer l'host (paquets, noyau, réseau) | | `-u ` | interface physique d'uplink, `eno1` par défaut | | `-B ` | bridge principal auquel l'uplink est rattaché | | `-d` | dry-run : affiche les commandes sans les exécuter | -| `-V` | désactiver la vérification des sommes de contrôle | +| `--noverify` | désactiver la vérification des sommes de contrôle | Un déploiement relève les instances `dnsmasq@`, `dhcp@` et `metadata@` actives **avant** l'arrêt des services, et les redémarre ensuite — c'est la seule façon de savoir lesquelles relancer. ## Configuration -Un seul fichier, `/etc/two/agent.yml`, partagé par les trois binaires. Voir +Un seul fichier, `/etc/two/agent.yml`, partagé par les quatre binaires. Voir [`conf/agent/config.exemple.yml`](conf/agent/config.exemple.yml) pour l'ensemble des options : chemins de la base et des sockets QEMU, pool de workers, correspondance des types d'interface vers les bridges physiques, watchdog, API d'administration, journalisation. @@ -49,7 +49,7 @@ curl -X POST http://127.0.0.1:8080/vpcs \ # Un subnet en VXLAN dans ce VPC curl -X POST http://127.0.0.1:8080/subnets \ - -d '{"name": "sn-000001", "vpc": "vp-admin", "mode": "vxlan", "vxlan_id": 1, + -d '{"name": "sn-000001", "vpc": "vp-admin", "mode": "vxlan", "vxlan_id": 65537, "iface_type": "vms", "cidr": "10.1.0.0/23"}' # Une VM, avec une clé SSH et un user-data cloud-init en base64 @@ -58,7 +58,7 @@ curl -X POST http://127.0.0.1:8080/vms \ "metadata": {"sshkey": "ssh-ed25519 AAAA…", "user_data": "'"$(base64 -w0 < user-data.yml)"'"}, "interfaces": [{"subnet": "sn-000001", "ip": "10.1.1.2", "mac": "52:54:00:01:01:02", "primary": true}], - "storage": [{"path": "/data/disks/vms/i-web.qcow2", "dev": "vda"}]}' + "storage": [{"path": "/var/lib/two/volumes/i-web.qcow2", "dev": "vda"}]}' ``` Les créations sont **asynchrones** : l'API répond `202` et l'état de la ressource passe de @@ -75,9 +75,10 @@ La spécification complète est dans [`api/agent.yaml`](api/agent.yaml). |---|---| | `agent` | processus principal : API, dispatcher, exécution, watchdog | | `metadata` | serveur de metadata cloud-init, une instance par VM dans le netns du VPC | -| `db` | inspection de la base clé-valeur en ligne de commande | +| `dhcp` | serveur DHCP intégré, une instance par subnet dans le netns du VPC, avec `dhcp.backend: two` | +| `db` | inspection de la base clé-valeur en ligne de commande ; ni publié ni déployé, à compiler (`go build ./cmd/db`) | -L'agent prend `-config`, les deux autres `-conf`. +L'agent prend `-config`, les trois autres `-conf`. ## Versions diff --git a/api/agent.yaml b/api/agent.yaml index 03aad15..7e133e7 100644 --- a/api/agent.yaml +++ b/api/agent.yaml @@ -2,7 +2,7 @@ openapi: "3.1.0" info: title: Two API version: "0.1.0" - description: REST API for managing VPCs and Subnets in the Two orchestrator. + description: REST API for managing VPCs, Subnets and VMs in the Two orchestrator. servers: - url: http://localhost:8080 @@ -45,7 +45,7 @@ paths: schema: $ref: "#/components/schemas/VPC" "400": - description: Missing required field, invalid request body, or l3vni out of range + description: Missing required field, invalid request body, invalid CIDR, or l3vni out of range content: application/json: schema: @@ -360,7 +360,11 @@ components: properties: name: type: string - description: Unique name for the subnet + description: > + Unique name for the subnet. Must contain a "-": the system id (bridge br-) is + what follows the first one. Not validated by the agent (caller's responsibility): a name + without "-" makes the agent worker panic. + pattern: '^[^-]+-.+' example: sn-00001 vpc: type: string @@ -482,6 +486,7 @@ components: interfaces: type: array minItems: 1 + maxItems: 27 description: > Network interfaces, in order. The position determines the PCI slot (0x03 + index) and therefore the interface name inside the guest. diff --git a/conf/agent/config.exemple.yml b/conf/agent/config.exemple.yml index 19a09f9..077f1d9 100644 --- a/conf/agent/config.exemple.yml +++ b/conf/agent/config.exemple.yml @@ -76,7 +76,7 @@ qemu: ovmf_code_path: "/usr/share/OVMF/OVMF_CODE.fd" ovmf_vars_template: "/usr/share/OVMF/OVMF_VARS.fd" # Per-VM UEFI variable store (writable copy, created at start / deleted at stop) - uefi_vars_dir: "/run/two/vms/efi" + uefi_vars_dir: "/run/two/vms/uefi" # QEMU Unix socket directories serial_dir: "/run/two/vms/serial" monitor_dir: "/run/two/vms/monitor" diff --git a/docs/README.md b/docs/README.md index 0ef7780..dcdfa07 100644 --- a/docs/README.md +++ b/docs/README.md @@ -11,10 +11,10 @@ pip install -r requirements.txt sphinx-autobuild . "${TMPDIR}/build" ``` -Construction simple : +Construction simple, avec les mêmes options que la CI (avertissements bloquants) : ```bash -sphinx-build -b html . _build/html +sphinx-build -b html -W --keep-going . _build/html ``` La référence de l'API est générée depuis `../api/agent.yaml` : c'est la source unique du diff --git a/docs/architecture/contraintes.rst b/docs/architecture/contraintes.rst index 42e8de2..5686cee 100644 --- a/docs/architecture/contraintes.rst +++ b/docs/architecture/contraintes.rst @@ -4,11 +4,6 @@ Invariants et pièges Contraintes découvertes en production ou en corrigeant des bugs. Les enfreindre casse quelque chose qui fonctionne, souvent en silence. -.. note:: - - Cette page reprend la section « Invariants et pièges » de ``CLAUDE.md``, qui reste la - référence de développement et fait foi en cas d'écart. - Réseau ------ diff --git a/docs/architecture/index.rst b/docs/architecture/index.rst index 8a1308e..c7d3ef4 100644 --- a/docs/architecture/index.rst +++ b/docs/architecture/index.rst @@ -2,8 +2,7 @@ Architecture ============ L'organisation interne de l'agent : découpage en paquets, stockage, et contraintes à ne pas -enfreindre. Ces pages s'adressent à qui modifie le code ; ``CLAUDE.md``, à la racine du dépôt, -reste la référence de développement et fait foi en cas d'écart. +enfreindre. Ces pages s'adressent à qui modifie le code. .. toctree:: :maxdepth: 1 diff --git a/docs/architecture/vue-densemble.rst b/docs/architecture/vue-densemble.rst index 2d200f5..8bcb08b 100644 --- a/docs/architecture/vue-densemble.rst +++ b/docs/architecture/vue-densemble.rst @@ -58,16 +58,28 @@ Paquets - cycle de vie d'une VM : tap, iptables, metadata, qemu * - ``internal/dhcp`` - plan d'adressage ip → mac, et configurations dnsmasq du backend historique + * - ``internal/dhcpbackend`` + - interface commune aux deux backends DHCP (``dnsmasq`` et ``two``), choisie par + ``dhcp.backend`` + * - ``internal/dhcpd`` + - moteur du serveur DHCP intégré : réservations en mémoire, réponses, écoute + * - ``internal/api/dhcp``, ``internal/client/dhcp`` + - protocole de la socket de contrôle du serveur DHCP intégré (``set-host``, ``probe``, + ``get-state``…), côté serveur et côté agent * - ``internal/metadata`` - serveur de metadata cloud-init et ses templates * - ``internal/watchdog`` - vérification périodique en lecture seule + * - ``internal/watchdog/notify`` + - émission des écarts relevés par le watchdog (journal) * - ``internal/config/agent`` - chargement par viper — tags ``mapstructure``, jamais ``yaml`` * - ``internal/prometheus/agent`` - collector des métriques ``syonad_*`` * - ``pkg/db/kv`` - wrapper Badger ; toutes les valeurs sont des chaînes plates + * - ``pkg/db/statefile`` + - fichier d'état JSON typé, écrit de façon atomique, utilisé par le backend DHCP ``two`` * - ``pkg/worker`` - pool de goroutines sur canal * - ``pkg/systemd`` diff --git a/docs/concepts/cycle-de-vie.rst b/docs/concepts/cycle-de-vie.rst index 43e6172..bf41484 100644 --- a/docs/concepts/cycle-de-vie.rst +++ b/docs/concepts/cycle-de-vie.rst @@ -10,7 +10,6 @@ VPC, subnets et VM partagent le même jeu d'états. creating --> running creating --> error running --> deleting - running --> error deleting --> deleted deleting --> error error --> deleting @@ -27,7 +26,9 @@ VPC, subnets et VM partagent le même jeu d'états. * - ``running`` - la ressource existe sur le système * - ``error`` - - ``Execute`` a échoué ; état **terminal**, il n'y a pas de reprise automatique + - ``Execute`` a échoué, ou la migration du démarrage a trouvé la ressource en ``creating`` ou + ``deleting`` ; état **terminal**, il n'y a pas de reprise automatique. Une ressource + ``running`` ne passe jamais en ``error`` * - ``deleting`` - suppression en cours * - ``deleted`` diff --git a/docs/concepts/metadata-cloud-init.rst b/docs/concepts/metadata-cloud-init.rst index 8bfd934..a28f40b 100644 --- a/docs/concepts/metadata-cloud-init.rst +++ b/docs/concepts/metadata-cloud-init.rst @@ -20,14 +20,14 @@ deux processus ne doivent pas partager une même instance. Documents servis ---------------- -Chaque document suit la même règle : +Quatre documents sont servis : ``meta-data``, ``user-data``, ``network-config`` et +``vendor-data``. Seul ``user-data`` vient de l'appelant : -* fourni par l'appelant → servi **verbatim**, l'agent n'interprète rien ; -* absent → le template par défaut est rendu ; -* fourni **vide** → servi vide. +* ``user_data`` fourni → servi **verbatim**, après décodage base64 ; l'agent n'interprète rien ; +* ``user_data`` absent ou **vide** → ``user-data`` servi vide : les deux cas sont équivalents. -Les deux derniers cas sont distincts, et c'est délibéré : fournir une chaîne vide est une façon -explicite de neutraliser un document. +``meta-data``, ``network-config`` et ``vendor-data`` sont **toujours** rendus depuis les templates +de l'agent ; ``vendor-data`` crée le compte ``syonad`` à partir de ``password`` et ``sshkey``. Champs de ``metadata`` ---------------------- @@ -90,11 +90,15 @@ défaut. Départager les routes en double relève de l'utilisateur de la VM, par * cloud-init 22.4 (Debian 12) ne demande jamais ``network-config`` par ``seedfrom`` et applique sa configuration de repli, limitée à la première interface ; * cloud-init 25.1 (Debian 13) le lit et l'applique au premier démarrage, mais à chaque - démarrage suivant l'étape locale réapplique le repli, et ``network-config`` n'est pas - relu : les interfaces secondaires perdent leur configuration. + démarrage suivant l'étape locale réapplique le repli. L'étape réseau, qui trouve la + source, émet alors l'événement ``boot-legacy`` : refusé par défaut, il est autorisé par + ``updates: network: when: [boot-new-instance, boot, boot-legacy]``, et ``network-config`` + est alors réappliqué à chaque démarrage. Sans ce réglage, les interfaces secondaires + perdent leur configuration. L'image doit donc faire du DHCP IPv4 sur **toutes** ses interfaces Ethernet, sans compter - sur cloud-init. Voir :doc:`/deploiement/image-qcow2`. + sur cloud-init, et autoriser ``boot-legacy`` pour que le ``network-config`` reste appliqué + là où cloud-init le lit. Voir :doc:`/deploiement/image-qcow2`. Sécurité -------- diff --git a/docs/concepts/modes-reseau.rst b/docs/concepts/modes-reseau.rst index 519696c..8a0503d 100644 --- a/docs/concepts/modes-reseau.rst +++ b/docs/concepts/modes-reseau.rst @@ -149,11 +149,12 @@ Routes annoncées aux VM ----------------------- Les routes sont poussées par DHCP, dans l'**option 121** (routes statiques sans classe, -RFC 3442). Trois entrées y figurent : +RFC 3442). Trois entrées au plus y figurent : #. la route ``/32`` vers ``169.254.169.254``, le serveur de metadata ; -#. la route vers le CIDR du VPC ; -#. la route par défaut ``0.0.0.0/0``. +#. la route vers le CIDR du VPC, **sauf en mode** ``bridge`` ; +#. la route par défaut ``0.0.0.0/0``, **sur l'interface** ``primary`` **seulement** : les autres + interfaces d'une VM n'en reçoivent pas. .. important:: @@ -163,8 +164,8 @@ RFC 3442). Trois entrées y figurent : Route par défaut : ``default_route`` et ``gateway`` ---------------------------------------------------------- -Une route par défaut est **toujours** annoncée. Le champ ``default_route`` ne choisit que son -next-hop : +Une route par défaut est **toujours** annoncée à l'interface ``primary`` d'une VM, et à elle +seule. Le champ ``default_route`` ne choisit que son next-hop : ``default_route: false`` (défaut) next-hop = ``interface_ip`` du subnet, la gateway calculée en ``vxlan``. @@ -178,7 +179,7 @@ subnet relèvent de l'appelant. Fourni avec ``default_route: false``, il est ign Dans tous les modes sauf ``bridge``, la route vers le CIDR du VPC garde ``interface_ip`` comme next-hop : sur un subnet à IP publique, le trafic interne ne doit pas sortir par la gateway -publique. +publique. En mode ``bridge``, cette route n'est pas annoncée du tout. Pourquoi la route ``/32`` vers le serveur de metadata est indispensable ---------------------------------------------------------------------------- diff --git a/docs/concepts/vpc-subnet-vm.rst b/docs/concepts/vpc-subnet-vm.rst index ca9ebcc..5156a38 100644 --- a/docs/concepts/vpc-subnet-vm.rst +++ b/docs/concepts/vpc-subnet-vm.rst @@ -18,6 +18,12 @@ VPC Un VPC est un **network namespace** portant un espace d'adressage (``cidr``). C'est l'unité d'isolation : deux VPC ne se voient pas, et peuvent réutiliser les mêmes plages d'adresses. +À la création, l'agent relie le netns au bridge ``br-public`` de l'host par un veth +``vp--e`` (côté host) ↔ ``vp--i`` (côté netns, rattaché à un ``br-public`` propre au +netns). Ce nom de bridge est **en dur** : l'host doit porter un bridge ``br-public``, celui que +crée ``deploy.sh -i`` avec la valeur par défaut de ``-P`` (:doc:`/demarrage/installation`) ; +sans lui, toute création de VPC échoue. + Un VPC ne peut être supprimé que si tous ses subnets le sont déjà — sinon 409. Routage entre hyperviseurs : ``l3vni`` @@ -112,6 +118,9 @@ depuis le subnet, leur source canonique. Le schéma complet des clés est dans Nommage ------- -L'API est machine-to-machine : elle **ne valide pas** les conventions de nommage, à l'exception -du motif documenté pour les VPC (``vp-…``). Les exemples de cette documentation suivent la -convention ``vp-`` / ``sn-`` / ``i-``, mais c'est à l'appelant de la faire respecter. +L'API est machine-to-machine : elle **ne valide aucun nommage**, pas même le motif ``vp-…`` +indiqué par la spécification pour les VPC. Une contrainte est pourtant réelle : le nom d'un VPC +ou d'un subnet doit **contenir un « - »**, car l'identifiant système (``vp--e``, ``br-``, +``gw-``…) est ce qui suit le premier tiret. Un nom sans tiret fait paniquer l'agent. Les +exemples de cette documentation suivent la convention ``vp-`` / ``sn-`` / ``i-``, mais c'est à +l'appelant de la faire respecter. diff --git a/docs/demarrage/installation.rst b/docs/demarrage/installation.rst index cb2e941..e4a5b2a 100644 --- a/docs/demarrage/installation.rst +++ b/docs/demarrage/installation.rst @@ -31,10 +31,12 @@ depuis la release, et les vérifie contre le manifeste ``SHA256SUMS``. - Défaut * - ``-t `` - déployer une release donnée - - dernière - * - ``-b `` - - branche utilisée pour l'auto-mise à jour du script - - ``main`` + - dernière publiée, **préversions comprises** + * - ``-b /`` + - branche d'où viennent l'auto-mise à jour du script et les scripts de ``-i`` ; les + binaires viennent toujours d'une release. Le ``/`` final est **obligatoire** : l'URL est + concaténée sans séparateur (``-b dev`` donne ``…/branch/devscripts/…``) + - ``main/`` * - ``-p `` - profil d'host ; seul ``kvm`` installe les units de l'agent - ``kvm`` @@ -48,7 +50,8 @@ depuis la release, et les vérifie contre le manifeste ``SHA256SUMS``. - bridge principal, auquel l'uplink est rattaché - ``br-000000`` * - ``-P `` - - bridge supplémentaire, créé vide et réservé + - bridge supplémentaire, créé vide et réservé ; garder ``br-public``, nom attendu par + l'agent (voir ci-dessous) - ``br-public`` * - ``-R `` - délai avant le redémarrage de secours pendant la migration réseau @@ -89,6 +92,10 @@ ne se provisionne pas. Contrepartie assumée : tout le trafic inter-VM traverse **Réseau** — création du bridge réservé, puis rattachement de l'uplink au bridge principal, l'adresse et la route par défaut étant déplacées de l'interface physique vers le bridge. +Le nom ``br-public`` est **en dur dans l'agent** : chaque VPC ``vp-`` y raccorde un veth +``vp--e`` côté host, dont l'autre extrémité ``vp--i`` rejoint un ``br-public`` créé dans +le netns du VPC. Avec un autre nom passé à ``-P``, toute création de VPC échoue. + .. danger:: La migration réseau **coupe le réseau de l'host si elle échoue à mi-parcours**, sans console @@ -124,14 +131,15 @@ Binaires installés - serveur de metadata cloud-init, une instance par VM dans le netns du VPC - ``-conf`` * - ``db`` - - inspection de la base clé-valeur en ligne de commande + - inspection de la base clé-valeur en ligne de commande ; **ni publié ni déployé** par + ``deploy.sh``, à compiler depuis les sources (:doc:`/exploitation/observabilite`) - ``-conf`` * - ``dhcp`` - serveur DHCP intégré, une instance par subnet dans le netns du VPC ; démarré uniquement avec ``dhcp.backend: two`` - ``-conf`` -Les quatre partagent le même fichier, ``/etc/two/agent.yml`` — voir +Les quatre lisent le même fichier, ``/etc/two/agent.yml`` — voir :doc:`/exploitation/configuration`. ``dhcp`` reçoit en plus son bridge et ses deux chemins de fichiers en paramètres, posés par son script d'enrobage. diff --git a/docs/demarrage/premier-vpc.rst b/docs/demarrage/premier-vpc.rst index 567b5bc..534dd55 100644 --- a/docs/demarrage/premier-vpc.rst +++ b/docs/demarrage/premier-vpc.rst @@ -14,16 +14,19 @@ Ce que l'on construit graph LR subgraph netns vp-admin - BR["br-sn000001
10.1.1.254"] + BR["br-000001
10.1.1.253"] + GW["gw-000001
gateway 10.1.1.254"] MD["metadata@i-web
169.254.169.254"] end VM["VM i-web
10.1.1.2"] --- BR - BR --- MD - BR --- VXLAN["VXLAN vni 1
br-000000"] + BR --- GW + GW --- MD + BR --- VXLAN["VXLAN vni 65537
br-000000"] -Le VPC est un network namespace ; le subnet y pose un bridge porteur de la gateway ; la VM s'y -raccroche par un tap, reçoit son adresse en DHCP et son cloud-init depuis le serveur de metadata -du netns. +Le VPC est un network namespace ; le subnet y pose un bridge ``br-000001`` — ``br-`` suivi de ce +qui suit le premier tiret du nom du subnet — porteur de l'adresse d'émission, et un macvlan +``gw-000001`` porteur de la gateway ; la VM se raccroche au bridge par un tap, reçoit son +adresse en DHCP et son cloud-init depuis le serveur de metadata du netns. 1. Le VPC --------- @@ -43,8 +46,10 @@ La réponse est un **202** : la création est acceptée, pas terminée. curl -s http://127.0.0.1:8080/vpcs/vp-admin -Attendez ``"state": "running"`` avant l'étape suivante — un subnet dont le VPC parent n'est pas -prêt est refusé en **422**. Le modèle d'attente est décrit dans :doc:`/exploitation/api-agent/asynchronisme`. +Un subnet peut être demandé dès maintenant : il est accepté tant que le VPC est en ``creating`` +ou ``running``, et sa création attend que le VPC soit ``running``, dans la limite de +``dispatcher.timeout_seconds``. Il n'est refusé en **422** que si le VPC est absent, en ``error`` +ou en ``deleting``. Le modèle d'attente est décrit dans :doc:`/exploitation/api-agent/asynchronisme`. 2. Le subnet ------------ @@ -56,7 +61,7 @@ prêt est refusé en **422**. Le modèle d'attente est décrit dans :doc:`/explo -d '{"name": "sn-000001", "vpc": "vp-admin", "mode": "vxlan", - "vxlan_id": 1, + "vxlan_id": 65537, "iface_type": "vms", "cidr": "10.1.0.0/23"}' @@ -140,16 +145,16 @@ cloud-init, lui, se déroule dans le guest ; on l'observe par la console série socat -,raw,echo=0 UNIX-CONNECT:/run/two/vms/serial/i-web.sock -Puis, depuis l'host : +Puis, depuis l'host, en passant par le netns du VPC : .. code-block:: bash - ssh syonad@10.1.1.2 + ip netns exec vp-admin ssh syonad@10.1.1.2 .. note:: En mode ``vxlan``, la VM vit dans le netns du VPC : elle n'est pas joignable depuis l'host - sans route explicite. En mode ``bridge``, elle l'est directement. + sans route explicite, d'où le ``ip netns exec``. En mode ``bridge``, elle l'est directement. 5. Supprimer ------------ diff --git a/docs/deploiement/architecture-cluster.rst b/docs/deploiement/architecture-cluster.rst index b0957b8..d0898dd 100644 --- a/docs/deploiement/architecture-cluster.rst +++ b/docs/deploiement/architecture-cluster.rst @@ -24,9 +24,9 @@ Vue d'ensemble (BGP). Tirets verts : orchestration. Trait orange : trafic Internet. Cadre en pointillés : élément à venir, avec son ticket. -Plusieurs clusters, chacun avec son underlay, ses deux routeurs et un route reflector, sont reliés -en eBGP entre eux et aux **routeurs de bordure**. Ce qui n'existe pas encore est décrit sur son -ticket : +Plusieurs clusters, chacun avec son underlay et ses deux routeurs, sont reliés en eBGP entre eux +et aux **routeurs de bordure** ; les route reflectors sont décrits plus bas. Ce qui n'existe pas +encore est décrit sur son ticket : * **Internet** (`#31 `_, `#42 `_). Les bordures partagent avec les hyperviseurs @@ -41,12 +41,19 @@ ticket : * **Orchestration** (`#72 `_). Le broker et l'orchestrateur sont des VM du VNI 66000, partagé entre clusters. Les agents s'y connectent - **en sortie**, par leur passerelle ; les routeurs de chaque cluster les NAT vers le VNI 66000. + **en sortie**, par leur passerelle ; les routeurs de chaque cluster les traduisent (NAT) vers le + VNI 66000. L'orchestrateur a aussi une patte dans le VNI 66001 : son API est joignable depuis Internet. -* **Route reflectors.** Un par cluster, pour qu'un incident sur un cluster ne coupe pas les deux - sessions EVPN. Chaque lien entre routeurs et route reflector est en ``169.254.0.0/28``, propre - à son cluster. +* **Route reflectors.** Au moins un ; deux sont prévus dans l'architecture et dans les exemples + (plages d'adresses de :doc:`route-reflector`), placés ici dans deux clusters différents pour + qu'un incident sur un cluster ne coupe pas les deux sessions EVPN. Chaque lien entre routeurs + et route reflector est en ``169.254.0.0/28``, propre à son cluster. Le ``bgp listen range`` de + chaque route reflector doit alors couvrir l'underlay de **tous** les clusters qu'il sert — + l'exemple ``rr1.conf`` n'accepte que ``192.168.14.0/24``. + +* **ASN.** Les routeurs de deux clusters étant voisins eBGP, chaque cluster a son propre ASN de + routeurs : l'AS 65100 des exemples est la valeur d'**un** cluster. Le lab (:doc:`/developpement/lab`) simplifie : un seul cluster, qui porte les deux route reflectors. @@ -79,7 +86,7 @@ Plan de données Plan de contrôle ce qui dit à chaque hyperviseur où se trouvent les adresses MAC des autres. C'est le rôle de - FRR et du route reflector. + FRR et des route reflectors. Ce que l'agent suppose déjà en place ------------------------------------ @@ -111,8 +118,8 @@ apprentissage des adresses MAC depuis le trafic, ni voisin statique configuré. isolé le trafic reste sur le bridge local et cette absence ne se voit pas ; elle apparaît dès le deuxième nœud. -C'est exactement le rôle que remplissent FRR sur chaque hyperviseur et le route reflector qui -les fait converger. +C'est exactement le rôle que remplissent FRR sur chaque hyperviseur et les route reflectors qui +les font converger. MTU --- diff --git a/docs/deploiement/image-qcow2.rst b/docs/deploiement/image-qcow2.rst index 5922a47..b98328c 100644 --- a/docs/deploiement/image-qcow2.rst +++ b/docs/deploiement/image-qcow2.rst @@ -278,11 +278,50 @@ première : cloud-init ne configure les interfaces secondaires qu'au premier dé Le préfixe ``90`` laisse la priorité aux fichiers écrits par cloud-init pour la première interface (``10-netplan-*``). Sur une image démarrée avec ``net.ifnames=0``, viser ``eth*``. -.. note:: +Pour une image sous NetworkManager, comme l'image Rocky de cette page, un profil qui s'applique à +toutes les interfaces ``en*`` à la fois : - **À établir pour NetworkManager** — l'équivalent pour une image sous NetworkManager, dont - l'image Rocky de cette page, n'est pas encore vérifié. Sans lui, une VM à plusieurs - interfaces n'a de bail que sur la première. +.. code-block:: bash + + install -m 0600 /dev/stdin /mnt/etc/NetworkManager/system-connections/90-all-en.nmconnection << 'ENDFILE' + [connection] + id=two-all-en + type=ethernet + autoconnect-priority=-100 + multi-connect=3 + + [match] + interface-name=en* + + [ipv4] + method=auto + + [ipv6] + method=ignore + ENDFILE + +``multi-connect=3`` permet au même profil d'être actif sur plusieurs interfaces ; la priorité +négative sert à laisser la première interface au profil écrit par cloud-init. Le fichier est en ``0600``, +comme les profils de NetworkManager. Vérifié sous Rocky 10.2 : la seconde interface obtient +son bail au premier démarrage et après redémarrage (``nmcli`` : connexion ``two-all-en``). + +**Réappliquer le network-config à chaque démarrage** + +.. code-block:: bash + + cat << 'ENDFILE' > /mnt/etc/cloud/cloud.cfg.d/98_network_updates.cfg + updates: + network: + when: [boot-new-instance, boot, boot-legacy] + ENDFILE + +La source de metadata n'étant trouvée qu'à l'étape réseau de cloud-init, l'étape locale +applique à chaque démarrage une configuration de repli limitée à la première interface. Au +redémarrage, l'étape réseau émet l'événement ``boot-legacy``, refusé par défaut : ce réglage +l'autorise, et cloud-init réapplique alors le ``network-config`` servi par l'agent, qui vise +chaque interface par sa MAC. Le ``user_data`` n'est pas rejoué. Sans effet sur un cloud-init +qui ne lit pas le ``network-config`` (22.4, Debian 12) : la règle de DHCP ci-dessus reste +nécessaire. **Noms stables des disques additionnels** @@ -366,6 +405,16 @@ Points de vigilance oblique manquante, ce qui explique qu'une image récente fonctionne sans elle. Avec la barre oblique, la configuration fonctionne quelle que soit la version de cloud-init. +.. warning:: + + **Sans serveur de metadata, la VM reste bloquée au démarrage.** Quand ``seedfrom`` figure dans + la configuration de la source, cloud-init lit les documents par + ``util.read_seeded(seedfrom, timeout=None)`` (``DataSourceNoCloud.py``, vérifié en 25.1.4) : + ``timeout`` et ``max_wait`` ne s'appliquent pas à cette lecture. Si ``169.254.169.254`` ne + répond pas, l'étape réseau de cloud-init ne se termine pas et la VM n'a pas de SSH (constaté + hors agent, sur une image Debian 13 démarrée sans serveur de metadata). ``seedfrom`` a aussi + priorité sur une ISO ``cidata`` : une telle image ne se teste pas avec un simple seed local. + .. note:: **Provenance de l'image du fournisseur** — tout ce qui est construit en hérite. Vérifier la diff --git a/docs/deploiement/index.rst b/docs/deploiement/index.rst index 9586f3a..7b958d4 100644 --- a/docs/deploiement/index.rst +++ b/docs/deploiement/index.rst @@ -7,7 +7,7 @@ même nœud. Cette section couvre la mise en place d'un **cluster** complet, dan Cet ordre n'est pas indifférent : chaque étape a besoin de la précédente. L'image doit exister avant qu'on puisse démarrer quoi que ce soit ; le réseau doit être en place avant le premier -hyperviseur ; le route reflector est lui-même une VM, il lui faut donc un hyperviseur qui +hyperviseur ; chaque route reflector est lui-même une VM, il lui faut donc un hyperviseur qui fonctionne. Étapes diff --git a/docs/deploiement/premier-hyperviseur.rst b/docs/deploiement/premier-hyperviseur.rst index 4e1c451..6f2b757 100644 --- a/docs/deploiement/premier-hyperviseur.rst +++ b/docs/deploiement/premier-hyperviseur.rst @@ -62,13 +62,13 @@ L'agent en déduit la configuration ci-dessous ; le ``router-id`` est l'adresse Avec une section ``bgp``, l'agent **refuse de démarrer** si ``vtysh`` ne répond pas, et ``agent.service`` ne le relance pas. L'ordre au démarrage est donc : migration réseau vers ``br-000000``, **puis** FRR, **puis** l'agent. FRR démarré avant la migration peut perdre la - route par défaut quand elle change d'interface, et ne plus joindre le route reflector. + route par défaut quand elle change d'interface, et ne plus joindre les route reflectors. Ce qu'elle établit : * **Une session par route reflector**, en iBGP dans l'AS 64600, vers sa loopback (``10.255.255.1``, ``10.255.255.2``), jointe par la passerelle par défaut — le routeur de - cluster l'a apprise du route reflector (:doc:`routeurs`). Aucune adresse d'un autre hyperviseur n'est écrite : ajouter + cluster l'a apprise de ce route reflector (:doc:`routeurs`). Aucune adresse d'un autre hyperviseur n'est écrite : ajouter un nœud ne touche pas la configuration des autres. * **EVPN seulement** : l'IPv4 unicast n'est pas activé (``no bgp default ipv4-unicast``). ``advertise-all-vni`` annonce les VNI de toutes les interfaces VXLAN que FRR voit, et donc @@ -81,9 +81,9 @@ Articulation avec l'agent Rien à configurer à la création d'un subnet : la VXLAN apparaît, FRR la voit et l'annonce, sans action ni redémarrage. Il faut en revanche que la VXLAN porte une **adresse VTEP locale** : sans elle, FRR voit la VNI mais n'annonce rien, et deux hyperviseurs gérés par two ne se joignent pas. -L'agent la pose à partir de la release ``0.2.0rc003`` -(`#51 `_) : l'adresse IPv4 primaire du ``local_iface`` -du subnet. +L'agent la pose depuis la version 0.2.0 (préversions comprises à partir de ``0.2.0rc003``, +`#51 `_, fermé) : l'adresse IPv4 primaire du +``local_iface`` du subnet. .. note:: @@ -93,11 +93,10 @@ du subnet. et configuration doivent être posés à chaque démarrage, par le bootstrap ou un mécanisme équivalent (`#52 `_) ; * le démarrage à froid, selon que FRR démarre avant ou après l'agent ; - * les subnets ``vxlan`` créés avant ``0.2.0rc003``, dont la VXLAN n'a pas d'adresse VTEP - locale : les recréer ou poser l'adresse à chaud, à trancher dans - `#51 `_ ; + * les subnets ``vxlan`` créés par une version antérieure, dont la VXLAN n'a pas d'adresse VTEP + locale : aucune migration ne la pose, il faut les recréer ; * le cas particulier du **premier** hyperviseur, dont la session ne peut pas s'établir tant - que le route reflector n'existe pas. + qu'aucun route reflector n'existe. Vérifier le plan de données --------------------------- diff --git a/docs/deploiement/route-reflector.rst b/docs/deploiement/route-reflector.rst index f8b5bc7..7cbd8f8 100644 --- a/docs/deploiement/route-reflector.rst +++ b/docs/deploiement/route-reflector.rst @@ -3,9 +3,11 @@ VM route reflector Le route reflector est le point de rendez-vous du plan de contrôle : plutôt que de maintenir une session entre chaque paire d'hyperviseurs, chaque hyperviseur ouvre une session vers le route -reflector, qui redistribue. Le cluster en compte **deux**, configurés à l'identique hormis leurs -adresses : chaque hyperviseur ouvre une session vers chacun, et la perte de l'un ne doit pas -interrompre le plan de contrôle (`#54 `_). +reflector, qui redistribue. Un cluster en compte **au moins un** ; l'architecture et les exemples +de cette page en prévoient **deux** (rr1 et rr2, d'où les plages d'adresses ci-dessous), +configurés à l'identique hormis leurs adresses : chaque hyperviseur ouvre une session vers chacun, +et la perte de l'un n'interrompt pas le plan de contrôle +(`#54 `_, fermé). Il tourne lui-même en machine virtuelle, ce qui crée une dépendance circulaire à traiter explicitement : la VM qui porte le plan de contrôle du cluster est hébergée par le cluster. @@ -84,13 +86,14 @@ Ce qu'elle établit : .. warning:: - **Les tunnels ne survivent pas à la perte du route reflector.** Avec un seul route reflector - et sans ``graceful-restart``, à l'arrêt de FRR sur le route reflector, la session EVPN des - hyperviseurs tombe aussitôt, FRR retire les routes apprises et, avec elles, le VTEP distant et l'entrée d'inondation du VXLAN — **plus - aucun paquet ne passe** entre hyperviseurs, à 30 s comme à 90 s. Au redémarrage de FRR sur le - route reflector, VTEP distant et trafic reviennent **31 s** plus tard. Le trafic entre VM d'un - même hyperviseur n'est pas concerné. La redondance (deux route reflectors) ou - ``graceful-restart`` sont les deux leviers ; ni l'un ni l'autre n'est encore qualifié. + **Les tunnels ne survivent pas à la perte de tous les route reflectors.** Sans + ``graceful-restart``, quand plus aucun route reflector ne répond, les sessions EVPN des + hyperviseurs tombent, FRR retire les routes apprises et, avec elles, le VTEP distant et + l'entrée d'inondation du VXLAN : **plus aucun paquet ne passe** entre hyperviseurs, jusqu'au + retour d'un route reflector et à la reconvergence des sessions. Le trafic entre VM d'un même + hyperviseur n'est pas concerné. Avec deux route reflectors, la perte de l'un est sans effet sur + le trafic, à condition qu'ils ne tombent jamais ensemble : **jamais deux route reflectors sur le + même hyperviseur**. Les mesures du lab sont dans :doc:`/developpement/lab`. .. note:: @@ -101,8 +104,8 @@ Ce qu'elle établit : autres ou d'un cas particulier — l'image, elle, est l'image golden de :doc:`image-qcow2` ; * le placement des deux VM : jamais sur le même hyperviseur, et de préférence pas sur un hyperviseur dont la perte isolerait l'autre ; - * la procédure de reconstruction — l'état du cluster pendant l'absence du route reflector est - décrit ci-dessus : plus de trafic entre hyperviseurs ; + * la procédure de reconstruction — l'état du cluster pendant l'absence de tous les route + reflectors est décrit ci-dessus : plus de trafic entre hyperviseurs ; * la procédure d'amorçage : ce qui fonctionne, et dans quel ordre, quand on démarre un cluster entier depuis zéro — le premier hyperviseur n'a pas de session FRR établie tant que cette VM n'existe pas, cf. :doc:`premier-hyperviseur`. diff --git a/docs/deploiement/routeurs.rst b/docs/deploiement/routeurs.rst index 78337ea..4f3b957 100644 --- a/docs/deploiement/routeurs.rst +++ b/docs/deploiement/routeurs.rst @@ -18,9 +18,10 @@ Routeurs de bordure Routeur de cluster ------------------ -Le routeur de cluster est la passerelle des hyperviseurs et le voisin eBGP des deux route -reflectors, dont il apprend les loopbacks : c'est par lui que chaque hyperviseur joint -``10.255.255.1`` et ``10.255.255.2`` pour ouvrir ses sessions EVPN (:doc:`route-reflector`). +Le routeur de cluster est la passerelle des hyperviseurs et le voisin eBGP des route reflectors +— au moins un ; deux sont prévus dans l'architecture et dans les exemples —, dont il apprend les +loopbacks : c'est par lui que chaque hyperviseur joint ``10.255.255.1`` et ``10.255.255.2`` pour +ouvrir ses sessions EVPN (:doc:`route-reflector`). Adressage ~~~~~~~~~ @@ -33,8 +34,9 @@ Adressage - Interface - Rôle * - ``192.168.14.1/24`` - - interface du segment des hyperviseurs - - passerelle par défaut des hyperviseurs et du route reflector + - interface du segment des hyperviseurs, **adresse virtuelle VRRP** + - passerelle par défaut des hyperviseurs et des route reflectors, portée par le routeur + maître ; chaque routeur a en plus sa propre adresse sur le segment * - ``169.254.0.1/28`` - même interface, **adresse secondaire** - lien avec les route reflectors (``169.254.0.3`` et ``.4``) ; ``router-id`` ; le second @@ -60,9 +62,9 @@ Ce qu'elle établit : * **Aucune session avec les hyperviseurs** : le routeur leur sert de passerelle, pas de voisin BGP. Celle du second routeur (``test/e2e/topologies/frr/sw2.conf``) ne diffère que par ``hostname`` et -``router-id`` (``169.254.0.2``), que les route reflectors déclarent aussi. La redondance des -routeurs — et le mécanisme qui fait basculer la passerelle ``192.168.14.1`` — est l'objet de -`#54 `_. +``router-id`` (``169.254.0.2``), que les route reflectors déclarent aussi. Les deux routeurs se +partagent la passerelle ``192.168.14.1`` en **VRRP v3** : le maître la porte, l'autre attend, sans +préemption (`#54 `_, fermé). .. note:: @@ -73,9 +75,8 @@ routeurs — et le mécanisme qui fait basculer la passerelle ``192.168.14.1`` **À rédiger.** Reste à documenter, faute d'éléments de terrain : - * pour le routeur de cluster : le matériel employé et sa version de référence ; la redondance - — deux routeurs, mécanisme de bascule, comportement attendu pendant une bascule - (`#54 `_) ; + * pour le routeur de cluster : le matériel employé et sa version de référence ; la traduction + de la redondance VRRP v3 dans sa configuration ; * pour les routeurs de datacentre et de bordure : tout — équipement, configuration de référence, ce qui est annoncé et filtré à chaque niveau, redondance ; * l'ordre de mise en service, et ce qui doit être opérationnel avant de préparer le premier diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index 9544df6..632e03a 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -4,7 +4,7 @@ Lab de test multi-nœud Ce qui fait l'intérêt de two ne se voit qu'à partir de **deux hyperviseurs** : sur un nœud isolé, le trafic reste sur le bridge local et l'absence de plan de contrôle passe inaperçue (voir :doc:`/deploiement/architecture-cluster`). Le lab reproduit la topologie du cluster — -hyperviseurs, route reflector, switch L3 — sous forme de VM, sur un serveur physique loué à +hyperviseurs, route reflectors, switchs L3 — sous forme de VM, sur un serveur physique loué à l'heure. Le pourquoi des choix (serveur physique plutôt que VM cloud, câbles QEMU, MTU 9000, versions) est @@ -17,7 +17,8 @@ comment s'en servir. `labctl `_, un dépôt à part, dont two épingle une release. Ce dépôt garde ce qui est propre à two — ses topologies, l'installation de two sur les hyperviseurs, les scénarios et leurs résultats. La redondance du plan de contrôle — deux route - reflectors, deux switchs — est l'objet de `#54 `_. + reflectors, deux switchs en VRRP v3 — est livrée par `#54 `_ + (fermé), et qualifiée par les tests 71 et 72. L'outil ------- @@ -69,7 +70,7 @@ et ``evpn-3hv.yml`` (trois, celle de la suite). Le format est celui de ``labctl` .. literalinclude:: ../../test/e2e/topologies/evpn-2hv.yml :language: yaml -Les ASN, la loopback du route reflector, le lien ``169.254.0.0/28`` et le subnet des hyperviseurs +Les ASN, les loopbacks des route reflectors, le lien ``169.254.0.0/28`` et le subnet des hyperviseurs de l'exemple sont **ceux de la production** (décision du 2026-10-04, #50) : les fichiers de ``test/e2e/topologies/`` restent ainsi au plus près de ce qui tourne réellement. Toutes les adresses y sont **fixées** par ``addresses`` — les switchs en ``.2`` et ``.3``, les route reflectors en ``.4`` et ``.5``, @@ -77,8 +78,9 @@ les hyperviseurs à partir de ``.11`` — pour que le modèle se lise sans le pl de l'ordre de déclaration : le ``frr.conf`` d'un hyperviseur, écrit à la main, porte son adresse en ``router-id``. Les deux switchs ``sw1`` et ``sw2`` sont les routeurs du segment (rôle ``router`` de labctl) : la passerelle, la première adresse du segment, est portée en VRRP v3 par celui qui est -maître, sans préemption — voir la section du guide de labctl sur les routeurs. Leurs -``frr.conf`` ne diffèrent que par ``hostname`` et ``router-id`` ; labctl y ajoute la strophe VRRP. +maître, sans préemption (``no vrrp 1 preempt``) — voir la section du guide de labctl sur les +routeurs. Leurs ``frr.conf`` ne diffèrent que par ``hostname`` et ``router-id`` ; labctl y ajoute +la strophe VRRP. Rôles ~~~~~ @@ -86,8 +88,8 @@ Rôles Les configurations FRR du lab vivent dans ``test/e2e/topologies/frr/``, une par nœud, **écrites à la main** : ce sont les mêmes fichiers que la documentation de déploiement inclut, pour que le lab qualifie exactement ce qu'elle prescrit. Celles des hyperviseurs se réduisent à ``hostname`` et ``log`` : -la configuration BGP est posée par l'agent (section ``bgp`` de ``agent.yml``). Celle du route -reflector : +la configuration BGP est posée par l'agent (section ``bgp`` de ``agent.yml``). Celle du premier +route reflector (celle de ``rr2`` ne diffère que par son nom et sa loopback) : .. literalinclude:: ../../test/e2e/topologies/frr/rr1.conf :language: text @@ -239,7 +241,7 @@ Les tests se lancent **depuis le Mac**, sur un lab démarré (``up``, ``push``, test/e2e/run.sh all # toute la suite, dans l'ordre test/e2e/run.sh 40 # une couche - test/e2e/run.sh 41 43 # des tests, par numéro ou par nom + test/e2e/run.sh 41 dhcp-two # des tests, par numéro à deux chiffres ou par nom exact test/e2e/run.sh --from 30 # à partir d'un numéro test/e2e/run.sh --continue all # sans s'arrêter sur une couche en échec test/e2e/run.sh --connus all # les échecs connus comptent comme des échecs @@ -290,11 +292,11 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé * - ``03-image`` - hypothèses sur l'image de VM — outils (curl, python3), nom d'interface, effet réel de network-config, forme du compte verrouillé - hv1 - - #70 + - #70, #73 * - ``11-validation`` - validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base - hv1 - - #41, #57, #33, #62 + - #41, #57, #33, #62, #74 * - ``12-etats`` - machine d'états — 409 pendant creating, suppression depuis error, dépendances VM → subnet → VPC, recréation sous le même nom - hv1 @@ -320,7 +322,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé - hv1 - #33, #62, #73 * - ``26-multi-disque`` - - VM à plusieurs disques — racine virtio (vda) et SCSI (xvdX), tailles et bus vus par la VM, liens ``/dev/xvdX`` et ``by-id`` par numéro de série, démarrage sur vda + - VM à plusieurs disques — racine virtio (vda) et SCSI (xvdX), tailles et bus vus par la VM, liens /dev/xvdX et by-id par numéro de série, démarrage sur vda - hv1 - #32, #74 * - ``27-reboot`` @@ -328,7 +330,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé - hv1 - #46 * - ``28-mtu`` - - MTU des VM (``network.mtu_vm``, 1500) — option DHCP 26 (serveur intégré et dnsmasq), ``host_mtu`` de QEMU, tap, bridge, veth et VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000 + - MTU des VM (network.mtu_vm, 1500 par défaut) — annoncé par le DHCP (option 26, serveur intégré sur hv1, dnsmasq sur hv2) et par QEMU (host_mtu), porté par le tap, le bridge, le veth et le VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000 - hv1 hv2 - #56 * - ``31-gateway`` @@ -392,9 +394,9 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé - hv1 hv2 - #54 * - ``72-perte-switch`` - - perte d'un switch de la passerelle VRRP — bascule vers l'autre en moins de 5 s, sessions EVPN jamais coupées ; au retour, le plus prioritaire redevient maître, seconde bascule mesurée + - perte d'un switch de la passerelle VRRP — bascule vers l'autre en moins de 5 s, sessions EVPN jamais coupées ; au retour, un seul maître (préemption désactivée : celui qui l'est est relevé), plus long silence mesuré - - - #54, #69 + - #54, #69, #80 Campagne du 2026-10-17 ~~~~~~~~~~~~~~~~~~~~~~ @@ -408,7 +410,11 @@ tests ont été corrigées sur le serveur et les tests concernés rejoués. Il r (#73, #62), noms des disques SCSI (#74), mode ``bridge`` sur plusieurs hôtes (#75), filtrage au port (#76), socket DHCP (#77), fausse alerte du watchdog (#78) ; * #69 vérifié : au retour de ``sw1`` (priorité 200), il redevient maître, seconde bascule en - 1,2 s, sessions EVPN jamais coupées ; + 1,2 s, sessions EVPN jamais coupées. La préemption est pourtant **désactivée** dans la + configuration (``no vrrp 1 preempt``, « Preempt Mode No » relevé le 2026-10-23) : la cause de ce + retour, après coupure puis rétablissement de l'interface underlay du maître, **n'est pas + établie**. ``72-perte-switch`` n'exige donc plus que le plus prioritaire redevienne maître : il + vérifie qu'il n'y a qu'un maître, note lequel, et mesure le plus long silence après le retour ; * une suppression de VM peut durer 300 s quand l'invité ignore l'arrêt ACPI (#79) : ``wait_state`` attend jusqu'à 360 s. @@ -436,18 +442,22 @@ Un test est un fichier ``test/e2e/suite/NN-nom.sh``, exécuté par ``run.sh`` su commence par un en-tête, puis envoie des blocs aux nœuds par ``on [VAR=valeur…] <<'NODE'``. Chaque bloc est précédé des bibliothèques de ``test/e2e/lib/`` : -* ``core.sh`` : ``check``, ``known``, ``info``, appels à l'API, attente des états ; +* ``core.sh`` : ``check``, ``known``, ``known_flaky``, ``info``, appels à l'API, attente des états ; * ``vm.sh`` : image Debian compatible two, clé SSH, ``vm_launch`` (plusieurs NIC et disques, UEFI, ``user_data``, mot de passe), SSH, bail, métadonnées. La MAC de chaque NIC est fournie à l'API : ``52:54:00`` suivi des trois derniers octets de l'IP (``mac_for_ip``), unique dans la suite puisque chaque test a sa plage ; ``--nic sn=ip=mac`` en impose une autre ; * ``net.sh`` : VPC, subnets, MAC anycast, trames brutes, règles ebtables, VRRP ; * ``evpn.sh`` : VRF, BGP, L3VNI, watchdog ; -* ``fixture.sh`` : nettoyage et ``assert_clean``, appelés par le runner. +* ``fixture.sh`` : nettoyage et ``assert_clean``, appelés par le runner. Le nettoyage couvre les + ressources ``t`` de l'API, les netns ``t-*`` et les fichiers ``t-*`` / ``t.*`` de + ``/tmp`` et ``/var/tmp/e2e`` (sauf l'état ``t.avant``) ; il ne joue que pour un test dont + l'en-tête « # hôtes: » est rempli. Un test sans aucune vérification propre, hors fixtures, est + en échec. .. code-block:: bash - # fonctionnalité: trafic entre deux VM d'un même subnet sur un hôte + # fonctionnalité: trafic entre deux VM d'un même subnet sur un hôte, isolation entre VPC # hôtes: hv1 # tickets: #NN @@ -459,7 +469,11 @@ Chaque bloc est précédé des bibliothèques de ``test/e2e/lib/`` : check "VM t99-b" vm_launch t99-b --nic sn-t99=10.99.1.11 --sshkey "${KEY}" check "t99-a joignable" vm_wait vp-t99 10.99.1.10 check "t99-a joint t99-b" vm_ssh vp-t99 10.99.1.10 'ping -c 2 -W 2 10.99.1.11' - check "t99-a ne joint pas 10.98.1.10" vm_fails vp-t99 10.99.1.10 'ping -c 2 -W 2 10.98.1.10' + check "VPC vp-t99b" vpc_create vp-t99b 10.99.0.0/16 + check "subnet sn-t99b" subnet_create sn-t99b vp-t99b 9902 10.99.2.0/24 + check "VM t99-c" vm_launch t99-c --nic sn-t99b=10.99.2.10 --sshkey "${KEY}" + check "t99-c joignable dans son VPC" vm_wait vp-t99b 10.99.2.10 + check "t99-a ne joint pas t99-c (autre VPC)" vm_fails vp-t99 10.99.1.10 'ping -c 2 -W 2 10.99.2.10' NODE Les règles : diff --git a/docs/exploitation/api-agent/asynchronisme.rst b/docs/exploitation/api-agent/asynchronisme.rst index afcee1d..7c4875b 100644 --- a/docs/exploitation/api-agent/asynchronisme.rst +++ b/docs/exploitation/api-agent/asynchronisme.rst @@ -48,9 +48,10 @@ Trois règles pour un appelant robuste : borne les opérations qui attendent une transition ; l'appelant doit avoir sa propre borne. * **Traiter ``error`` comme terminal, pas comme un échec transitoire.** Un ``Execute`` en échec ne se rejoue pas tout seul. -* **Ne pas enchaîner sans vérifier.** Créer un subnet dont le VPC est encore en ``creating`` - échoue en 422 ; démarrer une VM sur un subnet en ``creating`` ou ``running`` est en revanche - accepté. +* **Savoir ce qui s'enchaîne.** Créer un subnet dont le VPC est encore en ``creating``, ou + démarrer une VM sur un subnet en ``creating``, est accepté : l'``Execute`` attend que le parent + passe ``running``, dans la limite de ``dispatcher.timeout_seconds`` ; au-delà, la ressource passe + en ``error``. Le refus en 422 ne vaut que pour un parent absent, en ``error`` ou en ``deleting``. Codes de retour --------------- @@ -66,15 +67,23 @@ Codes de retour * - ``200`` - lecture réussie (``GET``) * - ``400`` - - champ obligatoire manquant, corps invalide, ``iface_type`` inconnu, base64 invalide + - champ obligatoire manquant, corps invalide, base64 invalide ; CIDR de VPC invalide, + ``l3vni`` hors plage ; ``interface_ip`` absent (``bridge``, ``public_ip``) ou fourni + (``vxlan``) ; interface de VM sans ``mac``, nombre d'interfaces ``primary`` différent de 1 * - ``404`` - ressource inexistante + * - ``405`` + - méthode non prise en charge ; corps ``{"error": "method not allowed"}``, mais servi en + ``text/plain`` par ``/vpcs`` et ``/subnets`` (et leurs ``/{name}``), en JSON par ``/vms`` * - ``409`` - conflit d'existence ou d'état : ressource déjà créée, ou suppression depuis un état qui - ne l'autorise pas ; pour un VPC, subnets encore présents ; pour un subnet, VM non - supprimées qui l'utilisent encore + ne l'autorise pas ; pour un VPC, subnets encore présents, ``l3vni`` déjà utilisée par un + autre VPC, ou ``l3vni`` demandée sans section ``bgp`` ; pour un subnet, VM non supprimées + qui l'utilisent encore * - ``422`` - - dépendance absente ou pas prête : VPC parent d'un subnet, subnet d'une VM + - dépendance absente ou inutilisable : VPC parent d'un subnet, subnet d'une VM, absent, en + ``error`` ou en ``deleting`` ; ``mode`` de subnet inconnu ; CIDR ``vxlan`` invalide ou plus + petit que ``/29`` ; IP de VM hors du CIDR du subnet ou réservée * - ``500`` - erreur interne diff --git a/docs/exploitation/configuration.rst b/docs/exploitation/configuration.rst index 4d67e98..c05aad7 100644 --- a/docs/exploitation/configuration.rst +++ b/docs/exploitation/configuration.rst @@ -173,7 +173,7 @@ Metadata et QEMU qemu: ovmf_code_path: "/usr/share/OVMF/OVMF_CODE.fd" ovmf_vars_template: "/usr/share/OVMF/OVMF_VARS.fd" - uefi_vars_dir: "/run/two/vms/efi" + uefi_vars_dir: "/run/two/vms/uefi" serial_dir: "/run/two/vms/serial" monitor_dir: "/run/two/vms/monitor" qmp_dir: "/run/two/vms/qmp" @@ -257,6 +257,7 @@ Watchdog interval_seconds: 60 Vérification périodique **en lecture seule** — voir :doc:`/exploitation/observabilite`. +**Désactivée par défaut** (``enabled: false``) : sans cette section, aucun contrôle ne tourne. Journalisation -------------- diff --git a/docs/exploitation/diagnostic.rst b/docs/exploitation/diagnostic.rst index 8ed51fd..a813a62 100644 --- a/docs/exploitation/diagnostic.rst +++ b/docs/exploitation/diagnostic.rst @@ -49,7 +49,7 @@ Le DHCP est servi par une instance dédiée au subnet. Quelle unit selon ``dhcp. # Ce qu'il enverrait à une MAC donnée, sans effet de bord echo '{"verb":"probe","mac":"00:22:33:00:00:0A"}' \ - | socat - UNIX-CONNECT:/run/two/dhcp/_.sock | jq .lease + | socat - UNIX-CONNECT:/run/two/dhcp/_.sock | jq '{served, lease}' ``probe`` est le point de départ le plus rapide : il montre l'adresse, le masque, le routeur, les DNS et les routes classless tels qu'ils partiraient. Une réponse ``"served": false`` signifie que @@ -111,12 +111,14 @@ user-data. Vérification dans le guest : cloud-init query instance-id ls /var/lib/cloud/instances/ -**2. Le serveur de metadata est injoignable.** Depuis le guest : +**2. Le serveur de metadata est injoignable.** Depuis le guest — le serveur ne sert que +``/meta-data``, ``/user-data``, ``/network-config`` et ``/vendor-data``, tout autre chemin +renvoie 404 : .. code-block:: bash ip route - curl -s http://169.254.169.254/latest/meta-data/ + curl -s http://169.254.169.254/meta-data La route ``169.254.169.254/32`` doit être présente, avec l'``interface_ip`` du subnet comme next-hop. Si elle est absente ou pointe ailleurs, la DNAT posée en ``PREROUTING`` dans le netns @@ -133,8 +135,9 @@ Depuis l'host, l'instance correspondante : Le user-data est servi vide --------------------------- -Un document fourni explicitement vide est servi vide — ce n'est pas la même chose qu'un document -absent, qui retombe sur le template. Vérifier le contenu réellement écrit : +C'est le comportement attendu quand ``user_data`` est absent ou vide à la création : les deux cas +sont équivalents, et aucun template ne prend le relais pour ``user-data``. Vérifier le contenu +réellement écrit : .. code-block:: bash @@ -150,7 +153,7 @@ La VM ne démarre pas (UEFI) .. code-block:: bash ls -l /usr/share/OVMF/OVMF_CODE.fd /usr/share/OVMF/OVMF_VARS.fd - ls -l /run/two/vms/efi/ + ls -l /run/two/vms/uefi/ Sur Debian et Ubuntu, le paquet est ``ovmf``. diff --git a/docs/exploitation/observabilite.rst b/docs/exploitation/observabilite.rst index 6602dfa..46d1a37 100644 --- a/docs/exploitation/observabilite.rst +++ b/docs/exploitation/observabilite.rst @@ -27,7 +27,8 @@ Watchdog -------- Une goroutine périodique vérifie que les ressources marquées ``running`` en base existent -toujours sur le système, et **notifie les écarts sans jamais réparer**. +toujours sur le système, et **notifie les écarts sans jamais réparer**. Il est **désactivé par +défaut** (``enabled: false``) ; l'activer explicitement : .. code-block:: yaml @@ -72,17 +73,20 @@ Journaux journalctl -u agent -f journalctl -u 'metadata@i-web' -n 50 - tail -f /var/log/dnsmasq-vp-admin_br-sn000001.log # backend dnsmasq - journalctl -fu 'dhcp@vp-admin_br-sn000001' # backend two + tail -f /var/log/dnsmasq-vp-admin_br-000001.log # backend dnsmasq + journalctl -fu 'dhcp@vp-admin_br-000001' # backend two Inspection de la base --------------------- -En ligne de commande, sur l'host : +En ligne de commande, sur l'host. Le binaire ``db`` n'est **ni publié dans les releases ni +déployé** par ``deploy.sh`` : il se compile depuis les sources, puis se copie sur l'host. Sans +sous-commande, il n'affiche que son usage ; ``print`` liste toute la base : .. code-block:: bash - /opt/two/bin/db -conf /etc/two/agent.yml + CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o db ./cmd/db + ./db -conf /etc/two/agent.yml print .. warning:: diff --git a/docs/exploitation/services.rst b/docs/exploitation/services.rst index 9ddc968..d6ff8f7 100644 --- a/docs/exploitation/services.rst +++ b/docs/exploitation/services.rst @@ -1,7 +1,8 @@ Services systemd ================ -Quatre units, installées sous ``/opt/two/bin`` par ``deploy.sh``. Les deux units DHCP +Quatre units, installées dans ``/etc/systemd/system`` par ``deploy.sh`` ; les binaires et scripts +qu'elles lancent sont sous ``/opt/two/bin``. Les deux units DHCP s'excluent : celle qui tourne dépend de ``dhcp.backend`` (voir :doc:`configuration`). .. list-table:: @@ -30,8 +31,8 @@ n'y a pas à les démarrer à la main en fonctionnement normal. .. code-block:: bash systemctl status agent - systemctl status 'dnsmasq@vp-admin_br-sn000001' # backend dnsmasq - systemctl status 'dhcp@vp-admin_br-sn000001' # backend two + systemctl status 'dnsmasq@vp-admin_br-000001' # backend dnsmasq + systemctl status 'dhcp@vp-admin_br-000001' # backend two systemctl status 'metadata@i-web' dnsmasq @@ -65,9 +66,9 @@ ignore le netns dans lequel il tourne : .. code-block:: bash /opt/two/bin/dhcp -conf /etc/two/agent.yml \ - -interface br-sn000001 \ - -state /run/two/dhcp/vp-admin_br-sn000001.state \ - -socket /run/two/dhcp/vp-admin_br-sn000001.sock + -interface br-000001 \ + -state /run/two/dhcp/vp-admin_br-000001.state \ + -socket /run/two/dhcp/vp-admin_br-000001.sock .. list-table:: :widths: 40 60 diff --git a/docs/schemas/architecture-cluster-dark.svg b/docs/schemas/architecture-cluster-dark.svg index b5a92d4..9ad0845 100644 --- a/docs/schemas/architecture-cluster-dark.svg +++ b/docs/schemas/architecture-cluster-dark.svg @@ -1,4 +1,4 @@ - + ").replace( " ", ' \n ') diff --git a/docs/schemas/gen_ensemble.py b/docs/schemas/gen_ensemble.py index a1377ba..727c2c0 100644 --- a/docs/schemas/gen_ensemble.py +++ b/docs/schemas/gen_ensemble.py @@ -78,7 +78,6 @@ def path(d, cls, start=False, end=False): def draw(): dy = 205 - # Internet et bordures out.append(' ') text(750, 54, "Internet", "lbl", "middle") path("M750 76 V110", "net", start=True, end=True) @@ -89,19 +88,16 @@ def draw(): text(750, 214, "même IP et même MAC de gateway · sans état", "sub", "middle") text(750, 230, "VTEP · VNI 66001 (public)", "sub", "middle") - # Poste de l'opérateur group(1180, 20, 280, 100, "POSTE DE L'OPÉRATEUR") box(1200, 50, 240, 52, "Terraform / OpenTofu", ["provider two · #72"], "future") - text(1164, 150, "API publique de l'orchestrateur", "nett", "end") - text(1164, 166, "par Internet et les bordures (VNI 66001)", "nett", "end") + path("M1180 64 H900", "net", end=True) + text(1040, 56, "API publique de l'orchestrateur", "nett", "middle") - # Underlay A : routeurs group(40, 280, 480, 130, "CLUSTER A") box(60, 312, 210, 56, "routeur 1", ["169.254.0.1/28"]) box(290, 312, 210, 56, "routeur 2", ["169.254.0.2/28"]) text(280, 392, "VRRP · VTEP · VNI 66000 · NAT vers le VNI 66000 · #72", "sub", "middle") - # Underlay B group(1200, 280, 260, 130, "CLUSTER B") box(1215, 312, 110, 56, "routeur 1", ["169.254.0.1/28"]) box(1335, 312, 110, 56, "routeur 2", ["169.254.0.2/28"]) @@ -122,7 +118,6 @@ def draw(): text(1330, 765 + dy, "l'hyperviseur détaillé", "sub", "middle") path(f"M1452 460 V{395 + dy}", "link") - # eBGP path("M500 340 H1215", "link") text(860, 332, "eBGP · routeur 2 de A → routeur 1 de B", "sub", "middle") path("M660 240 V258 H210 V312", "link") @@ -130,7 +125,6 @@ def draw(): text(420, 252, "eBGP", "sub", "middle") text(1060, 252, "eBGP", "sub", "middle") - # Underlay A : bus, route reflector, services out.append(' ') text(690, 465, "underlay A · VXLAN UDP 4789 · BGP", "sub") path("M75 368 V460", "link") @@ -145,7 +139,6 @@ def draw(): path("M510 410 V546 H760", "orch", end=True) path("M1200 400 H1192 V560 H1180", "orch", end=True) - # Hyperviseur group(40, 395 + dy, 1120, 410, "HYPERVISEUR A (détaillé)") box(60, 430 + dy, 260, 52, "br-000000", ["IP de l'hyperviseur = VTEP"]) box(60, 496 + dy, 260, 52, "FRR · bgpd", ["sessions EVPN vers les RR"]) @@ -174,13 +167,13 @@ def draw(): out.append(f' VNI 66001') path(f"M300 {430 + dy} V460", "link") - # Orchestration : agent → routeurs de l'underlay A path(f"M320 {580 + dy} H332 V410", "orch", end=True) text(340, 596, "register · ordres · événements (mTLS, sortant)", "orcht") - path("M1180 76 H1172 V546 H1160", "net", end=True) + path("M750 240 V300 H1140 V520", "net", end=True) + text(1132, 430, "API publique", "nett", "end") + text(1132, 446, "VNI 66001", "nett", "end") - # Légende ly = 840 + dy path(f"M60 {ly} H110", "data") text(118, ly + 4, "plan de données : VXLAN") @@ -194,12 +187,12 @@ def draw(): text(922, ly + 4, "à venir (ticket indiqué)") notes = [ - "Les agents ne sont jamais joints par l'orchestrateur : ils se connectent au broker en sortie, via leur passerelle ; les routeurs de leur cluster les NAT vers le VNI 66000.", + "Les agents ne sont jamais joints par l'orchestrateur : ils se connectent au broker en sortie, via leur passerelle ; les routeurs de leur cluster les traduisent (NAT) vers le VNI 66000.", "L'orchestrateur a une patte dans le VNI 66001 : son API est joignable depuis Internet, par les bordures.", "VM publique : un subnet public dans son VPC, relié au subnet public de l'hôte (VNI 66001), dont la gateway anycast est portée par toutes les bordures.", "VM privée : route par défaut de type 5 vers la passerelle NAT de son VPC (IP de sortie du VPC) si le VPC autorise Internet, ou IP flottante 1:1 sur son hôte.", "Les bordures restent sans état : tout NAT vit sur un hyperviseur. Broker et orchestrateur sont des VM du VNI 66000, partagé : elles tournent sur les hyperviseurs de n'importe quel cluster.", - "Un route reflector par cluster : un événement d'un cluster ne coupe pas les deux sessions. Chaque lien routeurs ↔ RR est en 169.254.0.0/28, propre à son cluster.", + "Au moins un route reflector ; deux prévus, ici un par cluster : un événement d'un cluster ne coupe pas les deux sessions. Chaque lien routeurs ↔ RR est en 169.254.0.0/28, propre à son cluster.", ] for k, n in enumerate(notes): text(60, 884 + dy + k * 18, n) @@ -208,7 +201,7 @@ def draw(): def render(p): out.clear() draw() - head = f'' + head = f'' return "\n".join([head, style(p)] + out + ["", ""]) diff --git a/internal/api/agent/models.go b/internal/api/agent/models.go index ff3e5f3..be152f6 100644 --- a/internal/api/agent/models.go +++ b/internal/api/agent/models.go @@ -30,7 +30,7 @@ type Subnet struct { State string `json:"state"` VPC string `json:"vpc"` Mode string `json:"mode"` - VxlanID int `json:"vxlan_id"` + VxlanID int `json:"vxlan_id,omitempty"` LocalIface string `json:"local_iface"` InterfaceIP string `json:"interface_ip"` RelayIP string `json:"relay_ip,omitempty"` diff --git a/internal/api/agent/subnet.go b/internal/api/agent/subnet.go index 99e4137..85f9e7a 100644 --- a/internal/api/agent/subnet.go +++ b/internal/api/agent/subnet.go @@ -36,35 +36,7 @@ func (s *Server) getSubnet(w http.ResponseWriter, _ *http.Request, name string) json.NewEncoder(w).Encode(ErrorResponse{Error: "subnet not found"}) return } - sub := Subnet{Name: name} - for key, value := range entries { - parts := strings.Split(key, "/") - if len(parts) != 3 { - continue - } - switch parts[2] { - case "state": - sub.State = value - case "vpc": - sub.VPC = value - case "mode": - sub.Mode = value - case "vxlan_id": - sub.VxlanID, _ = strconv.Atoi(value) - case "local_iface": - sub.LocalIface = value - case "interface_ip": - sub.InterfaceIP = value - case "relay_ip": - sub.RelayIP = value - case "cidr": - sub.CIDR = value - case "default_route": - sub.DefaultRoute = value == "true" - case "gateway": - sub.Gateway = value - } - } + sub := subnetFromEntries(name, entries) w.WriteHeader(http.StatusOK) json.NewEncoder(w).Encode(sub) } @@ -92,3 +64,40 @@ func (s *Server) deleteSubnet(w http.ResponseWriter, _ *http.Request, name strin w.WriteHeader(http.StatusAccepted) json.NewEncoder(w).Encode(Subnet{Name: name, State: state}) } + +func subnetFromEntries(name string, entries map[string]string) Subnet { + sub := Subnet{Name: name} + for key, value := range entries { + parts := strings.Split(key, "/") + if len(parts) != 3 { + continue + } + setSubnetField(&sub, parts[2], value) + } + return sub +} + +func setSubnetField(sub *Subnet, field, value string) { + switch field { + case "state": + sub.State = value + case "vpc": + sub.VPC = value + case "mode": + sub.Mode = value + case "vxlan_id": + sub.VxlanID, _ = strconv.Atoi(value) + case "local_iface": + sub.LocalIface = value + case "interface_ip": + sub.InterfaceIP = value + case "relay_ip": + sub.RelayIP = value + case "cidr": + sub.CIDR = value + case "default_route": + sub.DefaultRoute = value == "true" + case "gateway": + sub.Gateway = value + } +} diff --git a/internal/api/agent/subnet_test.go b/internal/api/agent/subnet_test.go index bf24986..705a293 100644 --- a/internal/api/agent/subnet_test.go +++ b/internal/api/agent/subnet_test.go @@ -329,6 +329,13 @@ func TestCreateSubnet_GatewayRoundTrip(t *testing.T) { if w.Code != http.StatusAccepted { t.Fatalf("attendu 202, obtenu %d : %s", w.Code, w.Body.String()) } + var created Subnet + if err := json.Unmarshal(w.Body.Bytes(), &created); err != nil { + t.Fatalf("réponse 202 illisible : %v", err) + } + if created.Gateway != "203.0.113.1" { + t.Errorf("gateway absente de la réponse 202 : %+v", created) + } if gw, _ := kv.GetFromDB(db, "subnet/sn-gw/gateway"); gw != "203.0.113.1" { t.Errorf("gateway attendue en DB, obtenu %q", gw) @@ -343,6 +350,58 @@ func TestCreateSubnet_GatewayRoundTrip(t *testing.T) { if got.Gateway != "203.0.113.1" { t.Errorf("gateway absente de la réponse GET : %+v", got) } + + w = httptest.NewRecorder() + s.SubnetsHandler(w, httptest.NewRequest(http.MethodGet, "/subnets", nil)) + var list []Subnet + if err := json.Unmarshal(w.Body.Bytes(), &list); err != nil { + t.Fatalf("liste illisible : %v", err) + } + if len(list) != 1 || list[0].Gateway != "203.0.113.1" { + t.Errorf("gateway absente de la liste : %+v", list) + } +} + +func TestSubnet_VxlanIDOnlyForVxlan(t *testing.T) { + s, db := newTestServer(t) + kv.AddInDB(db, "vpc/vpc-1/state", "running") + vx := postSubnetRequest(t, s, SubnetCreateRequest{ + Name: "sn-vx", VPC: "vpc-1", Mode: "vxlan", VxlanID: 65537, CIDR: "10.0.0.0/24", + }) + if vx.Code != http.StatusAccepted { + t.Fatalf("vxlan : attendu 202, obtenu %d : %s", vx.Code, vx.Body.String()) + } + if !strings.Contains(vx.Body.String(), `"vxlan_id":65537`) { + t.Errorf("vxlan_id absent de la réponse 202 vxlan : %s", vx.Body.String()) + } + br := postSubnetRequest(t, s, SubnetCreateRequest{ + Name: "sn-br", VPC: "vpc-1", Mode: "bridge", VxlanID: 65538, InterfaceIP: "10.1.0.1", CIDR: "10.1.0.0/24", + }) + if br.Code != http.StatusAccepted { + t.Fatalf("bridge : attendu 202, obtenu %d : %s", br.Code, br.Body.String()) + } + if strings.Contains(br.Body.String(), "vxlan_id") { + t.Errorf("vxlan_id ne doit pas apparaître dans la réponse 202 bridge : %s", br.Body.String()) + } + + w := httptest.NewRecorder() + s.SubnetByNameHandler(w, httptest.NewRequest(http.MethodGet, "/subnets/sn-br", nil)) + if strings.Contains(w.Body.String(), "vxlan_id") { + t.Errorf("vxlan_id ne doit pas apparaître pour un subnet bridge : %s", w.Body.String()) + } + + w = httptest.NewRecorder() + s.SubnetsHandler(w, httptest.NewRequest(http.MethodGet, "/subnets", nil)) + var list []map[string]any + if err := json.Unmarshal(w.Body.Bytes(), &list); err != nil { + t.Fatalf("liste illisible : %v", err) + } + for _, sub := range list { + _, has := sub["vxlan_id"] + if want := sub["name"] == "sn-vx"; has != want { + t.Errorf("%v : vxlan_id présent=%v, attendu %v", sub["name"], has, want) + } + } } func postSubnetRequest(t *testing.T, s *Server, req SubnetCreateRequest) *httptest.ResponseRecorder { diff --git a/internal/api/agent/subnets.go b/internal/api/agent/subnets.go index 00bfb7b..5390d57 100644 --- a/internal/api/agent/subnets.go +++ b/internal/api/agent/subnets.go @@ -40,26 +40,7 @@ func (s *Server) listSubnets(w http.ResponseWriter, _ *http.Request) { if _, ok := subnets[name]; !ok { subnets[name] = &Subnet{Name: name} } - switch parts[2] { - case "state": - subnets[name].State = value - case "vpc": - subnets[name].VPC = value - case "mode": - subnets[name].Mode = value - case "vxlan_id": - subnets[name].VxlanID, _ = strconv.Atoi(value) - case "local_iface": - subnets[name].LocalIface = value - case "interface_ip": - subnets[name].InterfaceIP = value - case "relay_ip": - subnets[name].RelayIP = value - case "cidr": - subnets[name].CIDR = value - case "default_route": - subnets[name].DefaultRoute = value == "true" - } + setSubnetField(subnets[name], parts[2], value) } result := make([]Subnet, 0, len(subnets)) for _, sub := range subnets { @@ -124,33 +105,7 @@ func (s *Server) postSubnet(w http.ResponseWriter, r *http.Request) { json.NewEncoder(w).Encode(ErrorResponse{Error: "failed to read subnet state"}) return } - sub := Subnet{Name: req.Name} - for key, value := range entries { - parts := strings.Split(key, "/") - if len(parts) != 3 { - continue - } - switch parts[2] { - case "state": - sub.State = value - case "vpc": - sub.VPC = value - case "mode": - sub.Mode = value - case "vxlan_id": - sub.VxlanID, _ = strconv.Atoi(value) - case "local_iface": - sub.LocalIface = value - case "interface_ip": - sub.InterfaceIP = value - case "relay_ip": - sub.RelayIP = value - case "cidr": - sub.CIDR = value - case "default_route": - sub.DefaultRoute = value == "true" - } - } + sub := subnetFromEntries(req.Name, entries) w.WriteHeader(http.StatusAccepted) json.NewEncoder(w).Encode(sub) } diff --git a/internal/watchdog/watchdog_test.go b/internal/watchdog/watchdog_test.go index 019ddb5..eb43975 100644 --- a/internal/watchdog/watchdog_test.go +++ b/internal/watchdog/watchdog_test.go @@ -111,8 +111,15 @@ func TestRun_VerifieLesTroisTypesDeRessource(t *testing.T) { w := New(db, testCfg(t), n, l, 10*time.Millisecond) ctx, cancel := context.WithCancel(context.Background()) - defer cancel() - go w.Run(ctx) + done := make(chan struct{}) + go func() { + w.Run(ctx) + close(done) + }() + defer func() { + cancel() + <-done + }() kinds := map[string]bool{} deadline := time.After(5 * time.Second) diff --git a/release_notes/0.2.0.md b/release_notes/0.2.0.md index f8031ef..91c55a5 100644 --- a/release_notes/0.2.0.md +++ b/release_notes/0.2.0.md @@ -136,6 +136,9 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet - **Un fichier de configuration présent mais invalide fait désormais échouer le démarrage.** Jusqu'en 0.1.0 l'erreur de lecture était ignorée : l'agent tournait alors entièrement sur ses valeurs par défaut sans le dire, ce qui rendait indétectable une simple tabulation d'indentation +- **Réponses de l'API des subnets alignées sur la spécification** : `gateway` est rendu aussi par + `GET /subnets` et par la réponse 202 de `POST /subnets`, plus seulement par + `GET /subnets/{name}` ; `vxlan_id` est omis hors mode `vxlan` au lieu de valoir 0 (#80) - `probe` annonce explicitement `"served": false` pour une MAC non réservée, au lieu d'omettre le champ et de le rendre indistinguable d'une réponse tronquée - **Le serveur DHCP intégré s'arrête proprement** sur `SIGTERM` et `SIGINT` : il ferme sa socket de diff --git a/test/e2e/build.sh b/test/e2e/build.sh index 3b68881..786f211 100755 --- a/test/e2e/build.sh +++ b/test/e2e/build.sh @@ -10,7 +10,8 @@ usage () { usage: ${0##*/} [--clean] sans option : compile ${BINARIES} pour linux/amd64 depuis l'arbre courant dans ${BIN_DIR} ; - le prochain lab les installe par-dessus la release de la topologie + le prochain lab les installe par-dessus la release épinglée dans + topologies/provision/hypervisor.sh --clean : vide ${BIN_DIR} ; le prochain lab teste la release seule USAGE exit 2 diff --git a/test/e2e/lib/core.sh b/test/e2e/lib/core.sh index eadb4af..fa2a8cf 100644 --- a/test/e2e/lib/core.sh +++ b/test/e2e/lib/core.sh @@ -55,15 +55,18 @@ api_state () { } wait_state () { - local path="${1}" want="${2}" i s + local path="${1}" want="${2}" i s code="" for i in $(seq 1 180); do s=$(api_state "${path}") [ "${s}" = "${want}" ] && return 0 - [ "${want}" = deleted ] && [ -z "${s}" ] && return 0 + if [ "${want}" = deleted ] && [ -z "${s}" ]; then + code=$(api_code GET "${path}") + [ "${code}" = 404 ] && return 0 + fi [ "${s}" = error ] && { echo "${path}: error" >&2; return 1; } sleep 2 done - echo "${path}: ${s:-absent}, ${want} attendu" >&2 + echo "${path}: ${s:-absent}${code:+ (HTTP ${code})}, ${want} attendu" >&2 return 1 } diff --git a/test/e2e/lib/evpn.sh b/test/e2e/lib/evpn.sh index 2ffba8a..b21ca7a 100644 --- a/test/e2e/lib/evpn.sh +++ b/test/e2e/lib/evpn.sh @@ -76,20 +76,24 @@ wait_watchdog () { } watchdog_alerts () { - journalctl -u agent --since "-${1:-300}s" --no-pager -o cat | grep -F 'watchdog: inconsistency detected' + local log + log=$(journalctl -u agent --since "-${1:-300}s" --no-pager -o cat) || { echo "journal de l'agent illisible (journalctl en échec)"; return 1; } + grep -F 'watchdog: inconsistency detected' <<<"${log}" || true } watchdog_quiet () { - local out - out=$(watchdog_alerts "${1:-300}" | { if [ -n "${2:-}" ]; then grep -vF -- "${2}"; else cat; fi; }) + local alerts out + alerts=$(watchdog_alerts "${1:-300}") || { printf '%s\n' "${alerts}"; return 1; } + out=$(printf '%s\n' "${alerts}" | { if [ -n "${2:-}" ]; then grep -vF -- "${2}"; else cat; fi; }) [ -z "${out}" ] && return 0 printf '%s\n' "${out}" return 1 } watchdog_quiet_about () { - local out - out=$(watchdog_alerts "${1}" | grep -F -- "${2}") || return 0 + local alerts out + alerts=$(watchdog_alerts "${1}") || { printf '%s\n' "${alerts}"; return 1; } + out=$(grep -F -- "${2}" <<<"${alerts}") || return 0 printf '%s\n' "${out}" return 1 } @@ -129,8 +133,9 @@ wait_bgp_paths () { } watchdog_l3_quiet () { - local out - out=$(journalctl -u agent --since "-${1:-60}s" --no-pager -o cat | grep -F 'watchdog: inconsistency detected' | grep -E '"kind":"bgp"|l3vni [0-9]|interface (vrf|brl3|vxl3|l3)-') || return 0 + local alerts out + alerts=$(watchdog_alerts "${1:-60}") || { printf '%s\n' "${alerts}"; return 1; } + out=$(grep -E '"kind":"bgp"|l3vni [0-9]|interface (vrf|brl3|vxl3|l3)-' <<<"${alerts}") || return 0 printf '%s\n' "${out}" return 1 } diff --git a/test/e2e/lib/fixture.sh b/test/e2e/lib/fixture.sh index 723eae6..5e77302 100644 --- a/test/e2e/lib/fixture.sh +++ b/test/e2e/lib/fixture.sh @@ -1,26 +1,52 @@ STATE_DIR=/var/tmp/e2e +SCRATCH_DIR=/tmp owned () { grep -E "^(vp-|sn-)?t${T}" } api_names () { - curl -fsS "${API}/${1}" | jq -r '.[] | select(.state != "deleted") | .name' + local out + out=$(curl -fsS "${API}/${1}") || { echo "API injoignable (${1})" >&2; return 1; } + jq -r '.[] | select(.state != "deleted") | .name' <<<"${out}" } delete_owned () { - local kind="${1}" name rc=0 - for name in $(api_names "${kind}" | owned); do + local kind="${1}" names name rc=0 + names=$(api_names "${kind}") || return 1 + for name in $(owned <<<"${names}"); do api_delete "${kind}/${name}" && wait_state "${kind}/${name}" deleted || { echo "${kind}/${name} : suppression en échec" >&2; rc=1; } done return "${rc}" } +scratch_netns () { + ip netns list | awk '{print $1}' | grep -E "^t${T}-" +} + +scratch_files () { + find "${SCRATCH_DIR}" "${STATE_DIR}" -maxdepth 1 -type f \( -name "t${T}-*" -o -name "t${T}.*" \) ! -name "t${T}.avant" +} + +clean_scratch () { + local ns f + for ns in $(scratch_netns); do + ip netns del "${ns}" || return 1 + done + for f in $(scratch_files); do + rm -f "${f}" || return 1 + done +} + teardown_owned () { delete_owned vms && delete_owned subnets && delete_owned vpcs || return 1 rm -f "${VOLUMES}/t${T}"-* - local left - left=$(for kind in vms subnets vpcs; do api_names "${kind}" | owned | sed "s|^|${kind}/|"; done | tr '\n' ' ') + clean_scratch || return 1 + local left="" kind names + for kind in vms subnets vpcs; do + names=$(api_names "${kind}") || return 1 + left="${left}$(owned <<<"${names}" | sed "s|^|${kind}/|" | tr '\n' ' ')" + done [ -z "${left}" ] || { echo "encore présents : ${left}"; return 1; } } @@ -40,8 +66,9 @@ host_state () { prepare_test () { mkdir -p "${STATE_DIR}" - if [ -n "$(for kind in vms subnets vpcs; do api_names "${kind}" | owned; done)" ]; then - info "${HOST} : ressources t${T} d'un passage précédent, suppression" + curl -fsS -o /dev/null "${API}/vpcs" || echo "ÉCHOUÉ: ${HOST} : API de l'agent injoignable avant le test" + if [ -n "$(for kind in vms subnets vpcs; do api_names "${kind}" | owned; done)$(scratch_netns)$(scratch_files)" ]; then + info "${HOST} : ressources, netns ou fichiers t${T} d'un passage précédent, suppression" check "${HOST} : nettoyage des ressources t${T} restantes" teardown_owned fi host_state > "${STATE_DIR}/t${T}.avant" diff --git a/test/e2e/lib/vm.sh b/test/e2e/lib/vm.sh index ed8757c..5c702a3 100644 --- a/test/e2e/lib/vm.sh +++ b/test/e2e/lib/vm.sh @@ -19,12 +19,19 @@ two_image () { 'SUBSYSTEM=="block", ENV{DEVTYPE}=="disk", ENV{ID_SERIAL_SHORT}=="xvd[a-z]", SYMLINK+="$env{ID_SERIAL_SHORT}"' \ 'SUBSYSTEM=="block", ENV{DEVTYPE}=="partition", ENV{ID_SERIAL_SHORT}=="xvd[a-z]", SYMLINK+="$env{ID_SERIAL_SHORT}%n"' \ > /mnt/two-image/etc/udev/rules.d/90-two-xvd.rules + printf '%s\n' 'updates:' ' network:' ' when: [boot-new-instance, boot, boot-legacy]' \ + > /mnt/two-image/etc/cloud/cloud.cfg.d/98_network_updates.cfg umount /mnt/two-image qemu-nbd -d /dev/nbd0 >/dev/null mv "${work}/${IMAGE_FILE}" "${TWO_IMAGE}" rm -rf "${work}" } +vm_volume () { + two_image || { echo "image ${TWO_IMAGE} indisponible" >&2; return 1; } + mkdir -p "${VOLUMES}" && cp "${TWO_IMAGE}" "${VOLUMES}/${1}.qcow2" +} + vm_key () { [ -f "${VM_KEY}" ] || ssh-keygen -q -t ed25519 -N '' -C lab-vm -f "${VM_KEY}" cat "${VM_KEY}.pub" @@ -40,8 +47,7 @@ vm_create () { local name="${1}" subnet="${2}" ip="${3}" key="${4:-}" meta="{}" api_state "vms/${name}" | grep -qx running && return 0 [ -n "${key}" ] && meta="{\"sshkey\":\"${key}\"}" - mkdir -p "${VOLUMES}" - cp "${TWO_IMAGE}" "${VOLUMES}/${name}.qcow2" || return 1 + vm_volume "${name}" || return 1 api_post vms "{\"name\":\"${name}\",\"memory\":1024,\"cpus\":1,\"metadata\":${meta},\"interfaces\":[{\"subnet\":\"${subnet}\",\"ip\":\"${ip}\",\"mac\":\"$(mac_for_ip "${ip}")\",\"primary\":true}],\"storage\":[{\"path\":\"${VOLUMES}/${name}.qcow2\",\"dev\":\"vda\"}]}" \ && wait_state "vms/${name}" running } @@ -77,6 +83,14 @@ vm_fails () { esac } +vm_output_empty () { + local out + out=$(vm_ssh "${1}" "${2}" "${3}") || { echo "commande en échec dans ${2} (ou SSH en panne)"; return 1; } + [ -z "${out}" ] && return 0 + echo "sortie non vide dans ${2} : $(printf '%s' "${out}" | head -n 1)" + return 1 +} + vm_grep () { vm_ssh "${1}" "${2}" "${3} 2>&1" | grep -q -- "${4}" } @@ -125,8 +139,7 @@ vm_launch () { shift api_state "vms/${name}" | grep -qx running && return 0 body=$(vm_json "${name}" --disk "vda=${VOLUMES}/${name}.qcow2" "$@") || return 1 - mkdir -p "${VOLUMES}" - cp "${TWO_IMAGE}" "${VOLUMES}/${name}.qcow2" || return 1 + vm_volume "${name}" || return 1 api_post vms "${body}" && wait_state "vms/${name}" running } diff --git a/test/e2e/run.sh b/test/e2e/run.sh index a23e88e..a825dec 100755 --- a/test/e2e/run.sh +++ b/test/e2e/run.sh @@ -15,10 +15,12 @@ usage: ${0##*/} [--continue] [--connus] all | --from | ... | /dev/null | sed 's/\.sh$//' | tr '\n' ' ') Chaque test s'exécute depuis le Mac sur le lab en cours (labctl.sh up, push, ./labctl up). -Une couche se désigne par son numéro (00, 10, …, 70), un test par son numéro ou son nom. -Avant un test, ses ressources t restantes sont supprimées et l'état de chaque hôte de -l'en-tête « # hôtes: » est relevé ; après, ses ressources sont supprimées et l'hôte doit être -revenu à cet état. Avec all ou --from, une couche en échec arrête la suite (--continue : non). +Une couche se désigne par son numéro (00, 10, …, 70), un test par son numéro à deux chiffres +ou son nom exact, avec ou sans numéro (21, 21-dhcp-two ou dhcp-two). +Avant un test, ses ressources t restantes (API, netns t-*, fichiers t-* et t.* +de /tmp et /var/tmp/e2e) sont supprimées et l'état de chaque hôte de l'en-tête « # hôtes: » +est relevé ; après, ses ressources sont supprimées et l'hôte doit être revenu à cet état. +Un test réussit s'il n'a aucun échec et au moins une vérification propre, hors fixtures. Avec all ou --from, une couche en échec arrête la suite (--continue : non). Un contrôle marqué known (échec connu, rattaché à un ticket) donne CONNU sans compter comme un échec, ou INATTENDU (compté comme un échec) s'il passe : retirer alors le marqueur. --connus compte les CONNU comme des échecs. known_flaky (échec intermittent) donne RÉUSSI, annoté, s'il passe. @@ -53,7 +55,7 @@ number () { } run_scenario () { - local file="${1}" name passed failed known host hosts num + local file="${1}" name passed failed known host hosts num start own name="$(basename "${file}" .sh)" num=$(number "${file}") hosts=$(header "${file}" hôtes) @@ -62,7 +64,9 @@ run_scenario () { for host in ${hosts}; do on "${host}" "T=${num}" "HOST=${host}" <<< 'prepare_test' done + start=$(wc -l < "${SCENARIO_LOG}") ( . "${file}" ) + own=$(tail -n "+$(( start + 1 ))" "${SCENARIO_LOG}" | grep -cE '^(RÉUSSI|ÉCHOUÉ|CONNU|INATTENDU): ') for host in ${hosts}; do on "${host}" "T=${num}" "HOST=${host}" <<< 'finish_test' done @@ -72,7 +76,8 @@ run_scenario () { [[ "${KNOWN_FAIL}" -eq 1 ]] && failed=$(( failed + known )) rm -f "${SCENARIO_LOG}" echo "=== ${name} : ${passed} réussi(s), ${failed} échoué(s)$([[ "${known}" -gt 0 ]] && echo ", ${known} connu(s)")" - [[ "${failed}" -eq 0 && "${passed}" -gt 0 ]] + [[ "${own}" -gt 0 ]] || echo "=== ${name} : aucune vérification propre au scénario n'a tourné" + [[ "${failed}" -eq 0 && "${own}" -gt 0 ]] } matrix () { @@ -100,10 +105,16 @@ select_files () { ls "${SUITE_DIR}"/*.sh elif [[ "${arg}" =~ ^[0-9]0$ ]]; then ls "${SUITE_DIR}/${arg:0:1}"[0-9]-*.sh 2>/dev/null || { echo "couche vide : ${arg}" >&2; return 1; } - else - file=$(ls "${SUITE_DIR}/${arg}"*.sh 2>/dev/null | head -n 1) + elif [[ "${arg}" =~ ^[0-9]{2}$ ]]; then + file=$(ls "${SUITE_DIR}/${arg}"-*.sh 2>/dev/null | head -n 1) [[ -n "${file}" ]] || { echo "test inconnu : ${arg}" >&2; return 1; } echo "${file}" + elif [[ -f "${SUITE_DIR}/${arg}.sh" ]]; then + echo "${SUITE_DIR}/${arg}.sh" + else + file=$(ls "${SUITE_DIR}"/[0-9][0-9]-"${arg}".sh 2>/dev/null | head -n 1) + [[ -n "${file}" ]] || { echo "test inconnu : ${arg} (numéro à deux chiffres ou nom exact)" >&2; return 1; } + echo "${file}" fi done [[ -z "${from}" ]] || { echo "--from sans numéro" >&2; return 1; } diff --git a/test/e2e/run_test.sh b/test/e2e/run_test.sh index 76d0e41..29edb5f 100755 --- a/test/e2e/run_test.sh +++ b/test/e2e/run_test.sh @@ -20,7 +20,11 @@ if ! bash -n "${FAKE_DIR}/payload.$(( N + 1 ))" 2>"${FAKE_DIR}/syntax.$(( N + 1 echo "ÉCHOUÉ: syntaxe du bloc $(( N + 1 ))" exit 0 fi -[ -n "${FAKE_OUT:-}" ] && printf '%b\n' "${FAKE_OUT}" +case "$(tail -n 1 "${FAKE_DIR}/payload.$(( N + 1 ))")" in + prepare_test|finish_test) OUT="${FAKE_FIXTURE_OUT:-${FAKE_OUT:-}}" ;; + *) OUT="${FAKE_OUT:-}" ;; +esac +[ -n "${OUT}" ] && printf '%b\n' "${OUT}" exit 0 FAKE chmod +x "${WORK}/lab-host" @@ -29,7 +33,7 @@ FAKE run () { env LAB_HOST="${WORK}/lab-host" FAKE_DIR="${WORK}" SUITE_DIR="${SUITE_DIR:-${WORK}/scenarios}" \ - FAKE_OUT="${FAKE_OUT:-}" bash "${DIR}/run.sh" "$@" > "${WORK}/out.log" 2>&1 + FAKE_OUT="${FAKE_OUT:-}" FAKE_FIXTURE_OUT="${FAKE_FIXTURE_OUT:-}" bash "${DIR}/run.sh" "$@" > "${WORK}/out.log" 2>&1 } teardown () { @@ -39,7 +43,7 @@ teardown () { } node () { - bash -c "$(printf ". '%s'; " "${DIR}"/lib/{core,vm,net,evpn,fixture}.sh)${1}" 2>&1 + bash -c "$(printf ". '%s'; " "${DIR}"/lib/{core,vm,net,evpn,fixture}.sh)two_image () { echo 'two_image non simulée' >&2; return 1; }; ${1}" 2>&1 } test_on_sends_assignments_library_and_block_to_the_node () { @@ -135,7 +139,84 @@ test_wait_state () { local start=${SECONDS} [[ $(node 'api_state () { echo error; }; wait_state vms/x running 2>&1 || echo NON') == *NON ]] || fail "error accepté" (( SECONDS - start < 5 )) || fail "une ressource en error n'arrête pas l'attente immédiatement ($(( SECONDS - start )) s)" - [[ $(node 'api_state () { echo; }; wait_state vms/x deleted && echo OUI') == OUI ]] || fail "absence = supprimé" + [[ $(node 'api_state () { echo; }; api_code () { echo 404; }; wait_state vms/x deleted && echo OUI') == OUI ]] || fail "absence (404) = supprimé" + [[ $(node 'api_state () { echo; }; api_code () { echo 000; }; sleep () { :; }; wait_state vms/x deleted 2>&1 || echo NON') == *'(HTTP 000), deleted attendu'*NON ]] \ + || fail "API injoignable prise pour une suppression : $(node 'api_state () { echo; }; api_code () { echo 000; }; sleep () { :; }; wait_state vms/x deleted 2>&1 || echo NON')" + teardown +} + +test_api_names_and_teardown_fail_when_the_api_is_unreachable () { + setup "api_names, delete_owned, teardown_owned : échec si l'API est injoignable" + local stub='curl () { return 7; }; scratch_netns () { :; }; scratch_files () { :; }; rm () { :; }; ' + [[ $(node "${stub}api_names vms 2>&1 || echo NON") == *'API injoignable (vms)'*NON ]] || fail "api_names : $(node "${stub}api_names vms 2>&1 || echo NON")" + [[ $(node "T=41; ${stub}delete_owned vms 2>&1 || echo NON") == *NON ]] || fail "delete_owned réussit sans API" + [[ $(node "T=41; ${stub}teardown_owned 2>&1 || echo NON") == *NON ]] || fail "teardown_owned réussit sans API" + teardown +} + +test_prepare_reports_an_unreachable_api () { + setup "prepare_test : API injoignable signalée en ÉCHOUÉ" + local dir + dir=$(mktemp -d) + [[ $(node "T=41; HOST=hv1; STATE_DIR='${dir}'; curl () { return 7; }; api_names () { return 1; }; scratch_netns () { :; }; scratch_files () { :; }; host_state () { :; }; prepare_test") == "ÉCHOUÉ: hv1 : API de l'agent injoignable avant le test" ]] \ + || fail "$(node "T=41; HOST=hv1; STATE_DIR='${dir}'; curl () { return 7; }; api_names () { return 1; }; scratch_netns () { :; }; scratch_files () { :; }; host_state () { :; }; prepare_test")" + rm -rf "${dir}" + teardown +} + +test_clean_scratch_removes_only_the_test_netns_and_files () { + setup "clean_scratch : netns et fichiers t du test, rien d'autre, état d'avant gardé" + local dir out + dir=$(mktemp -d) + mkdir "${dir}/tmp" "${dir}/state" + touch "${dir}/tmp/t41-a2.log" "${dir}/tmp/t41.log" "${dir}/tmp/t41.10.255.255.1" "${dir}/tmp/t411.log" "${dir}/tmp/t42-a.log" \ + "${dir}/state/t41.restart" "${dir}/state/t41.avant" "${dir}/state/t42.avant" + out=$(node "T=41; SCRATCH_DIR='${dir}/tmp'; STATE_DIR='${dir}/state'; ip () { if [ \"\$1 \$2\" = 'netns list' ]; then printf '%s\n' 't41-ebt (id: 3)' vp-t41a t42-ebt; else echo \"ip \$*\"; fi; }; clean_scratch && echo OUI") + [[ $(tr '\n' '|' <<< "${out}") == "ip netns del t41-ebt|OUI|" ]] || fail "netns : ${out}" + [[ $(cd "${dir}" && find . -type f | sort | tr '\n' ' ') == "./state/t41.avant ./state/t42.avant ./tmp/t411.log ./tmp/t42-a.log " ]] \ + || fail "fichiers restants : $(cd "${dir}" && find . -type f | sort | tr '\n' ' ')" + rm -rf "${dir}" + teardown +} + +test_scenario_without_its_own_check_fails_despite_fixtures () { + setup "un scénario sans vérification propre échoue, même si les fixtures réussissent" + suite_file 41-x hv1 + FAKE_FIXTURE_OUT='RÉUSSI: teardown\nRÉUSSI: assert_clean' FAKE_OUT='INFO: rien' run 41; [[ $? -eq 1 ]] || fail "scénario muet accepté" + grep -q "aucune vérification propre au scénario" "${WORK}/out.log" || fail "cause non annoncée" + FAKE_FIXTURE_OUT='RÉUSSI: teardown' FAKE_OUT='CONNU: x (#1)' run 41; [[ $? -eq 0 ]] || fail "un CONNU propre au scénario n'est pas compté comme une vérification" + FAKE_FIXTURE_OUT='INFO: rien' FAKE_OUT='RÉUSSI: x' run 41; [[ $? -eq 0 ]] || fail "vérification propre non comptée" + teardown +} + +test_selection_requires_two_digits_or_an_exact_name () { + setup "sélection : numéro à deux chiffres ou nom exact, sans préfixe partiel" + suite_file 21-dhcp-two ""; suite_file 41-x ""; suite_file 42-y "" + run 4; [[ $? -eq 2 ]] || fail "« 4 » accepté" + run dhcp; [[ $? -eq 2 ]] || fail "« dhcp » accepté" + FAKE_OUT='RÉUSSI: x' run dhcp-two + [[ $(grep '^=== [0-9a-z-]*$' "${WORK}/out.log" | tr '\n' ' ') == "=== 21-dhcp-two " ]] || fail "par nom : $(grep '^=== ' "${WORK}/out.log" | tr '\n' ' ')" + FAKE_OUT='RÉUSSI: x' run 21-dhcp-two 42 + [[ $(grep '^=== [0-9a-z-]*$' "${WORK}/out.log" | tr '\n' ' ') == "=== 21-dhcp-two === 42-y " ]] || fail "nom complet et numéro : $(grep '^=== ' "${WORK}/out.log" | tr '\n' ' ')" + teardown +} + +test_vm_volume_builds_the_image_before_copying () { + setup "vm_volume : image construite si absente, échec sans image" + local dir + dir=$(mktemp -d) + [[ $(node "VOLUMES='${dir}/v'; TWO_IMAGE='${dir}/img'; two_image () { echo base > \"\${TWO_IMAGE}\"; }; vm_volume t41-a && cat '${dir}/v/t41-a.qcow2'") == base ]] || fail "image non construite ou non copiée" + [[ $(node "VOLUMES='${dir}/w'; TWO_IMAGE='${dir}/absente'; two_image () { return 1; }; vm_volume t41-a 2>&1 || echo NON") == *NON ]] || fail "volume sans image accepté" + [[ ! -e "${dir}/w/t41-a.qcow2" ]] || fail "volume créé sans image" + rm -rf "${dir}" + teardown +} + +test_vm_output_empty_needs_a_working_command () { + setup "vm_output_empty : sortie vide d'une commande réussie, SSH ou commande en échec refusés" + [[ $(node 'vm_ssh () { :; }; vm_output_empty v 1.2.3.4 x && echo OUI') == OUI ]] || fail "sortie vide refusée" + [[ $(node 'vm_ssh () { echo "10.33.0.0/16 via 10.33.0.1"; }; vm_output_empty v 1.2.3.4 x || echo NON') == *NON ]] || fail "sortie non vide acceptée" + [[ $(node 'vm_ssh () { return 255; }; vm_output_empty v 1.2.3.4 x || echo NON') == *NON ]] || fail "SSH en panne pris pour une sortie vide" teardown } @@ -240,6 +321,13 @@ test_watchdog_quiet_passes_without_alert_and_fails_on_one () { [[ $(node "journalctl () { echo '${alert}'; }; watchdog_quiet 300 >/dev/null || echo NON") == NON ]] || fail "alerte acceptée sans exclusion" [[ $(node "journalctl () { echo '${alert}'; }; watchdog_quiet 300 'stale dhcp' && echo OUI") == OUI ]] || fail "alerte exclue refusée" teardown + setup "watchdog_quiet, watchdog_quiet_about, watchdog_l3_quiet : échec si le journal est illisible" + local f + for f in 'watchdog_quiet 300' "watchdog_quiet 300 'stale dhcp'" "watchdog_quiet_about 300 'stale dhcp'" 'watchdog_l3_quiet 60'; do + [[ $(node "journalctl () { return 1; }; ${f} || echo NON") == *'journalctl en échec'*NON ]] || fail "${f} : $(node "journalctl () { return 1; }; ${f} || echo NON")" + done + [[ $(node "journalctl () { :; }; watchdog_quiet_about 300 'stale dhcp' && echo OUI") == OUI ]] || fail "watchdog_quiet_about : journal vide refusé" + teardown } test_watchdog_reported_matches_only_watchdog_alerts () { @@ -319,7 +407,7 @@ test_owned_keeps_only_the_resources_of_the_test () { test_teardown_deletes_vms_then_subnets_then_vpcs () { setup "teardown_owned : VM, puis subnets, puis VPC, et rien d'autre" - local stub='api_names () { case $1 in vms) [ -f /tmp/.t70.$$ ] || echo t41-a; echo t42-z ;; subnets) echo sn-t41a ;; vpcs) echo vp-t41a ;; esac; }; api_delete () { echo "DEL $1"; [ "$1" = vms/t41-a ] && touch /tmp/.t70.$$; :; }; wait_state () { :; }; rm () { :; }; ' + local stub='api_names () { case $1 in vms) [ -f /tmp/.t70.$$ ] || echo t41-a; echo t42-z ;; subnets) echo sn-t41a ;; vpcs) echo vp-t41a ;; esac; }; api_delete () { echo "DEL $1"; [ "$1" = vms/t41-a ] && touch /tmp/.t70.$$; :; }; wait_state () { :; }; rm () { :; }; scratch_netns () { :; }; scratch_files () { :; }; ' local out out=$(node "T=41; ${stub}teardown_owned; command rm -f /tmp/.t70.\$\$") [[ $(grep '^DEL' <<< "${out}" | tr '\n' ' ') == "DEL vms/t41-a DEL subnets/sn-t41a DEL vpcs/vp-t41a " ]] || fail "ordre : ${out}" @@ -384,7 +472,7 @@ test_vm_json_builds_nics_disks_metadata_and_uefi () { test_vm_launch_copies_the_system_disk_first_and_waits () { setup "vm_launch : disque système vda copié en premier, POST, attente de running" local out - out=$(node 'VOLUMES=/v; TWO_IMAGE=/img; api_state () { echo; }; mkdir () { :; }; cp () { echo "CP $*"; }; api_post () { echo "POST $1 $(jq -c "[.storage[].dev, .interfaces[0].ip]" <<<"$2")"; }; wait_state () { echo "WAIT $*"; }; vm_launch t26-d --nic sn=10.0.0.10 --disk xvda=/v/s.qcow2') + out=$(node 'VOLUMES=/v; TWO_IMAGE=/img; two_image () { :; }; api_state () { echo; }; mkdir () { :; }; cp () { echo "CP $*"; }; api_post () { echo "POST $1 $(jq -c "[.storage[].dev, .interfaces[0].ip]" <<<"$2")"; }; wait_state () { echo "WAIT $*"; }; vm_launch t26-d --nic sn=10.0.0.10 --disk xvda=/v/s.qcow2') [[ "${out}" == $'CP /img /v/t26-d.qcow2\nPOST vms ["vda","xvda","10.0.0.10"]\nWAIT vms/t26-d running' ]] || fail "${out}" [[ $(node 'api_state () { echo running; }; cp () { echo CP; }; api_post () { echo POST; }; vm_launch t --nic s=1.2.3.4 && echo OK') == OK ]] || fail "VM en running relancée" [[ $(node 'api_state () { echo; }; cp () { echo CP; }; vm_launch t --bad x || echo NON') == *NON ]] || fail "option invalide : disque copié ou POST envoyé" diff --git a/test/e2e/suite/01-lab.sh b/test/e2e/suite/01-lab.sh index d66a7c7..55d2fb4 100644 --- a/test/e2e/suite/01-lab.sh +++ b/test/e2e/suite/01-lab.sh @@ -20,7 +20,7 @@ esac on "${host}" "HOST=${host}" "ADDR=${addr}" "BACKEND=${backend}" "SW1=${SW1}" "SW2=${SW2}" <<'NODE' check "${HOST} : agent actif" systemctl is-active --quiet agent check "${HOST} : API de l'agent joignable" curl -fsS -o /dev/null "${API}/vpcs" -check "${HOST} : backend DHCP ${BACKEND} configuré" grep -A1 -x 'dhcp:' /etc/two/agent.yml | grep -qx " backend: ${BACKEND}" +check "${HOST} : backend DHCP ${BACKEND} configuré" sh -c "grep -A1 -x 'dhcp:' /etc/two/agent.yml | grep -qx ' backend: ${BACKEND}'" check "${HOST} : VTEP = adresse underlay ${ADDR}" test "$(vtep_host)" = "${ADDR}" for peer in 192.168.14.11 192.168.14.12 192.168.14.13; do [ "${peer}" = "${ADDR}" ] && continue diff --git a/test/e2e/suite/11-validation.sh b/test/e2e/suite/11-validation.sh index b8f89ad..c9684a2 100644 --- a/test/e2e/suite/11-validation.sh +++ b/test/e2e/suite/11-validation.sh @@ -45,7 +45,7 @@ for dev in sdb vdb xvdaa; do done check "VM : user_data en base64 invalide, 400" expect_code 400 api_post_code vms "$(vm_body t11-x sn-t11a 10.11.1.12 "${NONE}" '{"user_data":"pas du base64 !"}')" check "VMs refusées : aucune trace de t11-x" expect_code 404 api_code GET vms/t11-x -cp "${TWO_IMAGE}" "${VOLUMES}/t11-ud.qcow2" +check "volume de t11-ud" vm_volume t11-ud check "VM t11-ud avec user_data en base64 valide, 202 (témoin)" expect_code 202 api_post_code vms "$(vm_body t11-ud sn-t11a 10.11.1.12 "" "{\"user_data\":\"$(printf '#cloud-config\n' | base64 | tr -d '\n')\"}")" check "t11-ud running" wait_state vms/t11-ud running NODE diff --git a/test/e2e/suite/12-etats.sh b/test/e2e/suite/12-etats.sh index e46176a..aab8d3e 100644 --- a/test/e2e/suite/12-etats.sh +++ b/test/e2e/suite/12-etats.sh @@ -4,8 +4,7 @@ on hv1 <<'NODE' check "VPC vp-t12a" vpc_create vp-t12a 10.12.0.0/16 -mkdir -p "${VOLUMES}" -cp "${TWO_IMAGE}" "${VOLUMES}/t12-a.qcow2" +check "volume de t12-a" vm_volume t12-a post_both () { api_post subnets "${1}" && api_post vms "${2}"; } check "subnet sn-t12a et VM t12-a envoyés sans attendre" post_both \ '{"name":"sn-t12a","vpc":"vp-t12a","mode":"vxlan","vxlan_id":1201,"iface_type":"vms","cidr":"10.12.1.0/24"}' \ @@ -37,6 +36,6 @@ check "sn-t12a recréé sous le même nom" subnet_create sn-t12a vp-t12a 1201 10 check "suppression de sn-t12a recréé" expect_code 202 api_code DELETE subnets/sn-t12a check "sn-t12a recréé puis supprimé" wait_state subnets/sn-t12a deleted check "suppression de vp-t12a, sans subnet, 202 (témoin)" expect_code 202 api_code DELETE vpcs/vp-t12a -check "vp-t12a supprimée" wait_state vpcs/vp-t12a deleted -check "vp-t12a recréée sous le même nom" vpc_create vp-t12a 10.12.0.0/16 +check "vp-t12a supprimé" wait_state vpcs/vp-t12a deleted +check "vp-t12a recréé sous le même nom" vpc_create vp-t12a 10.12.0.0/16 NODE diff --git a/test/e2e/suite/23-metadonnees.sh b/test/e2e/suite/23-metadonnees.sh index 1f7fc92..c87098f 100644 --- a/test/e2e/suite/23-metadonnees.sh +++ b/test/e2e/suite/23-metadonnees.sh @@ -8,6 +8,12 @@ HASH=$(openssl passwd -6 -salt t23lab two-lab) UD=$(printf '%s\n' '#cloud-config' 'runcmd:' " - [sh, -c, 'echo t23 > /var/tmp/t23-runcmd']") UD64=$(printf '%s\n' "${UD}" | base64 -w0) served () { cat "/run/two/metadata/${1}/${2}"; } +served_empty () { + local f="/run/two/metadata/${1}/${2}" + [ -f "${f}" ] || { echo "${f} absent"; return 1; } + [ -s "${f}" ] && { echo "${f} non vide"; return 1; } + return 0 +} check "VPC vp-t23" vpc_create vp-t23 10.23.0.0/16 check "subnet sn-t23" subnet_create sn-t23 vp-t23 2301 10.23.1.0/24 check "VM t23-k : sshkey, password et user_data" vm_launch t23-k --nic sn-t23=10.23.1.10 --sshkey "${KEY}" --password "${HASH}" --user-data "${UD64}" @@ -24,15 +30,16 @@ check "t23-k : hash du password posé sur le compte syonad" vm_ssh vp-t23 10.23. check "t23-s joignable en SSH" vm_wait vp-t23 10.23.1.11 check "t23-s : cloud-init terminé" vm_cloud_init_done vp-t23 10.23.1.11 -check "t23-s : user_data absent, user-data servi vide (template)" test -z "$(vm_meta vp-t23 10.23.1.11 user-data)" +check "t23-s : user_data absent, user-data servi vide (template)" vm_output_empty vp-t23 10.23.1.11 'curl -fsS http://169.254.169.254/user-data' check "t23-s : aucun runcmd exécuté" vm_fails vp-t23 10.23.1.11 'test -e /var/tmp/t23-runcmd' check "t23-s : password absent, compte syonad verrouillé" vm_ssh vp-t23 10.23.1.11 "sudo grep -q '^syonad:!' /etc/shadow" -check "t23-s : vendor-data sans passwd" vm_fails vp-t23 10.23.1.11 'curl -fsS http://169.254.169.254/vendor-data | grep -qE "^ *passwd:"' +check "t23-s : vendor-data servi, avec la clé SSH (témoin)" vm_grep vp-t23 10.23.1.11 'curl -fsS http://169.254.169.254/vendor-data' "$(cut -d" " -f2 <<< "${KEY}")" +check "t23-s : vendor-data sans passwd" vm_output_empty vp-t23 10.23.1.11 'v=$(curl -fsS http://169.254.169.254/vendor-data) || exit 1; printf "%s\n" "${v}" | grep -E "^ *passwd:" || true' served_line () { served "${1}" "${2}" | grep -qx -- "${3}"; } check "t23-n : serveur de métadonnées actif (metadata@t23-n)" systemctl is-active --quiet metadata@t23-n.service check "t23-n : meta-data préparé (témoin)" served_line t23-n meta-data 'instance-id: t23-n' -check "t23-n : vendor-data vide, aucun compte à créer" test -z "$(served t23-n vendor-data)" -check "t23-n : user-data vide" test -z "$(served t23-n user-data)" +check "t23-n : vendor-data vide, aucun compte à créer" served_empty t23-n vendor-data +check "t23-n : user-data vide" served_empty t23-n user-data check "t23-n : démarrée, SSH refusé faute de compte (Permission denied)" ssh_denied vp-t23 10.23.1.12 NODE diff --git a/test/e2e/suite/33-bridge.sh b/test/e2e/suite/33-bridge.sh index 5b0543e..44389ef 100644 --- a/test/e2e/suite/33-bridge.sh +++ b/test/e2e/suite/33-bridge.sh @@ -21,7 +21,7 @@ for ip in 10.33.0.21 10.33.0.22; do check "${ip} : bail servi par interface_ip 10.33.0.1 (server-id)" test "$(vm_lease vp-t33 "${ip}" SERVER_ADDRESS)" = 10.33.0.1 check "${ip} : route par défaut via 10.33.0.1" route_via vp-t33 "${ip}" default 10.33.0.1 check "${ip} : route /32 vers les métadonnées via 10.33.0.1" route_via vp-t33 "${ip}" 169.254.169.254 10.33.0.1 - check "${ip} : pas de route vers le VPC 10.33.0.0/16 (option 121 sans route du VPC en bridge)" sh -c "[ -z \"\$1\" ]" _ "$(vm_ssh vp-t33 "${ip}" 'ip -4 route show 10.33.0.0/16')" + check "${ip} : pas de route vers le VPC 10.33.0.0/16 (option 121 sans route du VPC en bridge)" vm_output_empty vp-t33 "${ip}" 'ip -4 route show 10.33.0.0/16' done check "t33-a1 : métadonnées de t33-a1 (instance-id)" vm_grep vp-t33 10.33.0.21 'curl -fsS http://169.254.169.254/meta-data' '^instance-id: t33-a1$' check "t33-a1 joint t33-a2, même hôte" vm_ssh vp-t33 10.33.0.21 'ping -n -c 3 -W 2 10.33.0.22' diff --git a/test/e2e/suite/71-perte-rr.sh b/test/e2e/suite/71-perte-rr.sh index dd9a787..5f45ec8 100644 --- a/test/e2e/suite/71-perte-rr.sh +++ b/test/e2e/suite/71-perte-rr.sh @@ -58,9 +58,10 @@ done on hv1 <<'NODE' vm_ssh vp-t71 10.71.1.10 'pkill -x ping' || true sleep 1 -stats=$(vm_ssh vp-t71 10.71.1.10 "awk -F'icmp_seq=' '/bytes from/ {split(\$2, a, \" \"); n++; if (a[1] > max) max = a[1]} END {print n, max}' /tmp/t71.log") +stats=$(vm_ssh vp-t71 10.71.1.10 "awk -F'icmp_seq=' '/bytes from/ {split(\$2, a, \" \"); n++; if (a[1] > max) max = a[1]} END {print n+0, max+0}' /tmp/t71.log") received=${stats% *} sent=${stats#* } -info "pendant tout le scénario : ${received} réponses pour ${sent} requêtes, $(( sent - received )) perdues" -check "aucune perte mesurable sur l'ensemble du scénario (au plus 1 %)" test $(( (sent - received) * 100 )) -le "${sent}" +info "pendant tout le scénario : ${received:-0} réponses pour ${sent:-0} requêtes, $(( ${sent:-0} - ${received:-0} )) perdues" +check "trafic pendant tout le scénario : au moins 300 requêtes émises (témoin)" test "${sent:-0}" -ge 300 +check "aucune perte mesurable sur l'ensemble du scénario (au plus 1 %)" test $(( (${sent:-0} - ${received:-0}) * 100 )) -le "${sent:-0}" NODE diff --git a/test/e2e/suite/72-perte-switch.sh b/test/e2e/suite/72-perte-switch.sh index 12dc2bd..7747f59 100644 --- a/test/e2e/suite/72-perte-switch.sh +++ b/test/e2e/suite/72-perte-switch.sh @@ -1,6 +1,6 @@ -# fonctionnalité: perte d'un switch de la passerelle VRRP — bascule vers l'autre en moins de 5 s, sessions EVPN jamais coupées ; au retour, le plus prioritaire redevient maître, seconde bascule mesurée +# fonctionnalité: perte d'un switch de la passerelle VRRP — bascule vers l'autre en moins de 5 s, sessions EVPN jamais coupées ; au retour, un seul maître (préemption désactivée : celui qui l'est est relevé), plus long silence mesuré # hôtes: -# tickets: #54, #69 +# tickets: #54, #69, #80 . "${LAB_DIR}/lib/net.sh" @@ -38,9 +38,10 @@ SW1=$(vrrp_state sw1) SW2=$(vrrp_state sw2) P1=$(vrrp_priority sw1) P2=$(vrrp_priority sw2) -if [[ "${SW1}" == Master ]]; then +MASTER="" BACKUP="" +if [[ "${SW1} ${SW2}" == "Master Backup" ]]; then MASTER=sw1 BACKUP=sw2 -else +elif [[ "${SW1} ${SW2}" == "Backup Master" ]]; then MASTER=sw2 BACKUP=sw1 fi @@ -48,6 +49,17 @@ on hv1 "SW1=${SW1}" "SW2=${SW2}" "P1=${P1}" "P2=${P2}" "MASTER=${MASTER}" <<'NOD info "état VRRP : sw1 ${SW1} (priorité ${P1}), sw2 ${SW2} (priorité ${P2})" check "priorités VRRP lues sur sw1 et sw2" sh -c "[ -n \"\$1\" ] && [ -n \"\$2\" ]" _ "${P1}" "${P2}" check "un seul maître VRRP pour la passerelle, l'autre en attente" sh -c "[ \"\$1 \$2\" = 'Master Backup' ] || [ \"\$1 \$2\" = 'Backup Master' ]" _ "${SW1}" "${SW2}" +NODE + +if [[ -z "${MASTER}" ]]; then + on hv1 <<'NODE' +pkill -f 'ping -D -i 0.2 10.255.255.1' +rm -f /tmp/t72.log /tmp/t72.10.255.255.1 /tmp/t72.10.255.255.2 +check "état VRRP lisible avec un seul maître : aucune panne simulée" false +NODE + return 1 +fi +on hv1 "MASTER=${MASTER}" <<'NODE' info "panne simulée sur ${MASTER} : interface underlay coupée" NODE @@ -80,14 +92,15 @@ NODE sleep 10 if [[ "${MASTER}" == sw1 ]]; then CUT_PRIO=${P1}; else CUT_PRIO=${P2}; fi -EXPECTED=$(vrrp_expected_master "sw1:${P1}:192.168.14.2" "sw2:${P2}:192.168.14.3") -if [[ "${EXPECTED}" == sw1 ]]; then OTHER=sw2; else OTHER=sw1; fi +HIGHEST=$(vrrp_expected_master "sw1:${P1}:192.168.14.2" "sw2:${P2}:192.168.14.3") -on hv1 "MASTER=${MASTER}" "CUT_PRIO=${CUT_PRIO}" "EXPECTED=${EXPECTED}" "OTHER=${OTHER}" "T_UP=${T_UP}" \ - "EXPECTED_STATE=$(vrrp_state "${EXPECTED}")" "OTHER_STATE=$(vrrp_state "${OTHER}")" <<'NODE' -info "${MASTER} rétabli (priorité ${CUT_PRIO}) : maître attendu ${EXPECTED}, le plus prioritaire" -check "${MASTER} rétabli : ${EXPECTED}, le plus prioritaire, est maître" test "${EXPECTED_STATE}" = Master -check "${MASTER} rétabli : ${OTHER} en attente" test "${OTHER_STATE}" = Backup +on hv1 "MASTER=${MASTER}" "CUT_PRIO=${CUT_PRIO}" "HIGHEST=${HIGHEST}" "T_UP=${T_UP}" \ + "SW1=$(vrrp_state sw1)" "SW2=$(vrrp_state sw2)" <<'NODE' +NOW_MASTER="" +[ "${SW1}" = Master ] && NOW_MASTER=sw1 +[ "${SW2}" = Master ] && NOW_MASTER=sw2 +info "${MASTER} rétabli (priorité ${CUT_PRIO}) : sw1 ${SW1}, sw2 ${SW2} ; maître ${NOW_MASTER:-aucun}, le plus prioritaire est ${HIGHEST} (préemption désactivée)" +check "${MASTER} rétabli : un seul maître VRRP, l'autre en attente" sh -c "[ \"\$1 \$2\" = 'Master Backup' ] || [ \"\$1 \$2\" = 'Backup Master' ]" _ "${SW1}" "${SW2}" pkill -f 'ping -D -i 0.2 10.255.255.1' || true sleep 1 for rr in 10.255.255.1 10.255.255.2; do @@ -101,9 +114,6 @@ sent=${stats#* } after=$(LC_ALL=C awk -F'[][]' -v from="${T_UP}" '/bytes from/ && $2 >= from' /tmp/t72.log | wc -l) info "pendant tout le scénario : ${received} réponses pour ${sent} requêtes, $(( sent - received )) perdues ; première bascule : silence de $(( first / 10 )),$(( first % 10 )) s ; après le retour de ${MASTER} : ${after} réponses, silence de $(( second / 10 )),$(( second % 10 )) s" check "première bascule de la passerelle en moins de 5 s" test "${first}" -lt 50 -if [ "${EXPECTED}" = "${MASTER}" ]; then - check "seconde bascule (retour de ${MASTER}, le plus prioritaire) en moins de 5 s" test "${second}" -lt 50 -else - check "retour de ${MASTER} sans seconde bascule (plus long silence < 5 s)" test "${second}" -lt 50 -fi +check "retour de ${MASTER} : plus long silence de moins de 5 s, qu'il redevienne maître ou non" test "${second}" -lt 50 +rm -f /tmp/t72.log /tmp/t72.10.255.255.1 /tmp/t72.10.255.255.2 NODE