Compare commits

...

6 commits

50 changed files with 642 additions and 345 deletions

View file

@ -22,20 +22,20 @@ Options utiles :
| Option | Effet |
|---|---|
| `-t <tag>` | déployer une release donnée |
| `-b <branche>` | déployer depuis une branche au lieu d'une release |
| `-t <tag>` | déployer une release donnée ; sans `-t`, la dernière publiée, préversions comprises |
| `-b <branche>/` | branche d'où viennent l'auto-mise à jour du script et le bootstrap (`main/` par défaut, `/` final obligatoire) ; les binaires viennent toujours d'une release |
| `-i` | préparer l'host (paquets, noyau, réseau) |
| `-u <iface>` | interface physique d'uplink, `eno1` par défaut |
| `-B <bridge>` | bridge principal auquel l'uplink est rattaché |
| `-d` | dry-run : affiche les commandes sans les exécuter |
| `-V` | désactiver la vérification des sommes de contrôle |
| `--noverify` | désactiver la vérification des sommes de contrôle |
Un déploiement relève les instances `dnsmasq@`, `dhcp@` et `metadata@` actives **avant** l'arrêt des
services, et les redémarre ensuite — c'est la seule façon de savoir lesquelles relancer.
## Configuration
Un seul fichier, `/etc/two/agent.yml`, partagé par les trois binaires. Voir
Un seul fichier, `/etc/two/agent.yml`, partagé par les quatre binaires. Voir
[`conf/agent/config.exemple.yml`](conf/agent/config.exemple.yml) pour l'ensemble des options :
chemins de la base et des sockets QEMU, pool de workers, correspondance des types d'interface vers
les bridges physiques, watchdog, API d'administration, journalisation.
@ -49,7 +49,7 @@ curl -X POST http://127.0.0.1:8080/vpcs \
# Un subnet en VXLAN dans ce VPC
curl -X POST http://127.0.0.1:8080/subnets \
-d '{"name": "sn-000001", "vpc": "vp-admin", "mode": "vxlan", "vxlan_id": 1,
-d '{"name": "sn-000001", "vpc": "vp-admin", "mode": "vxlan", "vxlan_id": 65537,
"iface_type": "vms", "cidr": "10.1.0.0/23"}'
# Une VM, avec une clé SSH et un user-data cloud-init en base64
@ -58,7 +58,7 @@ curl -X POST http://127.0.0.1:8080/vms \
"metadata": {"sshkey": "ssh-ed25519 AAAA…",
"user_data": "'"$(base64 -w0 < user-data.yml)"'"},
"interfaces": [{"subnet": "sn-000001", "ip": "10.1.1.2", "mac": "52:54:00:01:01:02", "primary": true}],
"storage": [{"path": "/data/disks/vms/i-web.qcow2", "dev": "vda"}]}'
"storage": [{"path": "/var/lib/two/volumes/i-web.qcow2", "dev": "vda"}]}'
```
Les créations sont **asynchrones** : l'API répond `202` et l'état de la ressource passe de
@ -75,9 +75,10 @@ La spécification complète est dans [`api/agent.yaml`](api/agent.yaml).
|---|---|
| `agent` | processus principal : API, dispatcher, exécution, watchdog |
| `metadata` | serveur de metadata cloud-init, une instance par VM dans le netns du VPC |
| `db` | inspection de la base clé-valeur en ligne de commande |
| `dhcp` | serveur DHCP intégré, une instance par subnet dans le netns du VPC, avec `dhcp.backend: two` |
| `db` | inspection de la base clé-valeur en ligne de commande ; ni publié ni déployé, à compiler (`go build ./cmd/db`) |
L'agent prend `-config`, les deux autres `-conf`.
L'agent prend `-config`, les trois autres `-conf`.
## Versions

View file

@ -2,7 +2,7 @@ openapi: "3.1.0"
info:
title: Two API
version: "0.1.0"
description: REST API for managing VPCs and Subnets in the Two orchestrator.
description: REST API for managing VPCs, Subnets and VMs in the Two orchestrator.
servers:
- url: http://localhost:8080
@ -45,7 +45,7 @@ paths:
schema:
$ref: "#/components/schemas/VPC"
"400":
description: Missing required field, invalid request body, or l3vni out of range
description: Missing required field, invalid request body, invalid CIDR, or l3vni out of range
content:
application/json:
schema:
@ -360,7 +360,11 @@ components:
properties:
name:
type: string
description: Unique name for the subnet
description: >
Unique name for the subnet. Must contain a "-": the system id (bridge br-<id>) is
what follows the first one. Not validated by the agent (caller's responsibility): a name
without "-" makes the agent worker panic.
pattern: '^[^-]+-.+'
example: sn-00001
vpc:
type: string
@ -482,6 +486,7 @@ components:
interfaces:
type: array
minItems: 1
maxItems: 27
description: >
Network interfaces, in order. The position determines the PCI slot
(0x03 + index) and therefore the interface name inside the guest.

View file

@ -76,7 +76,7 @@ qemu:
ovmf_code_path: "/usr/share/OVMF/OVMF_CODE.fd"
ovmf_vars_template: "/usr/share/OVMF/OVMF_VARS.fd"
# Per-VM UEFI variable store (writable copy, created at start / deleted at stop)
uefi_vars_dir: "/run/two/vms/efi"
uefi_vars_dir: "/run/two/vms/uefi"
# QEMU Unix socket directories
serial_dir: "/run/two/vms/serial"
monitor_dir: "/run/two/vms/monitor"

View file

@ -11,10 +11,10 @@ pip install -r requirements.txt
sphinx-autobuild . "${TMPDIR}/build"
```
Construction simple :
Construction simple, avec les mêmes options que la CI (avertissements bloquants) :
```bash
sphinx-build -b html . _build/html
sphinx-build -b html -W --keep-going . _build/html
```
La référence de l'API est générée depuis `../api/agent.yaml` : c'est la source unique du

View file

@ -4,11 +4,6 @@ Invariants et pièges
Contraintes découvertes en production ou en corrigeant des bugs. Les enfreindre casse quelque
chose qui fonctionne, souvent en silence.
.. note::
Cette page reprend la section « Invariants et pièges » de ``CLAUDE.md``, qui reste la
référence de développement et fait foi en cas d'écart.
Réseau
------

View file

@ -2,8 +2,7 @@ Architecture
============
L'organisation interne de l'agent : découpage en paquets, stockage, et contraintes à ne pas
enfreindre. Ces pages s'adressent à qui modifie le code ; ``CLAUDE.md``, à la racine du dépôt,
reste la référence de développement et fait foi en cas d'écart.
enfreindre. Ces pages s'adressent à qui modifie le code.
.. toctree::
:maxdepth: 1

View file

@ -58,16 +58,28 @@ Paquets
- cycle de vie d'une VM : tap, iptables, metadata, qemu
* - ``internal/dhcp``
- plan d'adressage ip → mac, et configurations dnsmasq du backend historique
* - ``internal/dhcpbackend``
- interface commune aux deux backends DHCP (``dnsmasq`` et ``two``), choisie par
``dhcp.backend``
* - ``internal/dhcpd``
- moteur du serveur DHCP intégré : réservations en mémoire, réponses, écoute
* - ``internal/api/dhcp``, ``internal/client/dhcp``
- protocole de la socket de contrôle du serveur DHCP intégré (``set-host``, ``probe``,
``get-state``…), côté serveur et côté agent
* - ``internal/metadata``
- serveur de metadata cloud-init et ses templates
* - ``internal/watchdog``
- vérification périodique en lecture seule
* - ``internal/watchdog/notify``
- émission des écarts relevés par le watchdog (journal)
* - ``internal/config/agent``
- chargement par viper — tags ``mapstructure``, jamais ``yaml``
* - ``internal/prometheus/agent``
- collector des métriques ``syonad_*``
* - ``pkg/db/kv``
- wrapper Badger ; toutes les valeurs sont des chaînes plates
* - ``pkg/db/statefile``
- fichier d'état JSON typé, écrit de façon atomique, utilisé par le backend DHCP ``two``
* - ``pkg/worker``
- pool de goroutines sur canal
* - ``pkg/systemd``

View file

@ -10,7 +10,6 @@ VPC, subnets et VM partagent le même jeu d'états.
creating --> running
creating --> error
running --> deleting
running --> error
deleting --> deleted
deleting --> error
error --> deleting
@ -27,7 +26,9 @@ VPC, subnets et VM partagent le même jeu d'états.
* - ``running``
- la ressource existe sur le système
* - ``error``
- ``Execute`` a échoué ; état **terminal**, il n'y a pas de reprise automatique
- ``Execute`` a échoué, ou la migration du démarrage a trouvé la ressource en ``creating`` ou
``deleting`` ; état **terminal**, il n'y a pas de reprise automatique. Une ressource
``running`` ne passe jamais en ``error``
* - ``deleting``
- suppression en cours
* - ``deleted``

View file

@ -20,14 +20,14 @@ deux processus ne doivent pas partager une même instance.
Documents servis
----------------
Chaque document suit la même règle :
Quatre documents sont servis : ``meta-data``, ``user-data``, ``network-config`` et
``vendor-data``. Seul ``user-data`` vient de l'appelant :
* fourni par l'appelant → servi **verbatim**, l'agent n'interprète rien ;
* absent → le template par défaut est rendu ;
* fourni **vide** → servi vide.
* ``user_data`` fourni → servi **verbatim**, après décodage base64 ; l'agent n'interprète rien ;
* ``user_data`` absent ou **vide** → ``user-data`` servi vide : les deux cas sont équivalents.
Les deux derniers cas sont distincts, et c'est délibéré : fournir une chaîne vide est une façon
explicite de neutraliser un document.
``meta-data``, ``network-config`` et ``vendor-data`` sont **toujours** rendus depuis les templates
de l'agent ; ``vendor-data`` crée le compte ``syonad`` à partir de ``password`` et ``sshkey``.
Champs de ``metadata``
----------------------
@ -90,11 +90,15 @@ défaut. Départager les routes en double relève de l'utilisateur de la VM, par
* cloud-init 22.4 (Debian 12) ne demande jamais ``network-config`` par ``seedfrom`` et
applique sa configuration de repli, limitée à la première interface ;
* cloud-init 25.1 (Debian 13) le lit et l'applique au premier démarrage, mais à chaque
démarrage suivant l'étape locale réapplique le repli, et ``network-config`` n'est pas
relu : les interfaces secondaires perdent leur configuration.
démarrage suivant l'étape locale réapplique le repli. L'étape réseau, qui trouve la
source, émet alors l'événement ``boot-legacy`` : refusé par défaut, il est autorisé par
``updates: network: when: [boot-new-instance, boot, boot-legacy]``, et ``network-config``
est alors réappliqué à chaque démarrage. Sans ce réglage, les interfaces secondaires
perdent leur configuration.
L'image doit donc faire du DHCP IPv4 sur **toutes** ses interfaces Ethernet, sans compter
sur cloud-init. Voir :doc:`/deploiement/image-qcow2`.
sur cloud-init, et autoriser ``boot-legacy`` pour que le ``network-config`` reste appliqué
là où cloud-init le lit. Voir :doc:`/deploiement/image-qcow2`.
Sécurité
--------

View file

@ -149,11 +149,12 @@ Routes annoncées aux VM
-----------------------
Les routes sont poussées par DHCP, dans l'**option 121** (routes statiques sans classe,
RFC 3442). Trois entrées y figurent :
RFC 3442). Trois entrées au plus y figurent :
#. la route ``/32`` vers ``169.254.169.254``, le serveur de metadata ;
#. la route vers le CIDR du VPC ;
#. la route par défaut ``0.0.0.0/0``.
#. la route vers le CIDR du VPC, **sauf en mode** ``bridge`` ;
#. la route par défaut ``0.0.0.0/0``, **sur l'interface** ``primary`` **seulement** : les autres
interfaces d'une VM n'en reçoivent pas.
.. important::
@ -163,8 +164,8 @@ RFC 3442). Trois entrées y figurent :
Route par défaut : ``default_route`` et ``gateway``
----------------------------------------------------------
Une route par défaut est **toujours** annoncée. Le champ ``default_route`` ne choisit que son
next-hop :
Une route par défaut est **toujours** annoncée à l'interface ``primary`` d'une VM, et à elle
seule. Le champ ``default_route`` ne choisit que son next-hop :
``default_route: false`` (défaut)
next-hop = ``interface_ip`` du subnet, la gateway calculée en ``vxlan``.
@ -178,7 +179,7 @@ subnet relèvent de l'appelant. Fourni avec ``default_route: false``, il est ign
Dans tous les modes sauf ``bridge``, la route vers le CIDR du VPC garde ``interface_ip`` comme
next-hop : sur un subnet à IP publique, le trafic interne ne doit pas sortir par la gateway
publique.
publique. En mode ``bridge``, cette route n'est pas annoncée du tout.
Pourquoi la route ``/32`` vers le serveur de metadata est indispensable
----------------------------------------------------------------------------

View file

@ -18,6 +18,12 @@ VPC
Un VPC est un **network namespace** portant un espace d'adressage (``cidr``). C'est l'unité
d'isolation : deux VPC ne se voient pas, et peuvent réutiliser les mêmes plages d'adresses.
À la création, l'agent relie le netns au bridge ``br-public`` de l'host par un veth
``vp-<id>-e`` (côté host) ↔ ``vp-<id>-i`` (côté netns, rattaché à un ``br-public`` propre au
netns). Ce nom de bridge est **en dur** : l'host doit porter un bridge ``br-public``, celui que
crée ``deploy.sh -i`` avec la valeur par défaut de ``-P`` (:doc:`/demarrage/installation`) ;
sans lui, toute création de VPC échoue.
Un VPC ne peut être supprimé que si tous ses subnets le sont déjà — sinon 409.
Routage entre hyperviseurs : ``l3vni``
@ -112,6 +118,9 @@ depuis le subnet, leur source canonique. Le schéma complet des clés est dans
Nommage
-------
L'API est machine-to-machine : elle **ne valide pas** les conventions de nommage, à l'exception
du motif documenté pour les VPC (``vp-…``). Les exemples de cette documentation suivent la
convention ``vp-`` / ``sn-`` / ``i-``, mais c'est à l'appelant de la faire respecter.
L'API est machine-to-machine : elle **ne valide aucun nommage**, pas même le motif ``vp-…``
indiqué par la spécification pour les VPC. Une contrainte est pourtant réelle : le nom d'un VPC
ou d'un subnet doit **contenir un « - »**, car l'identifiant système (``vp-<id>-e``, ``br-<id>``,
``gw-<id>``…) est ce qui suit le premier tiret. Un nom sans tiret fait paniquer l'agent. Les
exemples de cette documentation suivent la convention ``vp-`` / ``sn-`` / ``i-``, mais c'est à
l'appelant de la faire respecter.

View file

@ -31,10 +31,12 @@ depuis la release, et les vérifie contre le manifeste ``SHA256SUMS``.
- Défaut
* - ``-t <tag>``
- déployer une release donnée
- dernière
* - ``-b <branche>``
- branche utilisée pour l'auto-mise à jour du script
- ``main``
- dernière publiée, **préversions comprises**
* - ``-b <branche>/``
- branche d'où viennent l'auto-mise à jour du script et les scripts de ``-i`` ; les
binaires viennent toujours d'une release. Le ``/`` final est **obligatoire** : l'URL est
concaténée sans séparateur (``-b dev`` donne ``…/branch/devscripts/…``)
- ``main/``
* - ``-p <profil>``
- profil d'host ; seul ``kvm`` installe les units de l'agent
- ``kvm``
@ -48,7 +50,8 @@ depuis la release, et les vérifie contre le manifeste ``SHA256SUMS``.
- bridge principal, auquel l'uplink est rattaché
- ``br-000000``
* - ``-P <bridge>``
- bridge supplémentaire, créé vide et réservé
- bridge supplémentaire, créé vide et réservé ; garder ``br-public``, nom attendu par
l'agent (voir ci-dessous)
- ``br-public``
* - ``-R <secondes>``
- délai avant le redémarrage de secours pendant la migration réseau
@ -89,6 +92,10 @@ ne se provisionne pas. Contrepartie assumée : tout le trafic inter-VM traverse
**Réseau** — création du bridge réservé, puis rattachement de l'uplink au bridge principal,
l'adresse et la route par défaut étant déplacées de l'interface physique vers le bridge.
Le nom ``br-public`` est **en dur dans l'agent** : chaque VPC ``vp-<id>`` y raccorde un veth
``vp-<id>-e`` côté host, dont l'autre extrémité ``vp-<id>-i`` rejoint un ``br-public`` créé dans
le netns du VPC. Avec un autre nom passé à ``-P``, toute création de VPC échoue.
.. danger::
La migration réseau **coupe le réseau de l'host si elle échoue à mi-parcours**, sans console
@ -124,14 +131,15 @@ Binaires installés
- serveur de metadata cloud-init, une instance par VM dans le netns du VPC
- ``-conf``
* - ``db``
- inspection de la base clé-valeur en ligne de commande
- inspection de la base clé-valeur en ligne de commande ; **ni publié ni déployé** par
``deploy.sh``, à compiler depuis les sources (:doc:`/exploitation/observabilite`)
- ``-conf``
* - ``dhcp``
- serveur DHCP intégré, une instance par subnet dans le netns du VPC ; démarré uniquement
avec ``dhcp.backend: two``
- ``-conf``
Les quatre partagent le même fichier, ``/etc/two/agent.yml`` — voir
Les quatre lisent le même fichier, ``/etc/two/agent.yml`` — voir
:doc:`/exploitation/configuration`. ``dhcp`` reçoit en plus son bridge et ses deux chemins de
fichiers en paramètres, posés par son script d'enrobage.

View file

@ -14,16 +14,19 @@ Ce que l'on construit
graph LR
subgraph netns vp-admin
BR["br-sn000001<br/>10.1.1.254"]
BR["br-000001<br/>10.1.1.253"]
GW["gw-000001<br/>gateway 10.1.1.254"]
MD["metadata@i-web<br/>169.254.169.254"]
end
VM["VM i-web<br/>10.1.1.2"] --- BR
BR --- MD
BR --- VXLAN["VXLAN vni 1<br/>br-000000"]
BR --- GW
GW --- MD
BR --- VXLAN["VXLAN vni 65537<br/>br-000000"]
Le VPC est un network namespace ; le subnet y pose un bridge porteur de la gateway ; la VM s'y
raccroche par un tap, reçoit son adresse en DHCP et son cloud-init depuis le serveur de metadata
du netns.
Le VPC est un network namespace ; le subnet y pose un bridge ``br-000001`` — ``br-`` suivi de ce
qui suit le premier tiret du nom du subnet — porteur de l'adresse d'émission, et un macvlan
``gw-000001`` porteur de la gateway ; la VM se raccroche au bridge par un tap, reçoit son
adresse en DHCP et son cloud-init depuis le serveur de metadata du netns.
1. Le VPC
---------
@ -43,8 +46,10 @@ La réponse est un **202** : la création est acceptée, pas terminée.
curl -s http://127.0.0.1:8080/vpcs/vp-admin
Attendez ``"state": "running"`` avant l'étape suivante — un subnet dont le VPC parent n'est pas
prêt est refusé en **422**. Le modèle d'attente est décrit dans :doc:`/exploitation/api-agent/asynchronisme`.
Un subnet peut être demandé dès maintenant : il est accepté tant que le VPC est en ``creating``
ou ``running``, et sa création attend que le VPC soit ``running``, dans la limite de
``dispatcher.timeout_seconds``. Il n'est refusé en **422** que si le VPC est absent, en ``error``
ou en ``deleting``. Le modèle d'attente est décrit dans :doc:`/exploitation/api-agent/asynchronisme`.
2. Le subnet
------------
@ -56,7 +61,7 @@ prêt est refusé en **422**. Le modèle d'attente est décrit dans :doc:`/explo
-d '{"name": "sn-000001",
"vpc": "vp-admin",
"mode": "vxlan",
"vxlan_id": 1,
"vxlan_id": 65537,
"iface_type": "vms",
"cidr": "10.1.0.0/23"}'
@ -140,16 +145,16 @@ cloud-init, lui, se déroule dans le guest ; on l'observe par la console série
socat -,raw,echo=0 UNIX-CONNECT:/run/two/vms/serial/i-web.sock
Puis, depuis l'host :
Puis, depuis l'host, en passant par le netns du VPC :
.. code-block:: bash
ssh syonad@10.1.1.2
ip netns exec vp-admin ssh syonad@10.1.1.2
.. note::
En mode ``vxlan``, la VM vit dans le netns du VPC : elle n'est pas joignable depuis l'host
sans route explicite. En mode ``bridge``, elle l'est directement.
sans route explicite, d'où le ``ip netns exec``. En mode ``bridge``, elle l'est directement.
5. Supprimer
------------

View file

@ -24,9 +24,9 @@ Vue d'ensemble
(BGP). Tirets verts : orchestration. Trait orange : trafic Internet. Cadre en pointillés :
élément à venir, avec son ticket.
Plusieurs clusters, chacun avec son underlay, ses deux routeurs et un route reflector, sont reliés
en eBGP entre eux et aux **routeurs de bordure**. Ce qui n'existe pas encore est décrit sur son
ticket :
Plusieurs clusters, chacun avec son underlay et ses deux routeurs, sont reliés en eBGP entre eux
et aux **routeurs de bordure** ; les route reflectors sont décrits plus bas. Ce qui n'existe pas
encore est décrit sur son ticket :
* **Internet** (`#31 <https://git.g3e.fr/syonad/two/issues/31>`_,
`#42 <https://git.g3e.fr/syonad/two/issues/42>`_). Les bordures partagent avec les hyperviseurs
@ -41,12 +41,19 @@ ticket :
* **Orchestration** (`#72 <https://git.g3e.fr/syonad/two/issues/72>`_). Le broker et
l'orchestrateur sont des VM du VNI 66000, partagé entre clusters. Les agents s'y connectent
**en sortie**, par leur passerelle ; les routeurs de chaque cluster les NAT vers le VNI 66000.
**en sortie**, par leur passerelle ; les routeurs de chaque cluster les traduisent (NAT) vers le
VNI 66000.
L'orchestrateur a aussi une patte dans le VNI 66001 : son API est joignable depuis Internet.
* **Route reflectors.** Un par cluster, pour qu'un incident sur un cluster ne coupe pas les deux
sessions EVPN. Chaque lien entre routeurs et route reflector est en ``169.254.0.0/28``, propre
à son cluster.
* **Route reflectors.** Au moins un ; deux sont prévus dans l'architecture et dans les exemples
(plages d'adresses de :doc:`route-reflector`), placés ici dans deux clusters différents pour
qu'un incident sur un cluster ne coupe pas les deux sessions EVPN. Chaque lien entre routeurs
et route reflector est en ``169.254.0.0/28``, propre à son cluster. Le ``bgp listen range`` de
chaque route reflector doit alors couvrir l'underlay de **tous** les clusters qu'il sert —
l'exemple ``rr1.conf`` n'accepte que ``192.168.14.0/24``.
* **ASN.** Les routeurs de deux clusters étant voisins eBGP, chaque cluster a son propre ASN de
routeurs : l'AS 65100 des exemples est la valeur d'**un** cluster.
Le lab (:doc:`/developpement/lab`) simplifie : un seul cluster, qui porte les deux route
reflectors.
@ -79,7 +86,7 @@ Plan de données
Plan de contrôle
ce qui dit à chaque hyperviseur où se trouvent les adresses MAC des autres. C'est le rôle de
FRR et du route reflector.
FRR et des route reflectors.
Ce que l'agent suppose déjà en place
------------------------------------
@ -111,8 +118,8 @@ apprentissage des adresses MAC depuis le trafic, ni voisin statique configuré.
isolé le trafic reste sur le bridge local et cette absence ne se voit pas ; elle apparaît dès
le deuxième nœud.
C'est exactement le rôle que remplissent FRR sur chaque hyperviseur et le route reflector qui
les fait converger.
C'est exactement le rôle que remplissent FRR sur chaque hyperviseur et les route reflectors qui
les font converger.
MTU
---

View file

@ -284,6 +284,24 @@ interface (``10-netplan-*``). Sur une image démarrée avec ``net.ifnames=0``, v
l'image Rocky de cette page, n'est pas encore vérifié. Sans lui, une VM à plusieurs
interfaces n'a de bail que sur la première.
**Réappliquer le network-config à chaque démarrage**
.. code-block:: bash
cat << 'ENDFILE' > /mnt/etc/cloud/cloud.cfg.d/98_network_updates.cfg
updates:
network:
when: [boot-new-instance, boot, boot-legacy]
ENDFILE
La source de metadata n'étant trouvée qu'à l'étape réseau de cloud-init, l'étape locale
applique à chaque démarrage une configuration de repli limitée à la première interface. Au
redémarrage, l'étape réseau émet l'événement ``boot-legacy``, refusé par défaut : ce réglage
l'autorise, et cloud-init réapplique alors le ``network-config`` servi par l'agent, qui vise
chaque interface par sa MAC. Le ``user_data`` n'est pas rejoué. Sans effet sur un cloud-init
qui ne lit pas le ``network-config`` (22.4, Debian 12) : la règle de DHCP ci-dessus reste
nécessaire.
**Noms stables des disques additionnels**
.. code-block:: bash

View file

@ -7,7 +7,7 @@ même nœud. Cette section couvre la mise en place d'un **cluster** complet, dan
Cet ordre n'est pas indifférent : chaque étape a besoin de la précédente. L'image doit exister
avant qu'on puisse démarrer quoi que ce soit ; le réseau doit être en place avant le premier
hyperviseur ; le route reflector est lui-même une VM, il lui faut donc un hyperviseur qui
hyperviseur ; chaque route reflector est lui-même une VM, il lui faut donc un hyperviseur qui
fonctionne.
Étapes

View file

@ -62,13 +62,13 @@ L'agent en déduit la configuration ci-dessous ; le ``router-id`` est l'adresse
Avec une section ``bgp``, l'agent **refuse de démarrer** si ``vtysh`` ne répond pas, et
``agent.service`` ne le relance pas. L'ordre au démarrage est donc : migration réseau vers
``br-000000``, **puis** FRR, **puis** l'agent. FRR démarré avant la migration peut perdre la
route par défaut quand elle change d'interface, et ne plus joindre le route reflector.
route par défaut quand elle change d'interface, et ne plus joindre les route reflectors.
Ce qu'elle établit :
* **Une session par route reflector**, en iBGP dans l'AS 64600, vers sa loopback
(``10.255.255.1``, ``10.255.255.2``), jointe par la passerelle par défaut — le routeur de
cluster l'a apprise du route reflector (:doc:`routeurs`). Aucune adresse d'un autre hyperviseur n'est écrite : ajouter
cluster l'a apprise de ce route reflector (:doc:`routeurs`). Aucune adresse d'un autre hyperviseur n'est écrite : ajouter
un nœud ne touche pas la configuration des autres.
* **EVPN seulement** : l'IPv4 unicast n'est pas activé (``no bgp default ipv4-unicast``).
``advertise-all-vni`` annonce les VNI de toutes les interfaces VXLAN que FRR voit, et donc
@ -81,9 +81,9 @@ Articulation avec l'agent
Rien à configurer à la création d'un subnet : la VXLAN apparaît, FRR la voit et l'annonce, sans
action ni redémarrage. Il faut en revanche que la VXLAN porte une **adresse VTEP locale** : sans
elle, FRR voit la VNI mais n'annonce rien, et deux hyperviseurs gérés par two ne se joignent pas.
L'agent la pose à partir de la release ``0.2.0rc003``
(`#51 <https://git.g3e.fr/syonad/two/issues/51>`_) : l'adresse IPv4 primaire du ``local_iface``
du subnet.
L'agent la pose depuis la version 0.2.0 (préversions comprises à partir de ``0.2.0rc003``,
`#51 <https://git.g3e.fr/syonad/two/issues/51>`_, fermé) : l'adresse IPv4 primaire du
``local_iface`` du subnet.
.. note::
@ -93,11 +93,10 @@ du subnet.
et configuration doivent être posés à chaque démarrage, par le bootstrap ou un mécanisme
équivalent (`#52 <https://git.g3e.fr/syonad/two/issues/52>`_) ;
* le démarrage à froid, selon que FRR démarre avant ou après l'agent ;
* les subnets ``vxlan`` créés avant ``0.2.0rc003``, dont la VXLAN n'a pas d'adresse VTEP
locale : les recréer ou poser l'adresse à chaud, à trancher dans
`#51 <https://git.g3e.fr/syonad/two/issues/51>`_ ;
* les subnets ``vxlan`` créés par une version antérieure, dont la VXLAN n'a pas d'adresse VTEP
locale : aucune migration ne la pose, il faut les recréer ;
* le cas particulier du **premier** hyperviseur, dont la session ne peut pas s'établir tant
que le route reflector n'existe pas.
qu'aucun route reflector n'existe.
Vérifier le plan de données
---------------------------

View file

@ -3,9 +3,11 @@ VM route reflector
Le route reflector est le point de rendez-vous du plan de contrôle : plutôt que de maintenir une
session entre chaque paire d'hyperviseurs, chaque hyperviseur ouvre une session vers le route
reflector, qui redistribue. Le cluster en compte **deux**, configurés à l'identique hormis leurs
adresses : chaque hyperviseur ouvre une session vers chacun, et la perte de l'un ne doit pas
interrompre le plan de contrôle (`#54 <https://git.g3e.fr/syonad/two/issues/54>`_).
reflector, qui redistribue. Un cluster en compte **au moins un** ; l'architecture et les exemples
de cette page en prévoient **deux** (rr1 et rr2, d'où les plages d'adresses ci-dessous),
configurés à l'identique hormis leurs adresses : chaque hyperviseur ouvre une session vers chacun,
et la perte de l'un n'interrompt pas le plan de contrôle
(`#54 <https://git.g3e.fr/syonad/two/issues/54>`_, fermé).
Il tourne lui-même en machine virtuelle, ce qui crée une dépendance circulaire à traiter
explicitement : la VM qui porte le plan de contrôle du cluster est hébergée par le cluster.
@ -84,13 +86,14 @@ Ce qu'elle établit :
.. warning::
**Les tunnels ne survivent pas à la perte du route reflector.** Avec un seul route reflector
et sans ``graceful-restart``, à l'arrêt de FRR sur le route reflector, la session EVPN des
hyperviseurs tombe aussitôt, FRR retire les routes apprises et, avec elles, le VTEP distant et l'entrée d'inondation du VXLAN — **plus
aucun paquet ne passe** entre hyperviseurs, à 30 s comme à 90 s. Au redémarrage de FRR sur le
route reflector, VTEP distant et trafic reviennent **31 s** plus tard. Le trafic entre VM d'un
même hyperviseur n'est pas concerné. La redondance (deux route reflectors) ou
``graceful-restart`` sont les deux leviers ; ni l'un ni l'autre n'est encore qualifié.
**Les tunnels ne survivent pas à la perte de tous les route reflectors.** Sans
``graceful-restart``, quand plus aucun route reflector ne répond, les sessions EVPN des
hyperviseurs tombent, FRR retire les routes apprises et, avec elles, le VTEP distant et
l'entrée d'inondation du VXLAN : **plus aucun paquet ne passe** entre hyperviseurs, jusqu'au
retour d'un route reflector et à la reconvergence des sessions. Le trafic entre VM d'un même
hyperviseur n'est pas concerné. Avec deux route reflectors, la perte de l'un est sans effet sur
le trafic, à condition qu'ils ne tombent jamais ensemble : **jamais deux route reflectors sur le
même hyperviseur**. Les mesures du lab sont dans :doc:`/developpement/lab`.
.. note::
@ -101,8 +104,8 @@ Ce qu'elle établit :
autres ou d'un cas particulier — l'image, elle, est l'image golden de :doc:`image-qcow2` ;
* le placement des deux VM : jamais sur le même hyperviseur, et de préférence pas sur un
hyperviseur dont la perte isolerait l'autre ;
* la procédure de reconstruction — l'état du cluster pendant l'absence du route reflector est
décrit ci-dessus : plus de trafic entre hyperviseurs ;
* la procédure de reconstruction — l'état du cluster pendant l'absence de tous les route
reflectors est décrit ci-dessus : plus de trafic entre hyperviseurs ;
* la procédure d'amorçage : ce qui fonctionne, et dans quel ordre, quand on démarre un cluster
entier depuis zéro — le premier hyperviseur n'a pas de session FRR établie tant que cette VM
n'existe pas, cf. :doc:`premier-hyperviseur`.

View file

@ -18,9 +18,10 @@ Routeurs de bordure
Routeur de cluster
------------------
Le routeur de cluster est la passerelle des hyperviseurs et le voisin eBGP des deux route
reflectors, dont il apprend les loopbacks : c'est par lui que chaque hyperviseur joint
``10.255.255.1`` et ``10.255.255.2`` pour ouvrir ses sessions EVPN (:doc:`route-reflector`).
Le routeur de cluster est la passerelle des hyperviseurs et le voisin eBGP des route reflectors
— au moins un ; deux sont prévus dans l'architecture et dans les exemples —, dont il apprend les
loopbacks : c'est par lui que chaque hyperviseur joint ``10.255.255.1`` et ``10.255.255.2`` pour
ouvrir ses sessions EVPN (:doc:`route-reflector`).
Adressage
~~~~~~~~~
@ -33,8 +34,9 @@ Adressage
- Interface
- Rôle
* - ``192.168.14.1/24``
- interface du segment des hyperviseurs
- passerelle par défaut des hyperviseurs et du route reflector
- interface du segment des hyperviseurs, **adresse virtuelle VRRP**
- passerelle par défaut des hyperviseurs et des route reflectors, portée par le routeur
maître ; chaque routeur a en plus sa propre adresse sur le segment
* - ``169.254.0.1/28``
- même interface, **adresse secondaire**
- lien avec les route reflectors (``169.254.0.3`` et ``.4``) ; ``router-id`` ; le second
@ -60,9 +62,9 @@ Ce qu'elle établit :
* **Aucune session avec les hyperviseurs** : le routeur leur sert de passerelle, pas de voisin BGP.
Celle du second routeur (``test/e2e/topologies/frr/sw2.conf``) ne diffère que par ``hostname`` et
``router-id`` (``169.254.0.2``), que les route reflectors déclarent aussi. La redondance des
routeurs — et le mécanisme qui fait basculer la passerelle ``192.168.14.1`` — est l'objet de
`#54 <https://git.g3e.fr/syonad/two/issues/54>`_.
``router-id`` (``169.254.0.2``), que les route reflectors déclarent aussi. Les deux routeurs se
partagent la passerelle ``192.168.14.1`` en **VRRP v3** : le maître la porte, l'autre attend, sans
préemption (`#54 <https://git.g3e.fr/syonad/two/issues/54>`_, fermé).
.. note::
@ -73,9 +75,8 @@ routeurs — et le mécanisme qui fait basculer la passerelle ``192.168.14.1``
**À rédiger.** Reste à documenter, faute d'éléments de terrain :
* pour le routeur de cluster : le matériel employé et sa version de référence ; la redondance
— deux routeurs, mécanisme de bascule, comportement attendu pendant une bascule
(`#54 <https://git.g3e.fr/syonad/two/issues/54>`_) ;
* pour le routeur de cluster : le matériel employé et sa version de référence ; la traduction
de la redondance VRRP v3 dans sa configuration ;
* pour les routeurs de datacentre et de bordure : tout — équipement, configuration de
référence, ce qui est annoncé et filtré à chaque niveau, redondance ;
* l'ordre de mise en service, et ce qui doit être opérationnel avant de préparer le premier

View file

@ -4,7 +4,7 @@ Lab de test multi-nœud
Ce qui fait l'intérêt de two ne se voit qu'à partir de **deux hyperviseurs** : sur un nœud isolé,
le trafic reste sur le bridge local et l'absence de plan de contrôle passe inaperçue (voir
:doc:`/deploiement/architecture-cluster`). Le lab reproduit la topologie du cluster —
hyperviseurs, route reflector, switch L3 — sous forme de VM, sur un serveur physique loué à
hyperviseurs, route reflectors, switchs L3 — sous forme de VM, sur un serveur physique loué à
l'heure.
Le pourquoi des choix (serveur physique plutôt que VM cloud, câbles QEMU, MTU 9000, versions) est
@ -17,7 +17,8 @@ comment s'en servir.
`labctl <https://git.g3e.fr/syonad/labctl>`_, un dépôt à part, dont two épingle une release.
Ce dépôt garde ce qui est propre à two — ses topologies, l'installation de two sur les
hyperviseurs, les scénarios et leurs résultats. La redondance du plan de contrôle — deux route
reflectors, deux switchs — est l'objet de `#54 <https://git.g3e.fr/syonad/two/issues/54>`_.
reflectors, deux switchs en VRRP v3 — est livrée par `#54 <https://git.g3e.fr/syonad/two/issues/54>`_
(fermé), et qualifiée par les tests 71 et 72.
L'outil
-------
@ -69,7 +70,7 @@ et ``evpn-3hv.yml`` (trois, celle de la suite). Le format est celui de ``labctl`
.. literalinclude:: ../../test/e2e/topologies/evpn-2hv.yml
:language: yaml
Les ASN, la loopback du route reflector, le lien ``169.254.0.0/28`` et le subnet des hyperviseurs
Les ASN, les loopbacks des route reflectors, le lien ``169.254.0.0/28`` et le subnet des hyperviseurs
de l'exemple sont **ceux de la production** (décision du 2026-10-04, #50) : les fichiers de
``test/e2e/topologies/`` restent ainsi au plus près de ce qui tourne réellement. Toutes les adresses y sont
**fixées** par ``addresses`` — les switchs en ``.2`` et ``.3``, les route reflectors en ``.4`` et ``.5``,
@ -77,8 +78,9 @@ les hyperviseurs à partir de ``.11`` — pour que le modèle se lise sans le pl
de l'ordre de déclaration : le ``frr.conf`` d'un hyperviseur, écrit à la main, porte son adresse en
``router-id``. Les deux switchs ``sw1`` et ``sw2`` sont les routeurs du segment (rôle ``router`` de
labctl) : la passerelle, la première adresse du segment, est portée en VRRP v3 par celui qui est
maître, sans préemption — voir la section du guide de labctl sur les routeurs. Leurs
``frr.conf`` ne diffèrent que par ``hostname`` et ``router-id`` ; labctl y ajoute la strophe VRRP.
maître, sans préemption (``no vrrp 1 preempt``) — voir la section du guide de labctl sur les
routeurs. Leurs ``frr.conf`` ne diffèrent que par ``hostname`` et ``router-id`` ; labctl y ajoute
la strophe VRRP.
Rôles
~~~~~
@ -86,8 +88,8 @@ Rôles
Les configurations FRR du lab vivent dans ``test/e2e/topologies/frr/``, une par nœud, **écrites à la main** :
ce sont les mêmes fichiers que la documentation de déploiement inclut, pour que le lab qualifie
exactement ce qu'elle prescrit. Celles des hyperviseurs se réduisent à ``hostname`` et ``log`` :
la configuration BGP est posée par l'agent (section ``bgp`` de ``agent.yml``). Celle du route
reflector :
la configuration BGP est posée par l'agent (section ``bgp`` de ``agent.yml``). Celle du premier
route reflector (celle de ``rr2`` ne diffère que par son nom et sa loopback) :
.. literalinclude:: ../../test/e2e/topologies/frr/rr1.conf
:language: text
@ -239,7 +241,7 @@ Les tests se lancent **depuis le Mac**, sur un lab démarré (``up``, ``push``,
test/e2e/run.sh all # toute la suite, dans l'ordre
test/e2e/run.sh 40 # une couche
test/e2e/run.sh 41 43 # des tests, par numéro ou par nom
test/e2e/run.sh 41 dhcp-two # des tests, par numéro à deux chiffres ou par nom exact
test/e2e/run.sh --from 30 # à partir d'un numéro
test/e2e/run.sh --continue all # sans s'arrêter sur une couche en échec
test/e2e/run.sh --connus all # les échecs connus comptent comme des échecs
@ -290,11 +292,11 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
* - ``03-image``
- hypothèses sur l'image de VM — outils (curl, python3), nom d'interface, effet réel de network-config, forme du compte verrouillé
- hv1
- #70
- #70, #73
* - ``11-validation``
- validation de l'API — refus synchrones (400, 409, 422) des VPC, subnets et VM, sans trace en base
- hv1
- #41, #57, #33, #62
- #41, #57, #33, #62, #74
* - ``12-etats``
- machine d'états — 409 pendant creating, suppression depuis error, dépendances VM → subnet → VPC, recréation sous le même nom
- hv1
@ -320,7 +322,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
- hv1
- #33, #62, #73
* - ``26-multi-disque``
- VM à plusieurs disques — racine virtio (vda) et SCSI (xvdX), tailles et bus vus par la VM, liens ``/dev/xvdX`` et ``by-id`` par numéro de série, démarrage sur vda
- VM à plusieurs disques — racine virtio (vda) et SCSI (xvdX), tailles et bus vus par la VM, liens /dev/xvdX et by-id par numéro de série, démarrage sur vda
- hv1
- #32, #74
* - ``27-reboot``
@ -328,7 +330,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
- hv1
- #46
* - ``28-mtu``
- MTU des VM (``network.mtu_vm``, 1500) — option DHCP 26 (serveur intégré et dnsmasq), ``host_mtu`` de QEMU, tap, bridge, veth et VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000
- MTU des VM (network.mtu_vm, 1500 par défaut) — annoncé par le DHCP (option 26, serveur intégré sur hv1, dnsmasq sur hv2) et par QEMU (host_mtu), porté par le tap, le bridge, le veth et le VXLAN du subnet ; subnet vxlan refusé sur un underlay qui n'est pas à 9000
- hv1 hv2
- #56
* - ``31-gateway``
@ -392,9 +394,9 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
- hv1 hv2
- #54
* - ``72-perte-switch``
- perte d'un switch de la passerelle VRRP — bascule vers l'autre en moins de 5 s, sessions EVPN jamais coupées ; au retour, le plus prioritaire redevient maître, seconde bascule mesurée
- perte d'un switch de la passerelle VRRP — bascule vers l'autre en moins de 5 s, sessions EVPN jamais coupées ; au retour, un seul maître (préemption désactivée : celui qui l'est est relevé), plus long silence mesuré
-
- #54, #69
- #54, #69, #80
Campagne du 2026-10-17
~~~~~~~~~~~~~~~~~~~~~~
@ -408,7 +410,11 @@ tests ont été corrigées sur le serveur et les tests concernés rejoués. Il r
(#73, #62), noms des disques SCSI (#74), mode ``bridge`` sur plusieurs hôtes (#75), filtrage au
port (#76), socket DHCP (#77), fausse alerte du watchdog (#78) ;
* #69 vérifié : au retour de ``sw1`` (priorité 200), il redevient maître, seconde bascule en
1,2 s, sessions EVPN jamais coupées ;
1,2 s, sessions EVPN jamais coupées. La préemption est pourtant **désactivée** dans la
configuration (``no vrrp 1 preempt``, « Preempt Mode No » relevé le 2026-10-23) : la cause de ce
retour, après coupure puis rétablissement de l'interface underlay du maître, **n'est pas
établie**. ``72-perte-switch`` n'exige donc plus que le plus prioritaire redevienne maître : il
vérifie qu'il n'y a qu'un maître, note lequel, et mesure le plus long silence après le retour ;
* une suppression de VM peut durer 300 s quand l'invité ignore l'arrêt ACPI (#79) : ``wait_state``
attend jusqu'à 360 s.
@ -436,18 +442,22 @@ Un test est un fichier ``test/e2e/suite/NN-nom.sh``, exécuté par ``run.sh`` su
commence par un en-tête, puis envoie des blocs aux nœuds par ``on <nœud> [VAR=valeur…] <<'NODE'``.
Chaque bloc est précédé des bibliothèques de ``test/e2e/lib/`` :
* ``core.sh`` : ``check``, ``known``, ``info``, appels à l'API, attente des états ;
* ``core.sh`` : ``check``, ``known``, ``known_flaky``, ``info``, appels à l'API, attente des états ;
* ``vm.sh`` : image Debian compatible two, clé SSH, ``vm_launch`` (plusieurs NIC et disques, UEFI,
``user_data``, mot de passe), SSH, bail, métadonnées. La MAC de chaque NIC est fournie à l'API :
``52:54:00`` suivi des trois derniers octets de l'IP (``mac_for_ip``), unique dans la suite
puisque chaque test a sa plage ; ``--nic sn=ip=mac`` en impose une autre ;
* ``net.sh`` : VPC, subnets, MAC anycast, trames brutes, règles ebtables, VRRP ;
* ``evpn.sh`` : VRF, BGP, L3VNI, watchdog ;
* ``fixture.sh`` : nettoyage et ``assert_clean``, appelés par le runner.
* ``fixture.sh`` : nettoyage et ``assert_clean``, appelés par le runner. Le nettoyage couvre les
ressources ``t<NN>`` de l'API, les netns ``t<NN>-*`` et les fichiers ``t<NN>-*`` / ``t<NN>.*`` de
``/tmp`` et ``/var/tmp/e2e`` (sauf l'état ``t<NN>.avant``) ; il ne joue que pour un test dont
l'en-tête « # hôtes: » est rempli. Un test sans aucune vérification propre, hors fixtures, est
en échec.
.. code-block:: bash
# fonctionnalité: trafic entre deux VM d'un même subnet sur un hôte
# fonctionnalité: trafic entre deux VM d'un même subnet sur un hôte, isolation entre VPC
# hôtes: hv1
# tickets: #NN
@ -459,7 +469,11 @@ Chaque bloc est précédé des bibliothèques de ``test/e2e/lib/`` :
check "VM t99-b" vm_launch t99-b --nic sn-t99=10.99.1.11 --sshkey "${KEY}"
check "t99-a joignable" vm_wait vp-t99 10.99.1.10
check "t99-a joint t99-b" vm_ssh vp-t99 10.99.1.10 'ping -c 2 -W 2 10.99.1.11'
check "t99-a ne joint pas 10.98.1.10" vm_fails vp-t99 10.99.1.10 'ping -c 2 -W 2 10.98.1.10'
check "VPC vp-t99b" vpc_create vp-t99b 10.99.0.0/16
check "subnet sn-t99b" subnet_create sn-t99b vp-t99b 9902 10.99.2.0/24
check "VM t99-c" vm_launch t99-c --nic sn-t99b=10.99.2.10 --sshkey "${KEY}"
check "t99-c joignable dans son VPC" vm_wait vp-t99b 10.99.2.10
check "t99-a ne joint pas t99-c (autre VPC)" vm_fails vp-t99 10.99.1.10 'ping -c 2 -W 2 10.99.2.10'
NODE
Les règles :

View file

@ -48,9 +48,10 @@ Trois règles pour un appelant robuste :
borne les opérations qui attendent une transition ; l'appelant doit avoir sa propre borne.
* **Traiter ``error`` comme terminal, pas comme un échec transitoire.** Un ``Execute`` en échec
ne se rejoue pas tout seul.
* **Ne pas enchaîner sans vérifier.** Créer un subnet dont le VPC est encore en ``creating``
échoue en 422 ; démarrer une VM sur un subnet en ``creating`` ou ``running`` est en revanche
accepté.
* **Savoir ce qui s'enchaîne.** Créer un subnet dont le VPC est encore en ``creating``, ou
démarrer une VM sur un subnet en ``creating``, est accepté : l'``Execute`` attend que le parent
passe ``running``, dans la limite de ``dispatcher.timeout_seconds`` ; au-delà, la ressource passe
en ``error``. Le refus en 422 ne vaut que pour un parent absent, en ``error`` ou en ``deleting``.
Codes de retour
---------------
@ -66,15 +67,23 @@ Codes de retour
* - ``200``
- lecture réussie (``GET``)
* - ``400``
- champ obligatoire manquant, corps invalide, ``iface_type`` inconnu, base64 invalide
- champ obligatoire manquant, corps invalide, base64 invalide ; CIDR de VPC invalide,
``l3vni`` hors plage ; ``interface_ip`` absent (``bridge``, ``public_ip``) ou fourni
(``vxlan``) ; interface de VM sans ``mac``, nombre d'interfaces ``primary`` différent de 1
* - ``404``
- ressource inexistante
* - ``405``
- méthode non prise en charge ; corps ``{"error": "method not allowed"}``, mais servi en
``text/plain`` par ``/vpcs`` et ``/subnets`` (et leurs ``/{name}``), en JSON par ``/vms``
* - ``409``
- conflit d'existence ou d'état : ressource déjà créée, ou suppression depuis un état qui
ne l'autorise pas ; pour un VPC, subnets encore présents ; pour un subnet, VM non
supprimées qui l'utilisent encore
ne l'autorise pas ; pour un VPC, subnets encore présents, ``l3vni`` déjà utilisée par un
autre VPC, ou ``l3vni`` demandée sans section ``bgp`` ; pour un subnet, VM non supprimées
qui l'utilisent encore
* - ``422``
- dépendance absente ou pas prête : VPC parent d'un subnet, subnet d'une VM
- dépendance absente ou inutilisable : VPC parent d'un subnet, subnet d'une VM, absent, en
``error`` ou en ``deleting`` ; ``mode`` de subnet inconnu ; CIDR ``vxlan`` invalide ou plus
petit que ``/29`` ; IP de VM hors du CIDR du subnet ou réservée
* - ``500``
- erreur interne

View file

@ -173,7 +173,7 @@ Metadata et QEMU
qemu:
ovmf_code_path: "/usr/share/OVMF/OVMF_CODE.fd"
ovmf_vars_template: "/usr/share/OVMF/OVMF_VARS.fd"
uefi_vars_dir: "/run/two/vms/efi"
uefi_vars_dir: "/run/two/vms/uefi"
serial_dir: "/run/two/vms/serial"
monitor_dir: "/run/two/vms/monitor"
qmp_dir: "/run/two/vms/qmp"
@ -257,6 +257,7 @@ Watchdog
interval_seconds: 60
Vérification périodique **en lecture seule** — voir :doc:`/exploitation/observabilite`.
**Désactivée par défaut** (``enabled: false``) : sans cette section, aucun contrôle ne tourne.
Journalisation
--------------

View file

@ -49,7 +49,7 @@ Le DHCP est servi par une instance dédiée au subnet. Quelle unit selon ``dhcp.
# Ce qu'il enverrait à une MAC donnée, sans effet de bord
echo '{"verb":"probe","mac":"00:22:33:00:00:0A"}' \
| socat - UNIX-CONNECT:/run/two/dhcp/<netns>_<bridge>.sock | jq .lease
| socat - UNIX-CONNECT:/run/two/dhcp/<netns>_<bridge>.sock | jq '{served, lease}'
``probe`` est le point de départ le plus rapide : il montre l'adresse, le masque, le routeur, les
DNS et les routes classless tels qu'ils partiraient. Une réponse ``"served": false`` signifie que
@ -111,12 +111,14 @@ user-data. Vérification dans le guest :
cloud-init query instance-id
ls /var/lib/cloud/instances/
**2. Le serveur de metadata est injoignable.** Depuis le guest :
**2. Le serveur de metadata est injoignable.** Depuis le guest — le serveur ne sert que
``/meta-data``, ``/user-data``, ``/network-config`` et ``/vendor-data``, tout autre chemin
renvoie 404 :
.. code-block:: bash
ip route
curl -s http://169.254.169.254/latest/meta-data/
curl -s http://169.254.169.254/meta-data
La route ``169.254.169.254/32`` doit être présente, avec l'``interface_ip`` du subnet comme
next-hop. Si elle est absente ou pointe ailleurs, la DNAT posée en ``PREROUTING`` dans le netns
@ -133,8 +135,9 @@ Depuis l'host, l'instance correspondante :
Le user-data est servi vide
---------------------------
Un document fourni explicitement vide est servi vide — ce n'est pas la même chose qu'un document
absent, qui retombe sur le template. Vérifier le contenu réellement écrit :
C'est le comportement attendu quand ``user_data`` est absent ou vide à la création : les deux cas
sont équivalents, et aucun template ne prend le relais pour ``user-data``. Vérifier le contenu
réellement écrit :
.. code-block:: bash
@ -150,7 +153,7 @@ La VM ne démarre pas (UEFI)
.. code-block:: bash
ls -l /usr/share/OVMF/OVMF_CODE.fd /usr/share/OVMF/OVMF_VARS.fd
ls -l /run/two/vms/efi/
ls -l /run/two/vms/uefi/
Sur Debian et Ubuntu, le paquet est ``ovmf``.

View file

@ -27,7 +27,8 @@ Watchdog
--------
Une goroutine périodique vérifie que les ressources marquées ``running`` en base existent
toujours sur le système, et **notifie les écarts sans jamais réparer**.
toujours sur le système, et **notifie les écarts sans jamais réparer**. Il est **désactivé par
défaut** (``enabled: false``) ; l'activer explicitement :
.. code-block:: yaml
@ -72,17 +73,20 @@ Journaux
journalctl -u agent -f
journalctl -u 'metadata@i-web' -n 50
tail -f /var/log/dnsmasq-vp-admin_br-sn000001.log # backend dnsmasq
journalctl -fu 'dhcp@vp-admin_br-sn000001' # backend two
tail -f /var/log/dnsmasq-vp-admin_br-000001.log # backend dnsmasq
journalctl -fu 'dhcp@vp-admin_br-000001' # backend two
Inspection de la base
---------------------
En ligne de commande, sur l'host :
En ligne de commande, sur l'host. Le binaire ``db`` n'est **ni publié dans les releases ni
déployé** par ``deploy.sh`` : il se compile depuis les sources, puis se copie sur l'host. Sans
sous-commande, il n'affiche que son usage ; ``print`` liste toute la base :
.. code-block:: bash
/opt/two/bin/db -conf /etc/two/agent.yml
CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o db ./cmd/db
./db -conf /etc/two/agent.yml print
.. warning::

View file

@ -1,7 +1,8 @@
Services systemd
================
Quatre units, installées sous ``/opt/two/bin`` par ``deploy.sh``. Les deux units DHCP
Quatre units, installées dans ``/etc/systemd/system`` par ``deploy.sh`` ; les binaires et scripts
qu'elles lancent sont sous ``/opt/two/bin``. Les deux units DHCP
s'excluent : celle qui tourne dépend de ``dhcp.backend`` (voir :doc:`configuration`).
.. list-table::
@ -30,8 +31,8 @@ n'y a pas à les démarrer à la main en fonctionnement normal.
.. code-block:: bash
systemctl status agent
systemctl status 'dnsmasq@vp-admin_br-sn000001' # backend dnsmasq
systemctl status 'dhcp@vp-admin_br-sn000001' # backend two
systemctl status 'dnsmasq@vp-admin_br-000001' # backend dnsmasq
systemctl status 'dhcp@vp-admin_br-000001' # backend two
systemctl status 'metadata@i-web'
dnsmasq
@ -65,9 +66,9 @@ ignore le netns dans lequel il tourne :
.. code-block:: bash
/opt/two/bin/dhcp -conf /etc/two/agent.yml \
-interface br-sn000001 \
-state /run/two/dhcp/vp-admin_br-sn000001.state \
-socket /run/two/dhcp/vp-admin_br-sn000001.sock
-interface br-000001 \
-state /run/two/dhcp/vp-admin_br-000001.state \
-socket /run/two/dhcp/vp-admin_br-000001.sock
.. list-table::
:widths: 40 60

View file

@ -1,4 +1,4 @@
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 1200 900" width="1200" height="900" role="img" aria-label="Architecture du cluster : routeurs, route reflectors, hyperviseurs, plans de données et de contrôle">
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 1200 900" width="1200" height="900" role="img" aria-label="Détail d'un cluster : routeurs, route reflectors, hyperviseurs, netns et VRF des VPC, plans de données et de contrôle">
<style>
.lbl { font-family: -apple-system, "Segoe UI", Roboto, sans-serif; font-size: 14px; fill: #e6edf3; }
.sub { font-family: -apple-system, "Segoe UI", Roboto, sans-serif; font-size: 11px; fill: #9198a1; }
@ -50,7 +50,7 @@
<text class="lbl" x="1020.0" y="77.0" text-anchor="middle">route reflector 2</text>
<text class="sub" x="1020.0" y="94.0" text-anchor="middle">lo 10.255.255.2/32 · 169.254.0.4/28</text>
<text class="sub" x="890" y="132" text-anchor="middle">router-id, cluster-id et source des sessions EVPN : la loopback</text>
<text class="sub" x="890" y="148" text-anchor="middle">un par cluster (vue d'ensemble) ; le lab les réunit dans un seul</text>
<text class="sub" x="890" y="148" text-anchor="middle">au moins un, deux prévus · AS 64600 face aux hyperviseurs (local-as)</text>
<path class="ctrl" d="M480 80 H640" marker-start="url(#a-ctrl)" marker-end="url(#a-ctrl)"/>
<text class="ctrlt" x="560" y="72" text-anchor="middle">eBGP · BFD</text>
<text class="ctrlt" x="560" y="98" text-anchor="middle">loopbacks seules</text>
@ -74,9 +74,11 @@
<rect class="box" x="60" y="430" width="180" height="52" rx="6"/>
<text class="lbl" x="150.0" y="453.0" text-anchor="middle">agent</text>
<text class="sub" x="150.0" y="470.0" text-anchor="middle">API REST · Badger</text>
<rect class="box" x="60" y="510" width="180" height="56" rx="6"/>
<text class="lbl" x="150.0" y="535.0" text-anchor="middle">vxlan-&lt;vni&gt;</text>
<text class="sub" x="150.0" y="552.0" text-anchor="middle">dans br-&lt;subnet&gt;, sans learning</text>
<rect class="box" x="60" y="510" width="180" height="66" rx="6"/>
<text class="lbl" x="150.0" y="532.0" text-anchor="middle">br-&lt;subnet&gt; de l'hôte</text>
<text class="sub" x="150.0" y="549.0" text-anchor="middle">vxlan-&lt;vni&gt;, sans learning</text>
<text class="sub" x="150.0" y="564.0" text-anchor="middle">veth v-&lt;id&gt;-e</text>
<text class="sub" x="150" y="596" text-anchor="middle">veth v-&lt;id&gt;-e ↔ v-&lt;id&gt;-i</text>
<rect class="group" x="270" y="280" width="290" height="300" rx="8"/>
<text class="grp" x="290" y="304">NETNS DU VPC</text>
<rect class="box" x="285" y="312" width="125" height="66" rx="6"/>
@ -88,8 +90,8 @@
<text class="sub" x="482.5" y="351.0" text-anchor="middle">métadonnées</text>
<text class="sub" x="482.5" y="366.0" text-anchor="middle">écoutent sur gw-</text>
<rect class="box" x="285" y="400" width="260" height="52" rx="6"/>
<text class="lbl" x="415.0" y="423.0" text-anchor="middle">br-&lt;subnet&gt;</text>
<text class="sub" x="415.0" y="440.0" text-anchor="middle">adresse d'émission .253</text>
<text class="lbl" x="415.0" y="423.0" text-anchor="middle">br-&lt;subnet&gt; du netns</text>
<text class="sub" x="415.0" y="440.0" text-anchor="middle">adresse d'émission .253 · v-&lt;id&gt;-i</text>
<rect class="box" x="285" y="478" width="260" height="52" rx="6"/>
<text class="lbl" x="415.0" y="501.0" text-anchor="middle">VM</text>
<text class="sub" x="415.0" y="518.0" text-anchor="middle">QEMU / KVM · tap dans le netns</text>
@ -120,9 +122,11 @@
<rect class="box" x="640" y="430" width="180" height="52" rx="6"/>
<text class="lbl" x="730.0" y="453.0" text-anchor="middle">agent</text>
<text class="sub" x="730.0" y="470.0" text-anchor="middle">API REST · Badger</text>
<rect class="box" x="640" y="510" width="180" height="56" rx="6"/>
<text class="lbl" x="730.0" y="535.0" text-anchor="middle">vxlan-&lt;vni&gt;</text>
<text class="sub" x="730.0" y="552.0" text-anchor="middle">dans br-&lt;subnet&gt;, sans learning</text>
<rect class="box" x="640" y="510" width="180" height="66" rx="6"/>
<text class="lbl" x="730.0" y="532.0" text-anchor="middle">br-&lt;subnet&gt; de l'hôte</text>
<text class="sub" x="730.0" y="549.0" text-anchor="middle">vxlan-&lt;vni&gt;, sans learning</text>
<text class="sub" x="730.0" y="564.0" text-anchor="middle">veth v-&lt;id&gt;-e</text>
<text class="sub" x="730" y="596" text-anchor="middle">veth v-&lt;id&gt;-e ↔ v-&lt;id&gt;-i</text>
<rect class="group" x="850" y="280" width="290" height="300" rx="8"/>
<text class="grp" x="870" y="304">NETNS DU VPC</text>
<rect class="box" x="865" y="312" width="125" height="66" rx="6"/>
@ -134,8 +138,8 @@
<text class="sub" x="1062.5" y="351.0" text-anchor="middle">métadonnées</text>
<text class="sub" x="1062.5" y="366.0" text-anchor="middle">écoutent sur gw-</text>
<rect class="box" x="865" y="400" width="260" height="52" rx="6"/>
<text class="lbl" x="995.0" y="423.0" text-anchor="middle">br-&lt;subnet&gt;</text>
<text class="sub" x="995.0" y="440.0" text-anchor="middle">adresse d'émission .253</text>
<text class="lbl" x="995.0" y="423.0" text-anchor="middle">br-&lt;subnet&gt; du netns</text>
<text class="sub" x="995.0" y="440.0" text-anchor="middle">adresse d'émission .253 · v-&lt;id&gt;-i</text>
<rect class="box" x="865" y="478" width="260" height="52" rx="6"/>
<text class="lbl" x="995.0" y="501.0" text-anchor="middle">VM</text>
<text class="sub" x="995.0" y="518.0" text-anchor="middle">QEMU / KVM · tap dans le netns</text>

Before

Width:  |  Height:  |  Size: 14 KiB

After

Width:  |  Height:  |  Size: 14 KiB

Before After
Before After

View file

@ -1,4 +1,4 @@
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 1200 900" width="1200" height="900" role="img" aria-label="Architecture du cluster : routeurs, route reflectors, hyperviseurs, plans de données et de contrôle">
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 1200 900" width="1200" height="900" role="img" aria-label="Détail d'un cluster : routeurs, route reflectors, hyperviseurs, netns et VRF des VPC, plans de données et de contrôle">
<style>
.lbl { font-family: -apple-system, "Segoe UI", Roboto, sans-serif; font-size: 14px; fill: #1f2328; }
.sub { font-family: -apple-system, "Segoe UI", Roboto, sans-serif; font-size: 11px; fill: #57606a; }
@ -50,7 +50,7 @@
<text class="lbl" x="1020.0" y="77.0" text-anchor="middle">route reflector 2</text>
<text class="sub" x="1020.0" y="94.0" text-anchor="middle">lo 10.255.255.2/32 · 169.254.0.4/28</text>
<text class="sub" x="890" y="132" text-anchor="middle">router-id, cluster-id et source des sessions EVPN : la loopback</text>
<text class="sub" x="890" y="148" text-anchor="middle">un par cluster (vue d'ensemble) ; le lab les réunit dans un seul</text>
<text class="sub" x="890" y="148" text-anchor="middle">au moins un, deux prévus · AS 64600 face aux hyperviseurs (local-as)</text>
<path class="ctrl" d="M480 80 H640" marker-start="url(#a-ctrl)" marker-end="url(#a-ctrl)"/>
<text class="ctrlt" x="560" y="72" text-anchor="middle">eBGP · BFD</text>
<text class="ctrlt" x="560" y="98" text-anchor="middle">loopbacks seules</text>
@ -74,9 +74,11 @@
<rect class="box" x="60" y="430" width="180" height="52" rx="6"/>
<text class="lbl" x="150.0" y="453.0" text-anchor="middle">agent</text>
<text class="sub" x="150.0" y="470.0" text-anchor="middle">API REST · Badger</text>
<rect class="box" x="60" y="510" width="180" height="56" rx="6"/>
<text class="lbl" x="150.0" y="535.0" text-anchor="middle">vxlan-&lt;vni&gt;</text>
<text class="sub" x="150.0" y="552.0" text-anchor="middle">dans br-&lt;subnet&gt;, sans learning</text>
<rect class="box" x="60" y="510" width="180" height="66" rx="6"/>
<text class="lbl" x="150.0" y="532.0" text-anchor="middle">br-&lt;subnet&gt; de l'hôte</text>
<text class="sub" x="150.0" y="549.0" text-anchor="middle">vxlan-&lt;vni&gt;, sans learning</text>
<text class="sub" x="150.0" y="564.0" text-anchor="middle">veth v-&lt;id&gt;-e</text>
<text class="sub" x="150" y="596" text-anchor="middle">veth v-&lt;id&gt;-e ↔ v-&lt;id&gt;-i</text>
<rect class="group" x="270" y="280" width="290" height="300" rx="8"/>
<text class="grp" x="290" y="304">NETNS DU VPC</text>
<rect class="box" x="285" y="312" width="125" height="66" rx="6"/>
@ -88,8 +90,8 @@
<text class="sub" x="482.5" y="351.0" text-anchor="middle">métadonnées</text>
<text class="sub" x="482.5" y="366.0" text-anchor="middle">écoutent sur gw-</text>
<rect class="box" x="285" y="400" width="260" height="52" rx="6"/>
<text class="lbl" x="415.0" y="423.0" text-anchor="middle">br-&lt;subnet&gt;</text>
<text class="sub" x="415.0" y="440.0" text-anchor="middle">adresse d'émission .253</text>
<text class="lbl" x="415.0" y="423.0" text-anchor="middle">br-&lt;subnet&gt; du netns</text>
<text class="sub" x="415.0" y="440.0" text-anchor="middle">adresse d'émission .253 · v-&lt;id&gt;-i</text>
<rect class="box" x="285" y="478" width="260" height="52" rx="6"/>
<text class="lbl" x="415.0" y="501.0" text-anchor="middle">VM</text>
<text class="sub" x="415.0" y="518.0" text-anchor="middle">QEMU / KVM · tap dans le netns</text>
@ -120,9 +122,11 @@
<rect class="box" x="640" y="430" width="180" height="52" rx="6"/>
<text class="lbl" x="730.0" y="453.0" text-anchor="middle">agent</text>
<text class="sub" x="730.0" y="470.0" text-anchor="middle">API REST · Badger</text>
<rect class="box" x="640" y="510" width="180" height="56" rx="6"/>
<text class="lbl" x="730.0" y="535.0" text-anchor="middle">vxlan-&lt;vni&gt;</text>
<text class="sub" x="730.0" y="552.0" text-anchor="middle">dans br-&lt;subnet&gt;, sans learning</text>
<rect class="box" x="640" y="510" width="180" height="66" rx="6"/>
<text class="lbl" x="730.0" y="532.0" text-anchor="middle">br-&lt;subnet&gt; de l'hôte</text>
<text class="sub" x="730.0" y="549.0" text-anchor="middle">vxlan-&lt;vni&gt;, sans learning</text>
<text class="sub" x="730.0" y="564.0" text-anchor="middle">veth v-&lt;id&gt;-e</text>
<text class="sub" x="730" y="596" text-anchor="middle">veth v-&lt;id&gt;-e ↔ v-&lt;id&gt;-i</text>
<rect class="group" x="850" y="280" width="290" height="300" rx="8"/>
<text class="grp" x="870" y="304">NETNS DU VPC</text>
<rect class="box" x="865" y="312" width="125" height="66" rx="6"/>
@ -134,8 +138,8 @@
<text class="sub" x="1062.5" y="351.0" text-anchor="middle">métadonnées</text>
<text class="sub" x="1062.5" y="366.0" text-anchor="middle">écoutent sur gw-</text>
<rect class="box" x="865" y="400" width="260" height="52" rx="6"/>
<text class="lbl" x="995.0" y="423.0" text-anchor="middle">br-&lt;subnet&gt;</text>
<text class="sub" x="995.0" y="440.0" text-anchor="middle">adresse d'émission .253</text>
<text class="lbl" x="995.0" y="423.0" text-anchor="middle">br-&lt;subnet&gt; du netns</text>
<text class="sub" x="995.0" y="440.0" text-anchor="middle">adresse d'émission .253 · v-&lt;id&gt;-i</text>
<rect class="box" x="865" y="478" width="260" height="52" rx="6"/>
<text class="lbl" x="995.0" y="501.0" text-anchor="middle">VM</text>
<text class="sub" x="995.0" y="518.0" text-anchor="middle">QEMU / KVM · tap dans le netns</text>

Before

Width:  |  Height:  |  Size: 14 KiB

After

Width:  |  Height:  |  Size: 14 KiB

Before After
Before After

View file

@ -1,4 +1,4 @@
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 1500 1210" width="1500" height="1210" role="img" aria-label="Vue d'ensemble : Internet, bordures, routeurs du cluster, services, orchestration et hyperviseurs">
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 1500 1210" width="1500" height="1210" role="img" aria-label="Vue d'ensemble : Internet, bordures, deux clusters, route reflectors, services partagés et hyperviseurs">
<style>
.lbl { font-family: -apple-system, "Segoe UI", Roboto, sans-serif; font-size: 14px; fill: #e6edf3; }
.sub { font-family: -apple-system, "Segoe UI", Roboto, sans-serif; font-size: 11px; fill: #9198a1; }
@ -47,8 +47,8 @@
<rect class="future" x="1200" y="50" width="240" height="52" rx="6"/>
<text class="lbl" x="1320.0" y="73.0" text-anchor="middle">Terraform / OpenTofu</text>
<text class="sub" x="1320.0" y="90.0" text-anchor="middle">provider two · #72</text>
<text class="nett" x="1164" y="150" text-anchor="end">API publique de l'orchestrateur</text>
<text class="nett" x="1164" y="166" text-anchor="end">par Internet et les bordures (VNI 66001)</text>
<path class="net" d="M1180 64 H900" marker-end="url(#a-net)"/>
<text class="nett" x="1040" y="56" text-anchor="middle">API publique de l'orchestrateur</text>
<rect class="group" x="40" y="280" width="480" height="130" rx="8"/>
<text class="grp" x="60" y="304">CLUSTER A</text>
<rect class="box" x="60" y="312" width="210" height="56" rx="6"/>
@ -173,7 +173,9 @@
<path class="link" d="M300 635 V460"/>
<path class="orch" d="M320 785 H332 V410" marker-end="url(#a-orch)"/>
<text class="orcht" x="340" y="596" text-anchor="start">register · ordres · événements (mTLS, sortant)</text>
<path class="net" d="M1180 76 H1172 V546 H1160" marker-end="url(#a-net)"/>
<path class="net" d="M750 240 V300 H1140 V520" marker-end="url(#a-net)"/>
<text class="nett" x="1132" y="430" text-anchor="end">API publique</text>
<text class="nett" x="1132" y="446" text-anchor="end">VNI 66001</text>
<path class="data" d="M60 1045 H110"/>
<text class="sub" x="118" y="1049" text-anchor="start">plan de données : VXLAN</text>
<path class="ctrl" d="M290 1045 H340"/>
@ -184,10 +186,10 @@
<text class="sub" x="748" y="1049" text-anchor="start">trafic Internet</text>
<rect class="future" x="880" y="1035" width="34" height="20" rx="4"/>
<text class="sub" x="922" y="1049" text-anchor="start">à venir (ticket indiqué)</text>
<text class="sub" x="60" y="1089" text-anchor="start">Les agents ne sont jamais joints par l'orchestrateur : ils se connectent au broker en sortie, via leur passerelle ; les routeurs de leur cluster les NAT vers le VNI 66000.</text>
<text class="sub" x="60" y="1089" text-anchor="start">Les agents ne sont jamais joints par l'orchestrateur : ils se connectent au broker en sortie, via leur passerelle ; les routeurs de leur cluster les traduisent (NAT) vers le VNI 66000.</text>
<text class="sub" x="60" y="1107" text-anchor="start">L'orchestrateur a une patte dans le VNI 66001 : son API est joignable depuis Internet, par les bordures.</text>
<text class="sub" x="60" y="1125" text-anchor="start">VM publique : un subnet public dans son VPC, relié au subnet public de l'hôte (VNI 66001), dont la gateway anycast est portée par toutes les bordures.</text>
<text class="sub" x="60" y="1143" text-anchor="start">VM privée : route par défaut de type 5 vers la passerelle NAT de son VPC (IP de sortie du VPC) si le VPC autorise Internet, ou IP flottante 1:1 sur son hôte.</text>
<text class="sub" x="60" y="1161" text-anchor="start">Les bordures restent sans état : tout NAT vit sur un hyperviseur. Broker et orchestrateur sont des VM du VNI 66000, partagé : elles tournent sur les hyperviseurs de n'importe quel cluster.</text>
<text class="sub" x="60" y="1179" text-anchor="start">Un route reflector par cluster : un événement d'un cluster ne coupe pas les deux sessions. Chaque lien routeurs ↔ RR est en 169.254.0.0/28, propre à son cluster.</text>
<text class="sub" x="60" y="1179" text-anchor="start">Au moins un route reflector ; deux prévus, ici un par cluster : un événement d'un cluster ne coupe pas les deux sessions. Chaque lien routeurs ↔ RR est en 169.254.0.0/28, propre à son cluster.</text>
</svg>

Before

Width:  |  Height:  |  Size: 16 KiB

After

Width:  |  Height:  |  Size: 16 KiB

Before After
Before After

View file

@ -1,4 +1,4 @@
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 1500 1210" width="1500" height="1210" role="img" aria-label="Vue d'ensemble : Internet, bordures, routeurs du cluster, services, orchestration et hyperviseurs">
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 1500 1210" width="1500" height="1210" role="img" aria-label="Vue d'ensemble : Internet, bordures, deux clusters, route reflectors, services partagés et hyperviseurs">
<style>
.lbl { font-family: -apple-system, "Segoe UI", Roboto, sans-serif; font-size: 14px; fill: #1f2328; }
.sub { font-family: -apple-system, "Segoe UI", Roboto, sans-serif; font-size: 11px; fill: #57606a; }
@ -47,8 +47,8 @@
<rect class="future" x="1200" y="50" width="240" height="52" rx="6"/>
<text class="lbl" x="1320.0" y="73.0" text-anchor="middle">Terraform / OpenTofu</text>
<text class="sub" x="1320.0" y="90.0" text-anchor="middle">provider two · #72</text>
<text class="nett" x="1164" y="150" text-anchor="end">API publique de l'orchestrateur</text>
<text class="nett" x="1164" y="166" text-anchor="end">par Internet et les bordures (VNI 66001)</text>
<path class="net" d="M1180 64 H900" marker-end="url(#a-net)"/>
<text class="nett" x="1040" y="56" text-anchor="middle">API publique de l'orchestrateur</text>
<rect class="group" x="40" y="280" width="480" height="130" rx="8"/>
<text class="grp" x="60" y="304">CLUSTER A</text>
<rect class="box" x="60" y="312" width="210" height="56" rx="6"/>
@ -173,7 +173,9 @@
<path class="link" d="M300 635 V460"/>
<path class="orch" d="M320 785 H332 V410" marker-end="url(#a-orch)"/>
<text class="orcht" x="340" y="596" text-anchor="start">register · ordres · événements (mTLS, sortant)</text>
<path class="net" d="M1180 76 H1172 V546 H1160" marker-end="url(#a-net)"/>
<path class="net" d="M750 240 V300 H1140 V520" marker-end="url(#a-net)"/>
<text class="nett" x="1132" y="430" text-anchor="end">API publique</text>
<text class="nett" x="1132" y="446" text-anchor="end">VNI 66001</text>
<path class="data" d="M60 1045 H110"/>
<text class="sub" x="118" y="1049" text-anchor="start">plan de données : VXLAN</text>
<path class="ctrl" d="M290 1045 H340"/>
@ -184,10 +186,10 @@
<text class="sub" x="748" y="1049" text-anchor="start">trafic Internet</text>
<rect class="future" x="880" y="1035" width="34" height="20" rx="4"/>
<text class="sub" x="922" y="1049" text-anchor="start">à venir (ticket indiqué)</text>
<text class="sub" x="60" y="1089" text-anchor="start">Les agents ne sont jamais joints par l'orchestrateur : ils se connectent au broker en sortie, via leur passerelle ; les routeurs de leur cluster les NAT vers le VNI 66000.</text>
<text class="sub" x="60" y="1089" text-anchor="start">Les agents ne sont jamais joints par l'orchestrateur : ils se connectent au broker en sortie, via leur passerelle ; les routeurs de leur cluster les traduisent (NAT) vers le VNI 66000.</text>
<text class="sub" x="60" y="1107" text-anchor="start">L'orchestrateur a une patte dans le VNI 66001 : son API est joignable depuis Internet, par les bordures.</text>
<text class="sub" x="60" y="1125" text-anchor="start">VM publique : un subnet public dans son VPC, relié au subnet public de l'hôte (VNI 66001), dont la gateway anycast est portée par toutes les bordures.</text>
<text class="sub" x="60" y="1143" text-anchor="start">VM privée : route par défaut de type 5 vers la passerelle NAT de son VPC (IP de sortie du VPC) si le VPC autorise Internet, ou IP flottante 1:1 sur son hôte.</text>
<text class="sub" x="60" y="1161" text-anchor="start">Les bordures restent sans état : tout NAT vit sur un hyperviseur. Broker et orchestrateur sont des VM du VNI 66000, partagé : elles tournent sur les hyperviseurs de n'importe quel cluster.</text>
<text class="sub" x="60" y="1179" text-anchor="start">Un route reflector par cluster : un événement d'un cluster ne coupe pas les deux sessions. Chaque lien routeurs ↔ RR est en 169.254.0.0/28, propre à son cluster.</text>
<text class="sub" x="60" y="1179" text-anchor="start">Au moins un route reflector ; deux prévus, ici un par cluster : un événement d'un cluster ne coupe pas les deux sessions. Chaque lien routeurs ↔ RR est en 169.254.0.0/28, propre à son cluster.</text>
</svg>

Before

Width:  |  Height:  |  Size: 16 KiB

After

Width:  |  Height:  |  Size: 16 KiB

Before After
Before After

View file

@ -15,12 +15,13 @@ def hv(x0, name):
g.box(x0 + 20, 280, 180, 52, "br-000000", ["IP de l'hyperviseur = VTEP"])
g.box(x0 + 20, 350, 180, 62, "FRR", ["bgpd · AS 64600", "advertise-all-vni"])
g.box(x0 + 20, 430, 180, 52, "agent", ["API REST · Badger"])
g.box(x0 + 20, 510, 180, 56, "vxlan-<vni>", ["dans br-<subnet>, sans learning"])
g.box(x0 + 20, 510, 180, 66, "br-<subnet> de l'hôte", ["vxlan-<vni>, sans learning", "veth v-<id>-e"])
g.text(x0 + 110, 596, "veth v-<id>-e ↔ v-<id>-i", "sub", "middle")
g.group(x0 + 230, 280, 290, 300, "NETNS DU VPC")
g.box(x0 + 245, 312, 125, 66, "gw-<subnet>", ["gateway .254", "MAC anycast"])
g.box(x0 + 380, 312, 125, 66, "DHCP", ["métadonnées", "écoutent sur gw-"])
g.box(x0 + 245, 400, 260, 52, "br-<subnet>", ["adresse d'émission .253"])
g.box(x0 + 245, 400, 260, 52, "br-<subnet> du netns", ["adresse d'émission .253 · v-<id>-i"])
g.box(x0 + 245, 478, 260, 52, "VM", ["QEMU / KVM · tap dans le netns"])
g.text(x0 + 375, 552, "macvlan gw- posé sur br-, confiné à l'hôte (#57)", "sub", "middle")
g.box(x0 + 230, 610, 290, 62, "vrf-<vpc> · L3VNI", ["brl3 · vxl3 · veth de transit", "routage entre hyperviseurs (#41)"])
@ -48,7 +49,7 @@ def draw():
g.box(640, 52, 240, 56, "route reflector 1", ["lo 10.255.255.1/32 · 169.254.0.3/28"])
g.box(900, 52, 240, 56, "route reflector 2", ["lo 10.255.255.2/32 · 169.254.0.4/28"])
g.text(890, 132, "router-id, cluster-id et source des sessions EVPN : la loopback", "sub", "middle")
g.text(890, 148, "un par cluster (vue d'ensemble) ; le lab les réunit dans un seul", "sub", "middle")
g.text(890, 148, "au moins un, deux prévus · AS 64600 face aux hyperviseurs (local-as)", "sub", "middle")
g.path("M480 80 H640", "ctrl", start=True, end=True)
g.text(560, 72, "eBGP · BFD", "ctrlt", "middle")
@ -91,7 +92,7 @@ def draw():
def render(p):
g.out.clear()
draw()
head = f'<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 {W} {H}" width="{W}" height="{H}" role="img" aria-label="Architecture du cluster : routeurs, route reflectors, hyperviseurs, plans de données et de contrôle">'
head = f'<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 {W} {H}" width="{W}" height="{H}" role="img" aria-label="Détail d\'un cluster : routeurs, route reflectors, hyperviseurs, netns et VRF des VPC, plans de données et de contrôle">'
st = g.style(p).replace(" </style>", made_style(p) + " </style>").replace(
" </defs>",
' <marker id="a-made" viewBox="0 0 10 10" refX="9" refY="5" markerWidth="7" markerHeight="7" orient="auto-start-reverse"><path class="head-made" d="M0 0 L10 5 L0 10 z"/></marker>\n </defs>')

View file

@ -78,7 +78,6 @@ def path(d, cls, start=False, end=False):
def draw():
dy = 205
# Internet et bordures
out.append(' <rect class="pill" x="600" y="20" width="300" height="56" rx="28"/>')
text(750, 54, "Internet", "lbl", "middle")
path("M750 76 V110", "net", start=True, end=True)
@ -89,19 +88,16 @@ def draw():
text(750, 214, "même IP et même MAC de gateway · sans état", "sub", "middle")
text(750, 230, "VTEP · VNI 66001 (public)", "sub", "middle")
# Poste de l'opérateur
group(1180, 20, 280, 100, "POSTE DE L'OPÉRATEUR")
box(1200, 50, 240, 52, "Terraform / OpenTofu", ["provider two · #72"], "future")
text(1164, 150, "API publique de l'orchestrateur", "nett", "end")
text(1164, 166, "par Internet et les bordures (VNI 66001)", "nett", "end")
path("M1180 64 H900", "net", end=True)
text(1040, 56, "API publique de l'orchestrateur", "nett", "middle")
# Underlay A : routeurs
group(40, 280, 480, 130, "CLUSTER A")
box(60, 312, 210, 56, "routeur 1", ["169.254.0.1/28"])
box(290, 312, 210, 56, "routeur 2", ["169.254.0.2/28"])
text(280, 392, "VRRP · VTEP · VNI 66000 · NAT vers le VNI 66000 · #72", "sub", "middle")
# Underlay B
group(1200, 280, 260, 130, "CLUSTER B")
box(1215, 312, 110, 56, "routeur 1", ["169.254.0.1/28"])
box(1335, 312, 110, 56, "routeur 2", ["169.254.0.2/28"])
@ -122,7 +118,6 @@ def draw():
text(1330, 765 + dy, "l'hyperviseur détaillé", "sub", "middle")
path(f"M1452 460 V{395 + dy}", "link")
# eBGP
path("M500 340 H1215", "link")
text(860, 332, "eBGP · routeur 2 de A → routeur 1 de B", "sub", "middle")
path("M660 240 V258 H210 V312", "link")
@ -130,7 +125,6 @@ def draw():
text(420, 252, "eBGP", "sub", "middle")
text(1060, 252, "eBGP", "sub", "middle")
# Underlay A : bus, route reflector, services
out.append(' <line class="bus" x1="40" y1="460" x2="680" y2="460"/>')
text(690, 465, "underlay A · VXLAN UDP 4789 · BGP", "sub")
path("M75 368 V460", "link")
@ -145,7 +139,6 @@ def draw():
path("M510 410 V546 H760", "orch", end=True)
path("M1200 400 H1192 V560 H1180", "orch", end=True)
# Hyperviseur
group(40, 395 + dy, 1120, 410, "HYPERVISEUR A (détaillé)")
box(60, 430 + dy, 260, 52, "br-000000", ["IP de l'hyperviseur = VTEP"])
box(60, 496 + dy, 260, 52, "FRR · bgpd", ["sessions EVPN vers les RR"])
@ -174,13 +167,13 @@ def draw():
out.append(f' <text class="datat" x="30" y="{600 + dy}" text-anchor="middle" transform="rotate(-90 30 {600 + dy})">VNI 66001</text>')
path(f"M300 {430 + dy} V460", "link")
# Orchestration : agent → routeurs de l'underlay A
path(f"M320 {580 + dy} H332 V410", "orch", end=True)
text(340, 596, "register · ordres · événements (mTLS, sortant)", "orcht")
path("M1180 76 H1172 V546 H1160", "net", end=True)
path("M750 240 V300 H1140 V520", "net", end=True)
text(1132, 430, "API publique", "nett", "end")
text(1132, 446, "VNI 66001", "nett", "end")
# Légende
ly = 840 + dy
path(f"M60 {ly} H110", "data")
text(118, ly + 4, "plan de données : VXLAN")
@ -194,12 +187,12 @@ def draw():
text(922, ly + 4, "à venir (ticket indiqué)")
notes = [
"Les agents ne sont jamais joints par l'orchestrateur : ils se connectent au broker en sortie, via leur passerelle ; les routeurs de leur cluster les NAT vers le VNI 66000.",
"Les agents ne sont jamais joints par l'orchestrateur : ils se connectent au broker en sortie, via leur passerelle ; les routeurs de leur cluster les traduisent (NAT) vers le VNI 66000.",
"L'orchestrateur a une patte dans le VNI 66001 : son API est joignable depuis Internet, par les bordures.",
"VM publique : un subnet public dans son VPC, relié au subnet public de l'hôte (VNI 66001), dont la gateway anycast est portée par toutes les bordures.",
"VM privée : route par défaut de type 5 vers la passerelle NAT de son VPC (IP de sortie du VPC) si le VPC autorise Internet, ou IP flottante 1:1 sur son hôte.",
"Les bordures restent sans état : tout NAT vit sur un hyperviseur. Broker et orchestrateur sont des VM du VNI 66000, partagé : elles tournent sur les hyperviseurs de n'importe quel cluster.",
"Un route reflector par cluster : un événement d'un cluster ne coupe pas les deux sessions. Chaque lien routeurs ↔ RR est en 169.254.0.0/28, propre à son cluster.",
"Au moins un route reflector ; deux prévus, ici un par cluster : un événement d'un cluster ne coupe pas les deux sessions. Chaque lien routeurs ↔ RR est en 169.254.0.0/28, propre à son cluster.",
]
for k, n in enumerate(notes):
text(60, 884 + dy + k * 18, n)
@ -208,7 +201,7 @@ def draw():
def render(p):
out.clear()
draw()
head = f'<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 {W} {H}" width="{W}" height="{H}" role="img" aria-label="Vue d\'ensemble : Internet, bordures, routeurs du cluster, services, orchestration et hyperviseurs">'
head = f'<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 {W} {H}" width="{W}" height="{H}" role="img" aria-label="Vue d\'ensemble : Internet, bordures, deux clusters, route reflectors, services partagés et hyperviseurs">'
return "\n".join([head, style(p)] + out + ["</svg>", ""])

View file

@ -30,7 +30,7 @@ type Subnet struct {
State string `json:"state"`
VPC string `json:"vpc"`
Mode string `json:"mode"`
VxlanID int `json:"vxlan_id"`
VxlanID int `json:"vxlan_id,omitempty"`
LocalIface string `json:"local_iface"`
InterfaceIP string `json:"interface_ip"`
RelayIP string `json:"relay_ip,omitempty"`

View file

@ -36,35 +36,7 @@ func (s *Server) getSubnet(w http.ResponseWriter, _ *http.Request, name string)
json.NewEncoder(w).Encode(ErrorResponse{Error: "subnet not found"})
return
}
sub := Subnet{Name: name}
for key, value := range entries {
parts := strings.Split(key, "/")
if len(parts) != 3 {
continue
}
switch parts[2] {
case "state":
sub.State = value
case "vpc":
sub.VPC = value
case "mode":
sub.Mode = value
case "vxlan_id":
sub.VxlanID, _ = strconv.Atoi(value)
case "local_iface":
sub.LocalIface = value
case "interface_ip":
sub.InterfaceIP = value
case "relay_ip":
sub.RelayIP = value
case "cidr":
sub.CIDR = value
case "default_route":
sub.DefaultRoute = value == "true"
case "gateway":
sub.Gateway = value
}
}
sub := subnetFromEntries(name, entries)
w.WriteHeader(http.StatusOK)
json.NewEncoder(w).Encode(sub)
}
@ -92,3 +64,40 @@ func (s *Server) deleteSubnet(w http.ResponseWriter, _ *http.Request, name strin
w.WriteHeader(http.StatusAccepted)
json.NewEncoder(w).Encode(Subnet{Name: name, State: state})
}
func subnetFromEntries(name string, entries map[string]string) Subnet {
sub := Subnet{Name: name}
for key, value := range entries {
parts := strings.Split(key, "/")
if len(parts) != 3 {
continue
}
setSubnetField(&sub, parts[2], value)
}
return sub
}
func setSubnetField(sub *Subnet, field, value string) {
switch field {
case "state":
sub.State = value
case "vpc":
sub.VPC = value
case "mode":
sub.Mode = value
case "vxlan_id":
sub.VxlanID, _ = strconv.Atoi(value)
case "local_iface":
sub.LocalIface = value
case "interface_ip":
sub.InterfaceIP = value
case "relay_ip":
sub.RelayIP = value
case "cidr":
sub.CIDR = value
case "default_route":
sub.DefaultRoute = value == "true"
case "gateway":
sub.Gateway = value
}
}

View file

@ -329,6 +329,13 @@ func TestCreateSubnet_GatewayRoundTrip(t *testing.T) {
if w.Code != http.StatusAccepted {
t.Fatalf("attendu 202, obtenu %d : %s", w.Code, w.Body.String())
}
var created Subnet
if err := json.Unmarshal(w.Body.Bytes(), &created); err != nil {
t.Fatalf("réponse 202 illisible : %v", err)
}
if created.Gateway != "203.0.113.1" {
t.Errorf("gateway absente de la réponse 202 : %+v", created)
}
if gw, _ := kv.GetFromDB(db, "subnet/sn-gw/gateway"); gw != "203.0.113.1" {
t.Errorf("gateway attendue en DB, obtenu %q", gw)
@ -343,6 +350,58 @@ func TestCreateSubnet_GatewayRoundTrip(t *testing.T) {
if got.Gateway != "203.0.113.1" {
t.Errorf("gateway absente de la réponse GET : %+v", got)
}
w = httptest.NewRecorder()
s.SubnetsHandler(w, httptest.NewRequest(http.MethodGet, "/subnets", nil))
var list []Subnet
if err := json.Unmarshal(w.Body.Bytes(), &list); err != nil {
t.Fatalf("liste illisible : %v", err)
}
if len(list) != 1 || list[0].Gateway != "203.0.113.1" {
t.Errorf("gateway absente de la liste : %+v", list)
}
}
func TestSubnet_VxlanIDOnlyForVxlan(t *testing.T) {
s, db := newTestServer(t)
kv.AddInDB(db, "vpc/vpc-1/state", "running")
vx := postSubnetRequest(t, s, SubnetCreateRequest{
Name: "sn-vx", VPC: "vpc-1", Mode: "vxlan", VxlanID: 65537, CIDR: "10.0.0.0/24",
})
if vx.Code != http.StatusAccepted {
t.Fatalf("vxlan : attendu 202, obtenu %d : %s", vx.Code, vx.Body.String())
}
if !strings.Contains(vx.Body.String(), `"vxlan_id":65537`) {
t.Errorf("vxlan_id absent de la réponse 202 vxlan : %s", vx.Body.String())
}
br := postSubnetRequest(t, s, SubnetCreateRequest{
Name: "sn-br", VPC: "vpc-1", Mode: "bridge", VxlanID: 65538, InterfaceIP: "10.1.0.1", CIDR: "10.1.0.0/24",
})
if br.Code != http.StatusAccepted {
t.Fatalf("bridge : attendu 202, obtenu %d : %s", br.Code, br.Body.String())
}
if strings.Contains(br.Body.String(), "vxlan_id") {
t.Errorf("vxlan_id ne doit pas apparaître dans la réponse 202 bridge : %s", br.Body.String())
}
w := httptest.NewRecorder()
s.SubnetByNameHandler(w, httptest.NewRequest(http.MethodGet, "/subnets/sn-br", nil))
if strings.Contains(w.Body.String(), "vxlan_id") {
t.Errorf("vxlan_id ne doit pas apparaître pour un subnet bridge : %s", w.Body.String())
}
w = httptest.NewRecorder()
s.SubnetsHandler(w, httptest.NewRequest(http.MethodGet, "/subnets", nil))
var list []map[string]any
if err := json.Unmarshal(w.Body.Bytes(), &list); err != nil {
t.Fatalf("liste illisible : %v", err)
}
for _, sub := range list {
_, has := sub["vxlan_id"]
if want := sub["name"] == "sn-vx"; has != want {
t.Errorf("%v : vxlan_id présent=%v, attendu %v", sub["name"], has, want)
}
}
}
func postSubnetRequest(t *testing.T, s *Server, req SubnetCreateRequest) *httptest.ResponseRecorder {

View file

@ -40,26 +40,7 @@ func (s *Server) listSubnets(w http.ResponseWriter, _ *http.Request) {
if _, ok := subnets[name]; !ok {
subnets[name] = &Subnet{Name: name}
}
switch parts[2] {
case "state":
subnets[name].State = value
case "vpc":
subnets[name].VPC = value
case "mode":
subnets[name].Mode = value
case "vxlan_id":
subnets[name].VxlanID, _ = strconv.Atoi(value)
case "local_iface":
subnets[name].LocalIface = value
case "interface_ip":
subnets[name].InterfaceIP = value
case "relay_ip":
subnets[name].RelayIP = value
case "cidr":
subnets[name].CIDR = value
case "default_route":
subnets[name].DefaultRoute = value == "true"
}
setSubnetField(subnets[name], parts[2], value)
}
result := make([]Subnet, 0, len(subnets))
for _, sub := range subnets {
@ -124,33 +105,7 @@ func (s *Server) postSubnet(w http.ResponseWriter, r *http.Request) {
json.NewEncoder(w).Encode(ErrorResponse{Error: "failed to read subnet state"})
return
}
sub := Subnet{Name: req.Name}
for key, value := range entries {
parts := strings.Split(key, "/")
if len(parts) != 3 {
continue
}
switch parts[2] {
case "state":
sub.State = value
case "vpc":
sub.VPC = value
case "mode":
sub.Mode = value
case "vxlan_id":
sub.VxlanID, _ = strconv.Atoi(value)
case "local_iface":
sub.LocalIface = value
case "interface_ip":
sub.InterfaceIP = value
case "relay_ip":
sub.RelayIP = value
case "cidr":
sub.CIDR = value
case "default_route":
sub.DefaultRoute = value == "true"
}
}
sub := subnetFromEntries(req.Name, entries)
w.WriteHeader(http.StatusAccepted)
json.NewEncoder(w).Encode(sub)
}

View file

@ -136,6 +136,9 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
- **Un fichier de configuration présent mais invalide fait désormais échouer le démarrage.**
Jusqu'en 0.1.0 l'erreur de lecture était ignorée : l'agent tournait alors entièrement sur ses
valeurs par défaut sans le dire, ce qui rendait indétectable une simple tabulation d'indentation
- **Réponses de l'API des subnets alignées sur la spécification** : `gateway` est rendu aussi par
`GET /subnets` et par la réponse 202 de `POST /subnets`, plus seulement par
`GET /subnets/{name}` ; `vxlan_id` est omis hors mode `vxlan` au lieu de valoir 0 (#80)
- `probe` annonce explicitement `"served": false` pour une MAC non réservée, au lieu d'omettre le
champ et de le rendre indistinguable d'une réponse tronquée
- **Le serveur DHCP intégré s'arrête proprement** sur `SIGTERM` et `SIGINT` : il ferme sa socket de

View file

@ -10,7 +10,8 @@ usage () {
usage: ${0##*/} [--clean]
sans option : compile ${BINARIES} pour linux/amd64 depuis l'arbre courant dans ${BIN_DIR} ;
le prochain lab les installe par-dessus la release de la topologie
le prochain lab les installe par-dessus la release épinglée dans
topologies/provision/hypervisor.sh
--clean : vide ${BIN_DIR} ; le prochain lab teste la release seule
USAGE
exit 2

View file

@ -55,15 +55,18 @@ api_state () {
}
wait_state () {
local path="${1}" want="${2}" i s
local path="${1}" want="${2}" i s code=""
for i in $(seq 1 180); do
s=$(api_state "${path}")
[ "${s}" = "${want}" ] && return 0
[ "${want}" = deleted ] && [ -z "${s}" ] && return 0
if [ "${want}" = deleted ] && [ -z "${s}" ]; then
code=$(api_code GET "${path}")
[ "${code}" = 404 ] && return 0
fi
[ "${s}" = error ] && { echo "${path}: error" >&2; return 1; }
sleep 2
done
echo "${path}: ${s:-absent}, ${want} attendu" >&2
echo "${path}: ${s:-absent}${code:+ (HTTP ${code})}, ${want} attendu" >&2
return 1
}

View file

@ -76,20 +76,24 @@ wait_watchdog () {
}
watchdog_alerts () {
journalctl -u agent --since "-${1:-300}s" --no-pager -o cat | grep -F 'watchdog: inconsistency detected'
local log
log=$(journalctl -u agent --since "-${1:-300}s" --no-pager -o cat) || { echo "journal de l'agent illisible (journalctl en échec)"; return 1; }
grep -F 'watchdog: inconsistency detected' <<<"${log}" || true
}
watchdog_quiet () {
local out
out=$(watchdog_alerts "${1:-300}" | { if [ -n "${2:-}" ]; then grep -vF -- "${2}"; else cat; fi; })
local alerts out
alerts=$(watchdog_alerts "${1:-300}") || { printf '%s\n' "${alerts}"; return 1; }
out=$(printf '%s\n' "${alerts}" | { if [ -n "${2:-}" ]; then grep -vF -- "${2}"; else cat; fi; })
[ -z "${out}" ] && return 0
printf '%s\n' "${out}"
return 1
}
watchdog_quiet_about () {
local out
out=$(watchdog_alerts "${1}" | grep -F -- "${2}") || return 0
local alerts out
alerts=$(watchdog_alerts "${1}") || { printf '%s\n' "${alerts}"; return 1; }
out=$(grep -F -- "${2}" <<<"${alerts}") || return 0
printf '%s\n' "${out}"
return 1
}
@ -129,8 +133,9 @@ wait_bgp_paths () {
}
watchdog_l3_quiet () {
local out
out=$(journalctl -u agent --since "-${1:-60}s" --no-pager -o cat | grep -F 'watchdog: inconsistency detected' | grep -E '"kind":"bgp"|l3vni [0-9]|interface (vrf|brl3|vxl3|l3)-') || return 0
local alerts out
alerts=$(watchdog_alerts "${1:-60}") || { printf '%s\n' "${alerts}"; return 1; }
out=$(grep -E '"kind":"bgp"|l3vni [0-9]|interface (vrf|brl3|vxl3|l3)-' <<<"${alerts}") || return 0
printf '%s\n' "${out}"
return 1
}

View file

@ -1,26 +1,52 @@
STATE_DIR=/var/tmp/e2e
SCRATCH_DIR=/tmp
owned () {
grep -E "^(vp-|sn-)?t${T}"
}
api_names () {
curl -fsS "${API}/${1}" | jq -r '.[] | select(.state != "deleted") | .name'
local out
out=$(curl -fsS "${API}/${1}") || { echo "API injoignable (${1})" >&2; return 1; }
jq -r '.[] | select(.state != "deleted") | .name' <<<"${out}"
}
delete_owned () {
local kind="${1}" name rc=0
for name in $(api_names "${kind}" | owned); do
local kind="${1}" names name rc=0
names=$(api_names "${kind}") || return 1
for name in $(owned <<<"${names}"); do
api_delete "${kind}/${name}" && wait_state "${kind}/${name}" deleted || { echo "${kind}/${name} : suppression en échec" >&2; rc=1; }
done
return "${rc}"
}
scratch_netns () {
ip netns list | awk '{print $1}' | grep -E "^t${T}-"
}
scratch_files () {
find "${SCRATCH_DIR}" "${STATE_DIR}" -maxdepth 1 -type f \( -name "t${T}-*" -o -name "t${T}.*" \) ! -name "t${T}.avant"
}
clean_scratch () {
local ns f
for ns in $(scratch_netns); do
ip netns del "${ns}" || return 1
done
for f in $(scratch_files); do
rm -f "${f}" || return 1
done
}
teardown_owned () {
delete_owned vms && delete_owned subnets && delete_owned vpcs || return 1
rm -f "${VOLUMES}/t${T}"-*
local left
left=$(for kind in vms subnets vpcs; do api_names "${kind}" | owned | sed "s|^|${kind}/|"; done | tr '\n' ' ')
clean_scratch || return 1
local left="" kind names
for kind in vms subnets vpcs; do
names=$(api_names "${kind}") || return 1
left="${left}$(owned <<<"${names}" | sed "s|^|${kind}/|" | tr '\n' ' ')"
done
[ -z "${left}" ] || { echo "encore présents : ${left}"; return 1; }
}
@ -40,8 +66,9 @@ host_state () {
prepare_test () {
mkdir -p "${STATE_DIR}"
if [ -n "$(for kind in vms subnets vpcs; do api_names "${kind}" | owned; done)" ]; then
info "${HOST} : ressources t${T} d'un passage précédent, suppression"
curl -fsS -o /dev/null "${API}/vpcs" || echo "ÉCHOUÉ: ${HOST} : API de l'agent injoignable avant le test"
if [ -n "$(for kind in vms subnets vpcs; do api_names "${kind}" | owned; done)$(scratch_netns)$(scratch_files)" ]; then
info "${HOST} : ressources, netns ou fichiers t${T} d'un passage précédent, suppression"
check "${HOST} : nettoyage des ressources t${T} restantes" teardown_owned
fi
host_state > "${STATE_DIR}/t${T}.avant"

View file

@ -19,12 +19,19 @@ two_image () {
'SUBSYSTEM=="block", ENV{DEVTYPE}=="disk", ENV{ID_SERIAL_SHORT}=="xvd[a-z]", SYMLINK+="$env{ID_SERIAL_SHORT}"' \
'SUBSYSTEM=="block", ENV{DEVTYPE}=="partition", ENV{ID_SERIAL_SHORT}=="xvd[a-z]", SYMLINK+="$env{ID_SERIAL_SHORT}%n"' \
> /mnt/two-image/etc/udev/rules.d/90-two-xvd.rules
printf '%s\n' 'updates:' ' network:' ' when: [boot-new-instance, boot, boot-legacy]' \
> /mnt/two-image/etc/cloud/cloud.cfg.d/98_network_updates.cfg
umount /mnt/two-image
qemu-nbd -d /dev/nbd0 >/dev/null
mv "${work}/${IMAGE_FILE}" "${TWO_IMAGE}"
rm -rf "${work}"
}
vm_volume () {
two_image || { echo "image ${TWO_IMAGE} indisponible" >&2; return 1; }
mkdir -p "${VOLUMES}" && cp "${TWO_IMAGE}" "${VOLUMES}/${1}.qcow2"
}
vm_key () {
[ -f "${VM_KEY}" ] || ssh-keygen -q -t ed25519 -N '' -C lab-vm -f "${VM_KEY}"
cat "${VM_KEY}.pub"
@ -40,8 +47,7 @@ vm_create () {
local name="${1}" subnet="${2}" ip="${3}" key="${4:-}" meta="{}"
api_state "vms/${name}" | grep -qx running && return 0
[ -n "${key}" ] && meta="{\"sshkey\":\"${key}\"}"
mkdir -p "${VOLUMES}"
cp "${TWO_IMAGE}" "${VOLUMES}/${name}.qcow2" || return 1
vm_volume "${name}" || return 1
api_post vms "{\"name\":\"${name}\",\"memory\":1024,\"cpus\":1,\"metadata\":${meta},\"interfaces\":[{\"subnet\":\"${subnet}\",\"ip\":\"${ip}\",\"mac\":\"$(mac_for_ip "${ip}")\",\"primary\":true}],\"storage\":[{\"path\":\"${VOLUMES}/${name}.qcow2\",\"dev\":\"vda\"}]}" \
&& wait_state "vms/${name}" running
}
@ -77,6 +83,14 @@ vm_fails () {
esac
}
vm_output_empty () {
local out
out=$(vm_ssh "${1}" "${2}" "${3}") || { echo "commande en échec dans ${2} (ou SSH en panne)"; return 1; }
[ -z "${out}" ] && return 0
echo "sortie non vide dans ${2} : $(printf '%s' "${out}" | head -n 1)"
return 1
}
vm_grep () {
vm_ssh "${1}" "${2}" "${3} 2>&1" | grep -q -- "${4}"
}
@ -125,8 +139,7 @@ vm_launch () {
shift
api_state "vms/${name}" | grep -qx running && return 0
body=$(vm_json "${name}" --disk "vda=${VOLUMES}/${name}.qcow2" "$@") || return 1
mkdir -p "${VOLUMES}"
cp "${TWO_IMAGE}" "${VOLUMES}/${name}.qcow2" || return 1
vm_volume "${name}" || return 1
api_post vms "${body}" && wait_state "vms/${name}" running
}

View file

@ -15,10 +15,12 @@ usage: ${0##*/} [--continue] [--connus] all | --from <NN> | <couche N0>... | <te
tests : $(cd "${SUITE_DIR}" && ls -- *.sh 2>/dev/null | sed 's/\.sh$//' | tr '\n' ' ')
Chaque test s'exécute depuis le Mac sur le lab en cours (labctl.sh up, push, ./labctl up).
Une couche se désigne par son numéro (00, 10, …, 70), un test par son numéro ou son nom.
Avant un test, ses ressources t<NN> restantes sont supprimées et l'état de chaque hôte de
l'en-tête « # hôtes: » est relevé ; après, ses ressources sont supprimées et l'hôte doit être
revenu à cet état. Avec all ou --from, une couche en échec arrête la suite (--continue : non).
Une couche se désigne par son numéro (00, 10, …, 70), un test par son numéro à deux chiffres
ou son nom exact, avec ou sans numéro (21, 21-dhcp-two ou dhcp-two).
Avant un test, ses ressources t<NN> restantes (API, netns t<NN>-*, fichiers t<NN>-* et t<NN>.*
de /tmp et /var/tmp/e2e) sont supprimées et l'état de chaque hôte de l'en-tête « # hôtes: »
est relevé ; après, ses ressources sont supprimées et l'hôte doit être revenu à cet état.
Un test réussit s'il n'a aucun échec et au moins une vérification propre, hors fixtures. Avec all ou --from, une couche en échec arrête la suite (--continue : non).
Un contrôle marqué known (échec connu, rattaché à un ticket) donne CONNU sans compter comme
un échec, ou INATTENDU (compté comme un échec) s'il passe : retirer alors le marqueur. --connus
compte les CONNU comme des échecs. known_flaky (échec intermittent) donne RÉUSSI, annoté, s'il passe.
@ -53,7 +55,7 @@ number () {
}
run_scenario () {
local file="${1}" name passed failed known host hosts num
local file="${1}" name passed failed known host hosts num start own
name="$(basename "${file}" .sh)"
num=$(number "${file}")
hosts=$(header "${file}" hôtes)
@ -62,7 +64,9 @@ run_scenario () {
for host in ${hosts}; do
on "${host}" "T=${num}" "HOST=${host}" <<< 'prepare_test'
done
start=$(wc -l < "${SCENARIO_LOG}")
( . "${file}" )
own=$(tail -n "+$(( start + 1 ))" "${SCENARIO_LOG}" | grep -cE '^(RÉUSSI|ÉCHOUÉ|CONNU|INATTENDU): ')
for host in ${hosts}; do
on "${host}" "T=${num}" "HOST=${host}" <<< 'finish_test'
done
@ -72,7 +76,8 @@ run_scenario () {
[[ "${KNOWN_FAIL}" -eq 1 ]] && failed=$(( failed + known ))
rm -f "${SCENARIO_LOG}"
echo "=== ${name} : ${passed} réussi(s), ${failed} échoué(s)$([[ "${known}" -gt 0 ]] && echo ", ${known} connu(s)")"
[[ "${failed}" -eq 0 && "${passed}" -gt 0 ]]
[[ "${own}" -gt 0 ]] || echo "=== ${name} : aucune vérification propre au scénario n'a tourné"
[[ "${failed}" -eq 0 && "${own}" -gt 0 ]]
}
matrix () {
@ -100,10 +105,16 @@ select_files () {
ls "${SUITE_DIR}"/*.sh
elif [[ "${arg}" =~ ^[0-9]0$ ]]; then
ls "${SUITE_DIR}/${arg:0:1}"[0-9]-*.sh 2>/dev/null || { echo "couche vide : ${arg}" >&2; return 1; }
else
file=$(ls "${SUITE_DIR}/${arg}"*.sh 2>/dev/null | head -n 1)
elif [[ "${arg}" =~ ^[0-9]{2}$ ]]; then
file=$(ls "${SUITE_DIR}/${arg}"-*.sh 2>/dev/null | head -n 1)
[[ -n "${file}" ]] || { echo "test inconnu : ${arg}" >&2; return 1; }
echo "${file}"
elif [[ -f "${SUITE_DIR}/${arg}.sh" ]]; then
echo "${SUITE_DIR}/${arg}.sh"
else
file=$(ls "${SUITE_DIR}"/[0-9][0-9]-"${arg}".sh 2>/dev/null | head -n 1)
[[ -n "${file}" ]] || { echo "test inconnu : ${arg} (numéro à deux chiffres ou nom exact)" >&2; return 1; }
echo "${file}"
fi
done
[[ -z "${from}" ]] || { echo "--from sans numéro" >&2; return 1; }

View file

@ -20,7 +20,11 @@ if ! bash -n "${FAKE_DIR}/payload.$(( N + 1 ))" 2>"${FAKE_DIR}/syntax.$(( N + 1
echo "ÉCHOUÉ: syntaxe du bloc $(( N + 1 ))"
exit 0
fi
[ -n "${FAKE_OUT:-}" ] && printf '%b\n' "${FAKE_OUT}"
case "$(tail -n 1 "${FAKE_DIR}/payload.$(( N + 1 ))")" in
prepare_test|finish_test) OUT="${FAKE_FIXTURE_OUT:-${FAKE_OUT:-}}" ;;
*) OUT="${FAKE_OUT:-}" ;;
esac
[ -n "${OUT}" ] && printf '%b\n' "${OUT}"
exit 0
FAKE
chmod +x "${WORK}/lab-host"
@ -29,7 +33,7 @@ FAKE
run () {
env LAB_HOST="${WORK}/lab-host" FAKE_DIR="${WORK}" SUITE_DIR="${SUITE_DIR:-${WORK}/scenarios}" \
FAKE_OUT="${FAKE_OUT:-}" bash "${DIR}/run.sh" "$@" > "${WORK}/out.log" 2>&1
FAKE_OUT="${FAKE_OUT:-}" FAKE_FIXTURE_OUT="${FAKE_FIXTURE_OUT:-}" bash "${DIR}/run.sh" "$@" > "${WORK}/out.log" 2>&1
}
teardown () {
@ -39,7 +43,7 @@ teardown () {
}
node () {
bash -c "$(printf ". '%s'; " "${DIR}"/lib/{core,vm,net,evpn,fixture}.sh)${1}" 2>&1
bash -c "$(printf ". '%s'; " "${DIR}"/lib/{core,vm,net,evpn,fixture}.sh)two_image () { echo 'two_image non simulée' >&2; return 1; }; ${1}" 2>&1
}
test_on_sends_assignments_library_and_block_to_the_node () {
@ -135,7 +139,84 @@ test_wait_state () {
local start=${SECONDS}
[[ $(node 'api_state () { echo error; }; wait_state vms/x running 2>&1 || echo NON') == *NON ]] || fail "error accepté"
(( SECONDS - start < 5 )) || fail "une ressource en error n'arrête pas l'attente immédiatement ($(( SECONDS - start )) s)"
[[ $(node 'api_state () { echo; }; wait_state vms/x deleted && echo OUI') == OUI ]] || fail "absence = supprimé"
[[ $(node 'api_state () { echo; }; api_code () { echo 404; }; wait_state vms/x deleted && echo OUI') == OUI ]] || fail "absence (404) = supprimé"
[[ $(node 'api_state () { echo; }; api_code () { echo 000; }; sleep () { :; }; wait_state vms/x deleted 2>&1 || echo NON') == *'(HTTP 000), deleted attendu'*NON ]] \
|| fail "API injoignable prise pour une suppression : $(node 'api_state () { echo; }; api_code () { echo 000; }; sleep () { :; }; wait_state vms/x deleted 2>&1 || echo NON')"
teardown
}
test_api_names_and_teardown_fail_when_the_api_is_unreachable () {
setup "api_names, delete_owned, teardown_owned : échec si l'API est injoignable"
local stub='curl () { return 7; }; scratch_netns () { :; }; scratch_files () { :; }; rm () { :; }; '
[[ $(node "${stub}api_names vms 2>&1 || echo NON") == *'API injoignable (vms)'*NON ]] || fail "api_names : $(node "${stub}api_names vms 2>&1 || echo NON")"
[[ $(node "T=41; ${stub}delete_owned vms 2>&1 || echo NON") == *NON ]] || fail "delete_owned réussit sans API"
[[ $(node "T=41; ${stub}teardown_owned 2>&1 || echo NON") == *NON ]] || fail "teardown_owned réussit sans API"
teardown
}
test_prepare_reports_an_unreachable_api () {
setup "prepare_test : API injoignable signalée en ÉCHOUÉ"
local dir
dir=$(mktemp -d)
[[ $(node "T=41; HOST=hv1; STATE_DIR='${dir}'; curl () { return 7; }; api_names () { return 1; }; scratch_netns () { :; }; scratch_files () { :; }; host_state () { :; }; prepare_test") == "ÉCHOUÉ: hv1 : API de l'agent injoignable avant le test" ]] \
|| fail "$(node "T=41; HOST=hv1; STATE_DIR='${dir}'; curl () { return 7; }; api_names () { return 1; }; scratch_netns () { :; }; scratch_files () { :; }; host_state () { :; }; prepare_test")"
rm -rf "${dir}"
teardown
}
test_clean_scratch_removes_only_the_test_netns_and_files () {
setup "clean_scratch : netns et fichiers t<NN> du test, rien d'autre, état d'avant gardé"
local dir out
dir=$(mktemp -d)
mkdir "${dir}/tmp" "${dir}/state"
touch "${dir}/tmp/t41-a2.log" "${dir}/tmp/t41.log" "${dir}/tmp/t41.10.255.255.1" "${dir}/tmp/t411.log" "${dir}/tmp/t42-a.log" \
"${dir}/state/t41.restart" "${dir}/state/t41.avant" "${dir}/state/t42.avant"
out=$(node "T=41; SCRATCH_DIR='${dir}/tmp'; STATE_DIR='${dir}/state'; ip () { if [ \"\$1 \$2\" = 'netns list' ]; then printf '%s\n' 't41-ebt (id: 3)' vp-t41a t42-ebt; else echo \"ip \$*\"; fi; }; clean_scratch && echo OUI")
[[ $(tr '\n' '|' <<< "${out}") == "ip netns del t41-ebt|OUI|" ]] || fail "netns : ${out}"
[[ $(cd "${dir}" && find . -type f | sort | tr '\n' ' ') == "./state/t41.avant ./state/t42.avant ./tmp/t411.log ./tmp/t42-a.log " ]] \
|| fail "fichiers restants : $(cd "${dir}" && find . -type f | sort | tr '\n' ' ')"
rm -rf "${dir}"
teardown
}
test_scenario_without_its_own_check_fails_despite_fixtures () {
setup "un scénario sans vérification propre échoue, même si les fixtures réussissent"
suite_file 41-x hv1
FAKE_FIXTURE_OUT='RÉUSSI: teardown\nRÉUSSI: assert_clean' FAKE_OUT='INFO: rien' run 41; [[ $? -eq 1 ]] || fail "scénario muet accepté"
grep -q "aucune vérification propre au scénario" "${WORK}/out.log" || fail "cause non annoncée"
FAKE_FIXTURE_OUT='RÉUSSI: teardown' FAKE_OUT='CONNU: x (#1)' run 41; [[ $? -eq 0 ]] || fail "un CONNU propre au scénario n'est pas compté comme une vérification"
FAKE_FIXTURE_OUT='INFO: rien' FAKE_OUT='RÉUSSI: x' run 41; [[ $? -eq 0 ]] || fail "vérification propre non comptée"
teardown
}
test_selection_requires_two_digits_or_an_exact_name () {
setup "sélection : numéro à deux chiffres ou nom exact, sans préfixe partiel"
suite_file 21-dhcp-two ""; suite_file 41-x ""; suite_file 42-y ""
run 4; [[ $? -eq 2 ]] || fail "« 4 » accepté"
run dhcp; [[ $? -eq 2 ]] || fail "« dhcp » accepté"
FAKE_OUT='RÉUSSI: x' run dhcp-two
[[ $(grep '^=== [0-9a-z-]*$' "${WORK}/out.log" | tr '\n' ' ') == "=== 21-dhcp-two " ]] || fail "par nom : $(grep '^=== ' "${WORK}/out.log" | tr '\n' ' ')"
FAKE_OUT='RÉUSSI: x' run 21-dhcp-two 42
[[ $(grep '^=== [0-9a-z-]*$' "${WORK}/out.log" | tr '\n' ' ') == "=== 21-dhcp-two === 42-y " ]] || fail "nom complet et numéro : $(grep '^=== ' "${WORK}/out.log" | tr '\n' ' ')"
teardown
}
test_vm_volume_builds_the_image_before_copying () {
setup "vm_volume : image construite si absente, échec sans image"
local dir
dir=$(mktemp -d)
[[ $(node "VOLUMES='${dir}/v'; TWO_IMAGE='${dir}/img'; two_image () { echo base > \"\${TWO_IMAGE}\"; }; vm_volume t41-a && cat '${dir}/v/t41-a.qcow2'") == base ]] || fail "image non construite ou non copiée"
[[ $(node "VOLUMES='${dir}/w'; TWO_IMAGE='${dir}/absente'; two_image () { return 1; }; vm_volume t41-a 2>&1 || echo NON") == *NON ]] || fail "volume sans image accepté"
[[ ! -e "${dir}/w/t41-a.qcow2" ]] || fail "volume créé sans image"
rm -rf "${dir}"
teardown
}
test_vm_output_empty_needs_a_working_command () {
setup "vm_output_empty : sortie vide d'une commande réussie, SSH ou commande en échec refusés"
[[ $(node 'vm_ssh () { :; }; vm_output_empty v 1.2.3.4 x && echo OUI') == OUI ]] || fail "sortie vide refusée"
[[ $(node 'vm_ssh () { echo "10.33.0.0/16 via 10.33.0.1"; }; vm_output_empty v 1.2.3.4 x || echo NON') == *NON ]] || fail "sortie non vide acceptée"
[[ $(node 'vm_ssh () { return 255; }; vm_output_empty v 1.2.3.4 x || echo NON') == *NON ]] || fail "SSH en panne pris pour une sortie vide"
teardown
}
@ -240,6 +321,13 @@ test_watchdog_quiet_passes_without_alert_and_fails_on_one () {
[[ $(node "journalctl () { echo '${alert}'; }; watchdog_quiet 300 >/dev/null || echo NON") == NON ]] || fail "alerte acceptée sans exclusion"
[[ $(node "journalctl () { echo '${alert}'; }; watchdog_quiet 300 'stale dhcp' && echo OUI") == OUI ]] || fail "alerte exclue refusée"
teardown
setup "watchdog_quiet, watchdog_quiet_about, watchdog_l3_quiet : échec si le journal est illisible"
local f
for f in 'watchdog_quiet 300' "watchdog_quiet 300 'stale dhcp'" "watchdog_quiet_about 300 'stale dhcp'" 'watchdog_l3_quiet 60'; do
[[ $(node "journalctl () { return 1; }; ${f} || echo NON") == *'journalctl en échec'*NON ]] || fail "${f} : $(node "journalctl () { return 1; }; ${f} || echo NON")"
done
[[ $(node "journalctl () { :; }; watchdog_quiet_about 300 'stale dhcp' && echo OUI") == OUI ]] || fail "watchdog_quiet_about : journal vide refusé"
teardown
}
test_watchdog_reported_matches_only_watchdog_alerts () {
@ -319,7 +407,7 @@ test_owned_keeps_only_the_resources_of_the_test () {
test_teardown_deletes_vms_then_subnets_then_vpcs () {
setup "teardown_owned : VM, puis subnets, puis VPC, et rien d'autre"
local stub='api_names () { case $1 in vms) [ -f /tmp/.t70.$$ ] || echo t41-a; echo t42-z ;; subnets) echo sn-t41a ;; vpcs) echo vp-t41a ;; esac; }; api_delete () { echo "DEL $1"; [ "$1" = vms/t41-a ] && touch /tmp/.t70.$$; :; }; wait_state () { :; }; rm () { :; }; '
local stub='api_names () { case $1 in vms) [ -f /tmp/.t70.$$ ] || echo t41-a; echo t42-z ;; subnets) echo sn-t41a ;; vpcs) echo vp-t41a ;; esac; }; api_delete () { echo "DEL $1"; [ "$1" = vms/t41-a ] && touch /tmp/.t70.$$; :; }; wait_state () { :; }; rm () { :; }; scratch_netns () { :; }; scratch_files () { :; }; '
local out
out=$(node "T=41; ${stub}teardown_owned; command rm -f /tmp/.t70.\$\$")
[[ $(grep '^DEL' <<< "${out}" | tr '\n' ' ') == "DEL vms/t41-a DEL subnets/sn-t41a DEL vpcs/vp-t41a " ]] || fail "ordre : ${out}"
@ -384,7 +472,7 @@ test_vm_json_builds_nics_disks_metadata_and_uefi () {
test_vm_launch_copies_the_system_disk_first_and_waits () {
setup "vm_launch : disque système vda copié en premier, POST, attente de running"
local out
out=$(node 'VOLUMES=/v; TWO_IMAGE=/img; api_state () { echo; }; mkdir () { :; }; cp () { echo "CP $*"; }; api_post () { echo "POST $1 $(jq -c "[.storage[].dev, .interfaces[0].ip]" <<<"$2")"; }; wait_state () { echo "WAIT $*"; }; vm_launch t26-d --nic sn=10.0.0.10 --disk xvda=/v/s.qcow2')
out=$(node 'VOLUMES=/v; TWO_IMAGE=/img; two_image () { :; }; api_state () { echo; }; mkdir () { :; }; cp () { echo "CP $*"; }; api_post () { echo "POST $1 $(jq -c "[.storage[].dev, .interfaces[0].ip]" <<<"$2")"; }; wait_state () { echo "WAIT $*"; }; vm_launch t26-d --nic sn=10.0.0.10 --disk xvda=/v/s.qcow2')
[[ "${out}" == $'CP /img /v/t26-d.qcow2\nPOST vms ["vda","xvda","10.0.0.10"]\nWAIT vms/t26-d running' ]] || fail "${out}"
[[ $(node 'api_state () { echo running; }; cp () { echo CP; }; api_post () { echo POST; }; vm_launch t --nic s=1.2.3.4 && echo OK') == OK ]] || fail "VM en running relancée"
[[ $(node 'api_state () { echo; }; cp () { echo CP; }; vm_launch t --bad x || echo NON') == *NON ]] || fail "option invalide : disque copié ou POST envoyé"

View file

@ -20,7 +20,7 @@ esac
on "${host}" "HOST=${host}" "ADDR=${addr}" "BACKEND=${backend}" "SW1=${SW1}" "SW2=${SW2}" <<'NODE'
check "${HOST} : agent actif" systemctl is-active --quiet agent
check "${HOST} : API de l'agent joignable" curl -fsS -o /dev/null "${API}/vpcs"
check "${HOST} : backend DHCP ${BACKEND} configuré" grep -A1 -x 'dhcp:' /etc/two/agent.yml | grep -qx " backend: ${BACKEND}"
check "${HOST} : backend DHCP ${BACKEND} configuré" sh -c "grep -A1 -x 'dhcp:' /etc/two/agent.yml | grep -qx ' backend: ${BACKEND}'"
check "${HOST} : VTEP = adresse underlay ${ADDR}" test "$(vtep_host)" = "${ADDR}"
for peer in 192.168.14.11 192.168.14.12 192.168.14.13; do
[ "${peer}" = "${ADDR}" ] && continue

View file

@ -45,7 +45,7 @@ for dev in sdb vdb xvdaa; do
done
check "VM : user_data en base64 invalide, 400" expect_code 400 api_post_code vms "$(vm_body t11-x sn-t11a 10.11.1.12 "${NONE}" '{"user_data":"pas du base64 !"}')"
check "VMs refusées : aucune trace de t11-x" expect_code 404 api_code GET vms/t11-x
cp "${TWO_IMAGE}" "${VOLUMES}/t11-ud.qcow2"
check "volume de t11-ud" vm_volume t11-ud
check "VM t11-ud avec user_data en base64 valide, 202 (témoin)" expect_code 202 api_post_code vms "$(vm_body t11-ud sn-t11a 10.11.1.12 "" "{\"user_data\":\"$(printf '#cloud-config\n' | base64 | tr -d '\n')\"}")"
check "t11-ud running" wait_state vms/t11-ud running
NODE

View file

@ -4,8 +4,7 @@
on hv1 <<'NODE'
check "VPC vp-t12a" vpc_create vp-t12a 10.12.0.0/16
mkdir -p "${VOLUMES}"
cp "${TWO_IMAGE}" "${VOLUMES}/t12-a.qcow2"
check "volume de t12-a" vm_volume t12-a
post_both () { api_post subnets "${1}" && api_post vms "${2}"; }
check "subnet sn-t12a et VM t12-a envoyés sans attendre" post_both \
'{"name":"sn-t12a","vpc":"vp-t12a","mode":"vxlan","vxlan_id":1201,"iface_type":"vms","cidr":"10.12.1.0/24"}' \
@ -37,6 +36,6 @@ check "sn-t12a recréé sous le même nom" subnet_create sn-t12a vp-t12a 1201 10
check "suppression de sn-t12a recréé" expect_code 202 api_code DELETE subnets/sn-t12a
check "sn-t12a recréé puis supprimé" wait_state subnets/sn-t12a deleted
check "suppression de vp-t12a, sans subnet, 202 (témoin)" expect_code 202 api_code DELETE vpcs/vp-t12a
check "vp-t12a supprimée" wait_state vpcs/vp-t12a deleted
check "vp-t12a recréée sous le même nom" vpc_create vp-t12a 10.12.0.0/16
check "vp-t12a supprimé" wait_state vpcs/vp-t12a deleted
check "vp-t12a recréé sous le même nom" vpc_create vp-t12a 10.12.0.0/16
NODE

View file

@ -8,6 +8,12 @@ HASH=$(openssl passwd -6 -salt t23lab two-lab)
UD=$(printf '%s\n' '#cloud-config' 'runcmd:' " - [sh, -c, 'echo t23 > /var/tmp/t23-runcmd']")
UD64=$(printf '%s\n' "${UD}" | base64 -w0)
served () { cat "/run/two/metadata/${1}/${2}"; }
served_empty () {
local f="/run/two/metadata/${1}/${2}"
[ -f "${f}" ] || { echo "${f} absent"; return 1; }
[ -s "${f}" ] && { echo "${f} non vide"; return 1; }
return 0
}
check "VPC vp-t23" vpc_create vp-t23 10.23.0.0/16
check "subnet sn-t23" subnet_create sn-t23 vp-t23 2301 10.23.1.0/24
check "VM t23-k : sshkey, password et user_data" vm_launch t23-k --nic sn-t23=10.23.1.10 --sshkey "${KEY}" --password "${HASH}" --user-data "${UD64}"
@ -24,15 +30,16 @@ check "t23-k : hash du password posé sur le compte syonad" vm_ssh vp-t23 10.23.
check "t23-s joignable en SSH" vm_wait vp-t23 10.23.1.11
check "t23-s : cloud-init terminé" vm_cloud_init_done vp-t23 10.23.1.11
check "t23-s : user_data absent, user-data servi vide (template)" test -z "$(vm_meta vp-t23 10.23.1.11 user-data)"
check "t23-s : user_data absent, user-data servi vide (template)" vm_output_empty vp-t23 10.23.1.11 'curl -fsS http://169.254.169.254/user-data'
check "t23-s : aucun runcmd exécuté" vm_fails vp-t23 10.23.1.11 'test -e /var/tmp/t23-runcmd'
check "t23-s : password absent, compte syonad verrouillé" vm_ssh vp-t23 10.23.1.11 "sudo grep -q '^syonad:!' /etc/shadow"
check "t23-s : vendor-data sans passwd" vm_fails vp-t23 10.23.1.11 'curl -fsS http://169.254.169.254/vendor-data | grep -qE "^ *passwd:"'
check "t23-s : vendor-data servi, avec la clé SSH (témoin)" vm_grep vp-t23 10.23.1.11 'curl -fsS http://169.254.169.254/vendor-data' "$(cut -d" " -f2 <<< "${KEY}")"
check "t23-s : vendor-data sans passwd" vm_output_empty vp-t23 10.23.1.11 'v=$(curl -fsS http://169.254.169.254/vendor-data) || exit 1; printf "%s\n" "${v}" | grep -E "^ *passwd:" || true'
served_line () { served "${1}" "${2}" | grep -qx -- "${3}"; }
check "t23-n : serveur de métadonnées actif (metadata@t23-n)" systemctl is-active --quiet metadata@t23-n.service
check "t23-n : meta-data préparé (témoin)" served_line t23-n meta-data 'instance-id: t23-n'
check "t23-n : vendor-data vide, aucun compte à créer" test -z "$(served t23-n vendor-data)"
check "t23-n : user-data vide" test -z "$(served t23-n user-data)"
check "t23-n : vendor-data vide, aucun compte à créer" served_empty t23-n vendor-data
check "t23-n : user-data vide" served_empty t23-n user-data
check "t23-n : démarrée, SSH refusé faute de compte (Permission denied)" ssh_denied vp-t23 10.23.1.12
NODE

View file

@ -21,7 +21,7 @@ for ip in 10.33.0.21 10.33.0.22; do
check "${ip} : bail servi par interface_ip 10.33.0.1 (server-id)" test "$(vm_lease vp-t33 "${ip}" SERVER_ADDRESS)" = 10.33.0.1
check "${ip} : route par défaut via 10.33.0.1" route_via vp-t33 "${ip}" default 10.33.0.1
check "${ip} : route /32 vers les métadonnées via 10.33.0.1" route_via vp-t33 "${ip}" 169.254.169.254 10.33.0.1
check "${ip} : pas de route vers le VPC 10.33.0.0/16 (option 121 sans route du VPC en bridge)" sh -c "[ -z \"\$1\" ]" _ "$(vm_ssh vp-t33 "${ip}" 'ip -4 route show 10.33.0.0/16')"
check "${ip} : pas de route vers le VPC 10.33.0.0/16 (option 121 sans route du VPC en bridge)" vm_output_empty vp-t33 "${ip}" 'ip -4 route show 10.33.0.0/16'
done
check "t33-a1 : métadonnées de t33-a1 (instance-id)" vm_grep vp-t33 10.33.0.21 'curl -fsS http://169.254.169.254/meta-data' '^instance-id: t33-a1$'
check "t33-a1 joint t33-a2, même hôte" vm_ssh vp-t33 10.33.0.21 'ping -n -c 3 -W 2 10.33.0.22'

View file

@ -58,9 +58,10 @@ done
on hv1 <<'NODE'
vm_ssh vp-t71 10.71.1.10 'pkill -x ping' || true
sleep 1
stats=$(vm_ssh vp-t71 10.71.1.10 "awk -F'icmp_seq=' '/bytes from/ {split(\$2, a, \" \"); n++; if (a[1] > max) max = a[1]} END {print n, max}' /tmp/t71.log")
stats=$(vm_ssh vp-t71 10.71.1.10 "awk -F'icmp_seq=' '/bytes from/ {split(\$2, a, \" \"); n++; if (a[1] > max) max = a[1]} END {print n+0, max+0}' /tmp/t71.log")
received=${stats% *}
sent=${stats#* }
info "pendant tout le scénario : ${received} réponses pour ${sent} requêtes, $(( sent - received )) perdues"
check "aucune perte mesurable sur l'ensemble du scénario (au plus 1 %)" test $(( (sent - received) * 100 )) -le "${sent}"
info "pendant tout le scénario : ${received:-0} réponses pour ${sent:-0} requêtes, $(( ${sent:-0} - ${received:-0} )) perdues"
check "trafic pendant tout le scénario : au moins 300 requêtes émises (témoin)" test "${sent:-0}" -ge 300
check "aucune perte mesurable sur l'ensemble du scénario (au plus 1 %)" test $(( (${sent:-0} - ${received:-0}) * 100 )) -le "${sent:-0}"
NODE

View file

@ -1,6 +1,6 @@
# fonctionnalité: perte d'un switch de la passerelle VRRP — bascule vers l'autre en moins de 5 s, sessions EVPN jamais coupées ; au retour, le plus prioritaire redevient maître, seconde bascule mesurée
# fonctionnalité: perte d'un switch de la passerelle VRRP — bascule vers l'autre en moins de 5 s, sessions EVPN jamais coupées ; au retour, un seul maître (préemption désactivée : celui qui l'est est relevé), plus long silence mesuré
# hôtes:
# tickets: #54, #69
# tickets: #54, #69, #80
. "${LAB_DIR}/lib/net.sh"
@ -38,9 +38,10 @@ SW1=$(vrrp_state sw1)
SW2=$(vrrp_state sw2)
P1=$(vrrp_priority sw1)
P2=$(vrrp_priority sw2)
if [[ "${SW1}" == Master ]]; then
MASTER="" BACKUP=""
if [[ "${SW1} ${SW2}" == "Master Backup" ]]; then
MASTER=sw1 BACKUP=sw2
else
elif [[ "${SW1} ${SW2}" == "Backup Master" ]]; then
MASTER=sw2 BACKUP=sw1
fi
@ -48,6 +49,17 @@ on hv1 "SW1=${SW1}" "SW2=${SW2}" "P1=${P1}" "P2=${P2}" "MASTER=${MASTER}" <<'NOD
info "état VRRP : sw1 ${SW1} (priorité ${P1}), sw2 ${SW2} (priorité ${P2})"
check "priorités VRRP lues sur sw1 et sw2" sh -c "[ -n \"\$1\" ] && [ -n \"\$2\" ]" _ "${P1}" "${P2}"
check "un seul maître VRRP pour la passerelle, l'autre en attente" sh -c "[ \"\$1 \$2\" = 'Master Backup' ] || [ \"\$1 \$2\" = 'Backup Master' ]" _ "${SW1}" "${SW2}"
NODE
if [[ -z "${MASTER}" ]]; then
on hv1 <<'NODE'
pkill -f 'ping -D -i 0.2 10.255.255.1'
rm -f /tmp/t72.log /tmp/t72.10.255.255.1 /tmp/t72.10.255.255.2
check "état VRRP lisible avec un seul maître : aucune panne simulée" false
NODE
return 1
fi
on hv1 "MASTER=${MASTER}" <<'NODE'
info "panne simulée sur ${MASTER} : interface underlay coupée"
NODE
@ -80,14 +92,15 @@ NODE
sleep 10
if [[ "${MASTER}" == sw1 ]]; then CUT_PRIO=${P1}; else CUT_PRIO=${P2}; fi
EXPECTED=$(vrrp_expected_master "sw1:${P1}:192.168.14.2" "sw2:${P2}:192.168.14.3")
if [[ "${EXPECTED}" == sw1 ]]; then OTHER=sw2; else OTHER=sw1; fi
HIGHEST=$(vrrp_expected_master "sw1:${P1}:192.168.14.2" "sw2:${P2}:192.168.14.3")
on hv1 "MASTER=${MASTER}" "CUT_PRIO=${CUT_PRIO}" "EXPECTED=${EXPECTED}" "OTHER=${OTHER}" "T_UP=${T_UP}" \
"EXPECTED_STATE=$(vrrp_state "${EXPECTED}")" "OTHER_STATE=$(vrrp_state "${OTHER}")" <<'NODE'
info "${MASTER} rétabli (priorité ${CUT_PRIO}) : maître attendu ${EXPECTED}, le plus prioritaire"
check "${MASTER} rétabli : ${EXPECTED}, le plus prioritaire, est maître" test "${EXPECTED_STATE}" = Master
check "${MASTER} rétabli : ${OTHER} en attente" test "${OTHER_STATE}" = Backup
on hv1 "MASTER=${MASTER}" "CUT_PRIO=${CUT_PRIO}" "HIGHEST=${HIGHEST}" "T_UP=${T_UP}" \
"SW1=$(vrrp_state sw1)" "SW2=$(vrrp_state sw2)" <<'NODE'
NOW_MASTER=""
[ "${SW1}" = Master ] && NOW_MASTER=sw1
[ "${SW2}" = Master ] && NOW_MASTER=sw2
info "${MASTER} rétabli (priorité ${CUT_PRIO}) : sw1 ${SW1}, sw2 ${SW2} ; maître ${NOW_MASTER:-aucun}, le plus prioritaire est ${HIGHEST} (préemption désactivée)"
check "${MASTER} rétabli : un seul maître VRRP, l'autre en attente" sh -c "[ \"\$1 \$2\" = 'Master Backup' ] || [ \"\$1 \$2\" = 'Backup Master' ]" _ "${SW1}" "${SW2}"
pkill -f 'ping -D -i 0.2 10.255.255.1' || true
sleep 1
for rr in 10.255.255.1 10.255.255.2; do
@ -101,9 +114,6 @@ sent=${stats#* }
after=$(LC_ALL=C awk -F'[][]' -v from="${T_UP}" '/bytes from/ && $2 >= from' /tmp/t72.log | wc -l)
info "pendant tout le scénario : ${received} réponses pour ${sent} requêtes, $(( sent - received )) perdues ; première bascule : silence de $(( first / 10 )),$(( first % 10 )) s ; après le retour de ${MASTER} : ${after} réponses, silence de $(( second / 10 )),$(( second % 10 )) s"
check "première bascule de la passerelle en moins de 5 s" test "${first}" -lt 50
if [ "${EXPECTED}" = "${MASTER}" ]; then
check "seconde bascule (retour de ${MASTER}, le plus prioritaire) en moins de 5 s" test "${second}" -lt 50
else
check "retour de ${MASTER} sans seconde bascule (plus long silence < 5 s)" test "${second}" -lt 50
fi
check "retour de ${MASTER} : plus long silence de moins de 5 s, qu'il redevienne maître ou non" test "${second}" -lt 50
rm -f /tmp/t72.log /tmp/t72.10.255.255.1 /tmp/t72.10.255.255.2
NODE