Lab : extraire labctl dans son propre dépôt, garder test/e2e dans two #55

Closed
opened 2026-10-05 19:05:48 +00:00 by nicolas.boufideline · 4 comments

Suite de #50 : sortir de two l'outil qui monte un lab, pour n'y garder que ce qui teste two.

Pourquoi

Le lab de #50 mélange deux choses :

  • un constructeur de lab générique — topologie YAML → VM QEMU, segments, switchs, FRR, sur un
    serveur Scaleway loué à l'heure. Rien de propre à two dans le principe ;
  • le banc de test de two — topologies, configurations FRR et agent, scénarios s1 à s6, qui
    parlent l'API de l'agent.

Le premier n'est pas l'orchestrateur et n'a pas à suivre son cycle de vie : il déploie déjà une
release publiée (release: dans la topologie), pas le code du dépôt. Le second, au contraire,
doit vivre avec two pour qu'une feature et son scénario arrivent dans le même commit.

Première étape faite sur feature-50 (ab12484) : scénarios, node.sh et topologies déplacés
sous test/e2e/ (run.sh, lib/, scenarios/, topologies/).

Découpage

Reste dans two Part dans labctl
test/e2e/ : run.sh, lib/node.sh, scenarios/, topologies/ cmd/lab, internal/lab/* (topology, render, provision, machine)
scripts/deploy.sh, scripts/bootstrap_kvm.sh (installation de two) scripts/lab-host.sh et ses tests (serveur Scaleway)
partie « scénarios » de docs/developpement/lab.rst clé du dépôt FRR (internal/lab/render/frrouting.gpg) ; usage de l'outil, topologie, rôles

Pas d'allègement de go.mod à attendre : toutes les dépendances de cmd/lab sont déjà utilisées
par les binaires de two.

Ce que l'outil sait de two aujourd'hui

À lever avant l'extraction, tant que tout est dans le même dépôt :

  • rôle hypervisor — release obligatoire et agent (topology/validate.go,
    topology.go) ; deploy.sh et bootstrap_kvm.sh embarqués par go:embed
    (scripts/embed.go, seul utilisateur : render/seed.go) et lancés par
    deploy.sh --noup_script -i -u <uplink> -t <release> ; agent.yml déposé dans
    /etc/two/agent.yml ;
  • vérification des services — agent.service attendu sur un hyperviseur
    (machine/machine.go, services) ;
  • noms — two-lab dans lab-host.sh (LAB_NAME, LAB_TAG, ~/.config/two-lab/,
    ~/.cache/two-lab/, description du serveur) et dans provision.KeyLabel ;
  • lab-host.sh push compile ./cmd/lab depuis le dépôt ;
  • test/e2e/run.sh trouve lab-host.sh par ../../scripts/lab-host.sh.

Proposition

  1. Provision générique (dans two, refactoring testé sur place) : un nœud déclare des
    fichiers à déposer et des commandes à lancer, dans l'ordre, plus les services à vérifier.
    L'installation de two devient une provision écrite dans test/e2e/topologies/ ; release,
    agent et le go:embed disparaissent de l'outil. Ordre actuel à préserver sur un
    hyperviseur : deploy.sh, puis FRR.
  2. Noms neutres : labctl au lieu de two-lab, chemins locaux surchargeables comme
    aujourd'hui.
  3. Extraction dans syonad/labctl, avec l'historique (git filter-repo --path …), releases
    versionnées.
  4. Côté two : version de labctl épinglée dans test/e2e/ ; push envoie ce binaire
    au lieu de compiler ; run.sh trouve lab-host.sh par LAB_HOST ou le PATH. Suppression
    de cmd/lab, internal/lab, scripts/lab-host*.sh, scripts/embed.go ; mise à jour de
    lab.rst et du CLAUDE.md.

À trancher

  • nom et emplacement du dépôt (syonad/labctl proposé), et sa visibilité ;
  • forme exacte de la provision dans la topologie ;
  • comment two récupère labctl : binaire de release téléchargé et vérifié (SHA256SUMS),
    ou go run …@<version> ;
  • ordre avec #54 : le second switch fait évoluer topology et render — avant l'extraction ici,
    ou après dans labctl. Les chemins conf/lab/ cités dans #54 sont désormais
    test/e2e/topologies/.

Hors périmètre

  • tester le commit courant plutôt qu'une release (binaires compilés depuis l'arbre et poussés
    sur les hyperviseurs) — ticket à part ;
  • EVPN sur le routeur, VNI, règles de pare-feu : capacités futures de labctl, nécessaires à une
    prochaine utilisation du lab.

Critère

labctl construit et teste seul, sans référence à two ; dans two, test/e2e/run.sh all
rejoué sur un lab monté avec une release de labctl donne le même résultat que sur feature-50
(106/106) ; go test ./... et sphinx-build -W verts dans les deux dépôts.

Analyse de risque

  • Historique republié : l'extraction conserve tous les anciens commits des fichiers gardés.
    Avant le premier push, vérifier qu'aucun n'a contenu scaleway.env, une clé SSH ou un jeton
    (aujourd'hui sous ~/.config/two-lab/, hors du dépôt).
  • Exposition : lab-host.sh décrit la façon de louer et préparer l'infrastructure Scaleway ;
    la visibilité du nouveau dépôt se choisit en connaissance de cause.
  • Chaîne d'approvisionnement : two dépendra d'un binaire labctl externe pour ses tests
    e2e — version épinglée et somme vérifiée, comme deploy.sh le fait pour les releases de two.
  • Exploitation : deux cycles de release à suivre, une CI de plus.
Suite de #50 : sortir de `two` l'outil qui monte un lab, pour n'y garder que ce qui teste `two`. ## Pourquoi Le lab de #50 mélange deux choses : - **un constructeur de lab générique** — topologie YAML → VM QEMU, segments, switchs, FRR, sur un serveur Scaleway loué à l'heure. Rien de propre à `two` dans le principe ; - **le banc de test de `two`** — topologies, configurations FRR et agent, scénarios s1 à s6, qui parlent l'API de l'agent. Le premier n'est pas l'orchestrateur et n'a pas à suivre son cycle de vie : il déploie déjà une release publiée (`release:` dans la topologie), pas le code du dépôt. Le second, au contraire, doit vivre avec `two` pour qu'une feature et son scénario arrivent dans le même commit. Première étape faite sur `feature-50` (`ab12484`) : scénarios, `node.sh` et topologies déplacés sous `test/e2e/` (`run.sh`, `lib/`, `scenarios/`, `topologies/`). ## Découpage | Reste dans `two` | Part dans `labctl` | |---|---| | `test/e2e/` : `run.sh`, `lib/node.sh`, `scenarios/`, `topologies/` | `cmd/lab`, `internal/lab/*` (topology, render, provision, machine) | | `scripts/deploy.sh`, `scripts/bootstrap_kvm.sh` (installation de `two`) | `scripts/lab-host.sh` et ses tests (serveur Scaleway) | | partie « scénarios » de `docs/developpement/lab.rst` | clé du dépôt FRR (`internal/lab/render/frrouting.gpg`) ; usage de l'outil, topologie, rôles | Pas d'allègement de `go.mod` à attendre : toutes les dépendances de `cmd/lab` sont déjà utilisées par les binaires de `two`. ## Ce que l'outil sait de `two` aujourd'hui À lever avant l'extraction, tant que tout est dans le même dépôt : - **rôle `hypervisor`** — `release` obligatoire et `agent` (`topology/validate.go`, `topology.go`) ; `deploy.sh` et `bootstrap_kvm.sh` **embarqués** par `go:embed` (`scripts/embed.go`, seul utilisateur : `render/seed.go`) et lancés par `deploy.sh --noup_script -i -u <uplink> -t <release>` ; `agent.yml` déposé dans `/etc/two/agent.yml` ; - **vérification des services** — `agent.service` attendu sur un hyperviseur (`machine/machine.go`, `services`) ; - **noms** — `two-lab` dans `lab-host.sh` (`LAB_NAME`, `LAB_TAG`, `~/.config/two-lab/`, `~/.cache/two-lab/`, description du serveur) et dans `provision.KeyLabel` ; - **`lab-host.sh push`** compile `./cmd/lab` depuis le dépôt ; - **`test/e2e/run.sh`** trouve `lab-host.sh` par `../../scripts/lab-host.sh`. ## Proposition 1. **Provision générique** (dans `two`, refactoring testé sur place) : un nœud déclare des fichiers à déposer et des commandes à lancer, **dans l'ordre**, plus les services à vérifier. L'installation de `two` devient une provision écrite dans `test/e2e/topologies/` ; `release`, `agent` et le `go:embed` disparaissent de l'outil. Ordre actuel à préserver sur un hyperviseur : `deploy.sh`, puis FRR. 2. **Noms neutres** : `labctl` au lieu de `two-lab`, chemins locaux surchargeables comme aujourd'hui. 3. **Extraction** dans `syonad/labctl`, avec l'historique (`git filter-repo --path …`), releases versionnées. 4. **Côté `two`** : version de `labctl` épinglée dans `test/e2e/` ; `push` envoie ce binaire au lieu de compiler ; `run.sh` trouve `lab-host.sh` par `LAB_HOST` ou le `PATH`. Suppression de `cmd/lab`, `internal/lab`, `scripts/lab-host*.sh`, `scripts/embed.go` ; mise à jour de `lab.rst` et du `CLAUDE.md`. ## À trancher - nom et emplacement du dépôt (`syonad/labctl` proposé), et sa visibilité ; - forme exacte de la provision dans la topologie ; - comment `two` récupère `labctl` : binaire de release téléchargé et vérifié (`SHA256SUMS`), ou `go run …@<version>` ; - ordre avec #54 : le second switch fait évoluer `topology` et `render` — avant l'extraction ici, ou après dans `labctl`. Les chemins `conf/lab/` cités dans #54 sont désormais `test/e2e/topologies/`. ## Hors périmètre - tester le commit courant plutôt qu'une release (binaires compilés depuis l'arbre et poussés sur les hyperviseurs) — ticket à part ; - EVPN sur le routeur, VNI, règles de pare-feu : capacités futures de `labctl`, nécessaires à une prochaine utilisation du lab. ## Critère `labctl` construit et teste seul, sans référence à `two` ; dans `two`, `test/e2e/run.sh all` rejoué sur un lab monté avec une release de `labctl` donne le même résultat que sur `feature-50` (106/106) ; `go test ./...` et `sphinx-build -W` verts dans les deux dépôts. ## Analyse de risque - **Historique republié** : l'extraction conserve tous les anciens commits des fichiers gardés. Avant le premier push, vérifier qu'aucun n'a contenu `scaleway.env`, une clé SSH ou un jeton (aujourd'hui sous `~/.config/two-lab/`, hors du dépôt). - **Exposition** : `lab-host.sh` décrit la façon de louer et préparer l'infrastructure Scaleway ; la visibilité du nouveau dépôt se choisit en connaissance de cause. - **Chaîne d'approvisionnement** : `two` dépendra d'un binaire `labctl` externe pour ses tests e2e — version épinglée et somme vérifiée, comme `deploy.sh` le fait pour les releases de `two`. - **Exploitation** : deux cycles de release à suivre, une CI de plus.
Author
Owner

Décisions du 2026-10-05

  • Nom : labctl.
  • Dépôt public. L'outil est pensé pour être utilisé par d'autres, sur leur propre lab — pas
    seulement comme banc de test de two.

Conséquences

  • Généricité exigée, pas seulement souhaitable : rien de two dans l'outil (rôle
    hypervisor, release, agent, go:embed, agent.service), ni de défaut personnel
    (two-lab, ~/.config/two-lab/, projet Scaleway). La provision générique (étape 1) est le
    préalable à l'extraction.
  • Audit de l'historique obligatoire avant le premier push : l'extraction republie tous les
    commits des fichiers gardés ; aucun ne doit avoir contenu scaleway.env, une clé SSH ou un
    jeton.
  • Documentation autonome : l'usage, la topologie et les rôles doivent se lire sans connaître
    two ; two n'en garde que la partie test/e2e/.

Ajouté à « À trancher »

  • Licence : un dépôt public destiné à être réutilisé en a besoin d'une.
  • Hébergeur : Scaleway Elastic Metal est le seul fournisseur de lab-host.sh ; lab tourne
    sur tout hôte Linux avec KVM. Rester ainsi (Scaleway en exemple, hôte quelconque documenté) ou
    prévoir d'autres fournisseurs — à décider, sans l'ajouter au périmètre de ce ticket.
## Décisions du 2026-10-05 - **Nom : `labctl`.** - **Dépôt public.** L'outil est pensé pour être utilisé par d'autres, sur leur propre lab — pas seulement comme banc de test de `two`. ### Conséquences - **Généricité exigée, pas seulement souhaitable** : rien de `two` dans l'outil (rôle `hypervisor`, `release`, `agent`, `go:embed`, `agent.service`), ni de défaut personnel (`two-lab`, `~/.config/two-lab/`, projet Scaleway). La provision générique (étape 1) est le préalable à l'extraction. - **Audit de l'historique obligatoire** avant le premier push : l'extraction republie tous les commits des fichiers gardés ; aucun ne doit avoir contenu `scaleway.env`, une clé SSH ou un jeton. - **Documentation autonome** : l'usage, la topologie et les rôles doivent se lire sans connaître `two` ; `two` n'en garde que la partie `test/e2e/`. ### Ajouté à « À trancher » - **Licence** : un dépôt public destiné à être réutilisé en a besoin d'une. - **Hébergeur** : Scaleway Elastic Metal est le seul fournisseur de `lab-host.sh` ; `lab` tourne sur tout hôte Linux avec KVM. Rester ainsi (Scaleway en exemple, hôte quelconque documenté) ou prévoir d'autres fournisseurs — à décider, sans l'ajouter au périmètre de ce ticket.
Author
Owner

Besoin ajouté le 2026-10-05 — stockage partagé entre hyperviseurs

La migration à chaud des VM existera dans two à terme. Pour la tester, le lab devra fournir un
système de fichiers accessible à tous les hyperviseurs — Ceph, NFS ou équivalent — où vivent
les disques des VM : la migration à chaud de QEMU suppose que source et destination voient le même
disque.

Pour labctl, cela veut dire :

  • un rôle (ou une provision générique) qui monte un service de stockage sur un nœud du lab ;
  • son montage sur les hyperviseurs qui en ont besoin, déclaré dans la topologie ;
  • un réseau pour ce trafic — le segment existant ou un segment dédié, à trancher.

À trancher : NFS (un nœud, simple, suffisant pour la migration) ou Ceph (plus proche d'une
production répartie, beaucoup plus lourd à monter dans un lab éphémère).

Hors périmètre de l'extraction elle-même : capacité future de labctl, au même titre qu'EVPN sur
le routeur.

## Besoin ajouté le 2026-10-05 — stockage partagé entre hyperviseurs La migration à chaud des VM existera dans `two` à terme. Pour la tester, le lab devra fournir un **système de fichiers accessible à tous les hyperviseurs** — Ceph, NFS ou équivalent — où vivent les disques des VM : la migration à chaud de QEMU suppose que source et destination voient le même disque. Pour `labctl`, cela veut dire : - un rôle (ou une provision générique) qui monte un service de stockage sur un nœud du lab ; - son montage sur les hyperviseurs qui en ont besoin, déclaré dans la topologie ; - un réseau pour ce trafic — le segment existant ou un segment dédié, à trancher. À trancher : NFS (un nœud, simple, suffisant pour la migration) ou Ceph (plus proche d'une production répartie, beaucoup plus lourd à monter dans un lab éphémère). Hors périmètre de l'extraction elle-même : capacité future de `labctl`, au même titre qu'EVPN sur le routeur.
Author
Owner

Décisions du 2026-10-12

  • Licence : PolyForm Noncommercial 1.0.0, comme two.
  • Hébergeur : Scaleway Elastic Metal reste le seul fournisseur de lab-host ; la doc indique
    que labctl tourne sur tout hôte Linux avec KVM. Pas d'autre fournisseur dans ce ticket.
  • Provision : un script par nœud, plus les fichiers qu'il utilise et les services à vérifier.
    Pour garder l'ordre validé en lab sur un hyperviseur (migration réseau → FRR → agent), deux
    crochets
    : provision avant FRR, post_provision après.
    hv1:
      role: host
      provision: provision/hypervisor.sh
      post_provision: provision/hypervisor-post.sh
      files: [../../scripts/deploy.sh, ../../scripts/bootstrap_kvm.sh, agent/two.yml]
      services: [agent.service]
    
    Le rôle hypervisor, release, agent, le go:embed de deploy.sh et agent.service codé en
    dur disparaissent de l'outil ; l'installation de two devient une provision de
    test/e2e/topologies/.
  • Récupération par two : binaire de release de labctl, version épinglée dans test/e2e/,
    vérifié par SHA256SUMS.
  • Ordre avec #54 : #55 d'abord ; #54 se fera ensuite directement dans labctl.

Étape 1 (branche feature-55)

Provision générique dans two, testée sur place, puis session de lab : même résultat attendu que
sur 0.2.0rc008 (s1–s9, 285/285).

## Décisions du 2026-10-12 - **Licence : PolyForm Noncommercial 1.0.0**, comme `two`. - **Hébergeur** : Scaleway Elastic Metal reste le seul fournisseur de `lab-host` ; la doc indique que `labctl` tourne sur tout hôte Linux avec KVM. Pas d'autre fournisseur dans ce ticket. - **Provision : un script par nœud**, plus les fichiers qu'il utilise et les services à vérifier. Pour garder l'ordre validé en lab sur un hyperviseur (migration réseau → FRR → agent), **deux crochets** : `provision` avant FRR, `post_provision` après. ```yaml hv1: role: host provision: provision/hypervisor.sh post_provision: provision/hypervisor-post.sh files: [../../scripts/deploy.sh, ../../scripts/bootstrap_kvm.sh, agent/two.yml] services: [agent.service] ``` Le rôle `hypervisor`, `release`, `agent`, le `go:embed` de `deploy.sh` et `agent.service` codé en dur disparaissent de l'outil ; l'installation de `two` devient une provision de `test/e2e/topologies/`. - **Récupération par `two`** : binaire de release de `labctl`, version épinglée dans `test/e2e/`, vérifié par `SHA256SUMS`. - **Ordre avec #54** : #55 d'abord ; #54 se fera ensuite directement dans `labctl`. ## Étape 1 (branche `feature-55`) Provision générique dans `two`, testée sur place, puis session de lab : même résultat attendu que sur `0.2.0rc008` (s1–s9, 285/285).
Author
Owner

Bilan — extraction livrée

Dépôt syonad/labctl (public, PolyForm Noncommercial 1.0.0)

  • Historique de l'outil extrait par git filter-repo (internal/lab/ → internal/, cmd/labctl), commits signés.
  • Provision générique : rôles switch / rr / host, champs provision, post_provision, files (fichiers ou répertoires, gravés dans un files.iso par nœud), services ; variables LAB_NODE, LAB_UPLINK, LAB_FILES.
  • Exemple autonome examples/evpn-2hv/, LABCTL_BIN pour push, CI de tests et de release (linux/amd64, darwin/arm64, lab-host.sh, SHA256SUMS).
  • Release 0.1.0rc001 publiée ; référence détaillée dans docs/guide.md (reprise de lab.rst).

Dans two (branche feature-55, 8dc7721 et efc9528, à fusionner)

  • test/e2e/labctl.sh épingle labctl 0.1.0rc001 : téléchargement de labctl_linux_amd64 et lab-host.sh, vérifiés contre des sommes SHA-256 écrites dans le script, puis lab-host.sh lancé avec LABCTL_BIN. run.sh passe par lui.
  • cmd/labctl, internal/lab et scripts/lab-host* retirés ; lab.rst ne garde que ce qui est propre à two (topologies, installation de two, scénarios, résultats).
  • L'installation de two reste dans test/e2e/topologies/provision/ ; test/e2e/build.sh compile agent, dhcp et metadata pour tester l'arbre courant.

Qualification en lab (2026-10-12, evpn-3hv, une session) : release 0.2.0rc008 seule puis binaires locaux — 284/285 les deux fois. Le seul échec est le Broken pipe de s9, signature connue de #57. Au second passage, l'agent en cours d'exécution (/proc/<pid>/exe) a la somme exacte du binaire compilé en local.

Suites ouvertes : #64 (--no-install-recommends), #65 (lab : arbre courant entier, sans release), #66 (images préparées), syonad/labctl#1 (somme SHA-512 épinglée). Prochaine étape : #54, désormais dans labctl.

## Bilan — extraction livrée **Dépôt [syonad/labctl](https://git.g3e.fr/syonad/labctl)** (public, PolyForm Noncommercial 1.0.0) - Historique de l'outil extrait par `git filter-repo` (`internal/lab/` → `internal/`, `cmd/labctl`), commits signés. - Provision générique : rôles `switch` / `rr` / `host`, champs `provision`, `post_provision`, `files` (fichiers ou répertoires, gravés dans un `files.iso` par nœud), `services` ; variables `LAB_NODE`, `LAB_UPLINK`, `LAB_FILES`. - Exemple autonome `examples/evpn-2hv/`, `LABCTL_BIN` pour `push`, CI de tests et de release (linux/amd64, darwin/arm64, `lab-host.sh`, `SHA256SUMS`). - Release **`0.1.0rc001`** publiée ; référence détaillée dans `docs/guide.md` (reprise de `lab.rst`). **Dans two** (branche `feature-55`, `8dc7721` et `efc9528`, à fusionner) - `test/e2e/labctl.sh` épingle `labctl` 0.1.0rc001 : téléchargement de `labctl_linux_amd64` et `lab-host.sh`, vérifiés contre des sommes SHA-256 écrites dans le script, puis `lab-host.sh` lancé avec `LABCTL_BIN`. `run.sh` passe par lui. - `cmd/labctl`, `internal/lab` et `scripts/lab-host*` retirés ; `lab.rst` ne garde que ce qui est propre à two (topologies, installation de two, scénarios, résultats). - L'installation de two reste dans `test/e2e/topologies/provision/` ; `test/e2e/build.sh` compile agent, dhcp et metadata pour tester l'arbre courant. **Qualification en lab** (2026-10-12, `evpn-3hv`, une session) : release `0.2.0rc008` seule puis binaires locaux — **284/285 les deux fois**. Le seul échec est le `Broken pipe` de `s9`, signature connue de #57. Au second passage, l'agent en cours d'exécution (`/proc/<pid>/exe`) a la somme exacte du binaire compilé en local. **Suites ouvertes** : #64 (`--no-install-recommends`), #65 (lab : arbre courant entier, sans release), #66 (images préparées), syonad/labctl#1 (somme SHA-512 épinglée). Prochaine étape : #54, désormais dans `labctl`.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#55
No description provided.