Merge branch 'feature-65'
All checks were successful
Documentation / publish (push) Successful in 1m52s

This commit is contained in:
GnomeZworc 2026-11-01 22:35:08 +01:00
commit 2e7a6568ae
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
7 changed files with 159 additions and 74 deletions

View file

@ -59,6 +59,12 @@ depuis la release, et les vérifie contre le manifeste ``SHA256SUMS``.
* - ``-R <secondes>``
- délai avant le redémarrage de secours pendant la migration réseau
- ``120``
* - ``-a <répertoire>``
- installer hors ligne, depuis un répertoire local au format d'une release (mêmes noms
d'assets, ``SHA256SUMS`` compris) : ni appel à l'API ni téléchargement des assets. Le
tag ``-t`` ne sert alors qu'à nommer ``/opt/two/<tag>/``. Les scripts de ``-i`` sont
lus dans ``/opt/two/scripts/`` s'ils y sont
- désactivé ; tag ``local``
* - ``-d``
- dry-run : affiche les commandes sans les exécuter
- désactivé

View file

@ -99,20 +99,25 @@ clé du dépôt embarquée dans l'outil) : voir la section FRR du guide de ``lab
**Hyperviseurs.** Ce sont des nœuds ``host`` dont la provision installe two comme en
production. ``test/e2e/topologies/provision/hypervisor.sh`` dépose ``agent.yml`` (fichier
``agent.yml`` du nœud) dans ``/etc/two/agent.yml``, télécharge ``deploy.sh`` et
``bootstrap_kvm.sh`` **au tag de la release testée** dans ``/opt/two/scripts/``, où ``deploy.sh``
cherche d'abord ``bootstrap_kvm.sh``, puis lance :
``agent.yml`` du nœud) dans ``/etc/two/agent.yml``, installe ``deploy.sh`` et ``bootstrap_kvm.sh``
dans ``/opt/two/scripts/``, où ``deploy.sh`` cherche d'abord ``bootstrap_kvm.sh``, puis lance
``deploy.sh -i``. Ce qu'il déploie dépend de ce que ``test/e2e/build.sh`` a préparé dans
``test/e2e/topologies/`` (transmis par ``files: {bin: bin, scripts: scripts}``) ; sans rien de
préparé, la provision échoue (#65) :
.. code-block:: text
* **arbre courant** (``build.sh``, par défaut) : ``deploy.sh`` et ``bootstrap_kvm.sh`` de l'arbre,
puis ``deploy.sh --noup_script -i -u "$LAB_UPLINK" -N 1 -a <files>/bin -t <commit>``. Tout vient
de l'arbre — bootstrap (paquets, noyau, réseau, segment public), binaires, ``run-*.sh``, units —
sans télécharger d'asset ;
* **release** (``build.sh --release <tag>``) : ``deploy.sh`` et ``bootstrap_kvm.sh`` téléchargés au
tag, puis ``deploy.sh --noup_script -i -u "$LAB_UPLINK" -t <tag>`` : la release telle que
publiée, pour qualifier ses fichiers avant de la livrer.
deploy.sh --noup_script -i -u "$LAB_UPLINK" -t <release>
La release est fixée dans le script (``RELEASE=``) : sans elle, ``deploy.sh`` prendrait la dernière,
et le lab ne serait plus reproductible. ``--noup_script`` empêche l'auto-mise à jour de remplacer le
script par celui de ``main``. L'uplink ``-u`` est l'interface qui porte la route par défaut, parce
que ``deploy.sh`` y lit l'adresse et la passerelle qu'il déplace sur ``br-000000``. ``deploy.sh``
télécharge la release sur ``git.g3e.fr`` sans réessayer : le script attend d'abord que le serveur
réponde, à travers le switch. Les deux fichiers ``agent/`` donnent à l'agent la section ``bgp``
``--noup_script`` empêche l'auto-mise à jour de remplacer le script par celui de ``main``.
L'uplink ``-u`` est l'interface qui porte la route par défaut, parce que ``deploy.sh`` y lit
l'adresse et la passerelle qu'il déplace sur ``br-000000``. ``deploy.sh`` télécharge
``shflags`` (et, en mode release, la release) sur ``git.g3e.fr`` sans réessayer : le script
attend d'abord que le serveur réponde, à travers le switch. Les deux fichiers ``agent/`` donnent à l'agent la section ``bgp``
(AS 64600, route reflectors ``10.255.255.1`` et ``10.255.255.2``) et un watchdog toutes les 10 s ;
``agent/two.yml`` met en plus hv1 sur le serveur DHCP intégré (``dhcp.backend: two``),
``agent/dnsmasq.yml`` met explicitement les autres sur dnsmasq (``dhcp.backend: dnsmasq``).
@ -144,21 +149,20 @@ registre RFC 6890) et jamais routée sur Internet. Les bordures sont déclarées
hyperviseurs : les adresses et les taps de l'underlay ne changent pas, ceux du segment ``lan``
sont renumérotés.
**Tester l'arbre courant plutôt que la release.** ``test/e2e/build.sh`` compile ``agent``,
``dhcp``, ``metadata`` et ``two-hostsvc`` pour linux/amd64 dans ``test/e2e/topologies/bin/``
(ignoré par git), et y copie l'unit ``two-hostsvc.service``, absente de la release 0.2.0 ; les
hyperviseurs reçoivent le répertoire par ``files: {bin: bin}``. Après ``deploy.sh``,
``hypervisor.sh`` installe chaque binaire présent dans ``/opt/two/local/bin/`` et y fait pointer
``/opt/two/bin/<nom>``, puis installe, active et redémarre chaque unit ``*.service`` présente ; le
reste (units, scripts) vient de la release. ``build.sh --clean`` vide le répertoire : le lab
suivant teste la release seule.
**Préparer l'arbre courant ou une release.** ``test/e2e/build.sh`` prépare dans
``test/e2e/topologies/bin/`` (ignoré par git) les assets de l'arbre au format d'une release :
``agent``, ``dhcp``, ``metadata`` et ``two-hostsvc`` compilés pour linux/amd64 (version = commit
court, ``-dirty`` si l'arbre a des modifications), ``run-dnsmasq-in-netns.sh``,
``run-dhcp-in-netns.sh``, les cinq units, ``SHA256SUMS`` et ``VERSION`` ; il copie ``deploy.sh`` et
``bootstrap_kvm.sh`` dans ``test/e2e/topologies/scripts/``. ``build.sh --release <tag>`` ne laisse
qu'un fichier ``RELEASE`` ; ``build.sh --clean`` vide les deux répertoires.
.. code-block:: text
test/e2e/build.sh # binaires de l'arbre courant
test/e2e/build.sh # arbre courant, en entier
test/e2e/labctl.sh push test/e2e/topologies/evpn-3hv.yml
test/e2e/labctl.sh ssh './labctl up topology/evpn-3hv.yml'
test/e2e/build.sh --clean # retour à la release seule
test/e2e/build.sh --release 0.3.0 # qualifier une release publiée
FRR est installé **après** la provision : il démarre sur le réseau final. Démarré
avant la migration, zebra peut perdre la route par défaut quand elle passe de l'uplink à

View file

@ -113,6 +113,16 @@
- Une IP flottante est refusée (409) sur une interface d'un subnet `public_ip`. Le watchdog
contrôle les subnets `public_ip` comme les subnets `bridge`
**Installation hors ligne : `deploy.sh -a` (#65)**
- Nouvelle option `-a <répertoire>` (`--assets_dir`) : `deploy.sh` installe depuis un répertoire
local au format d'une release (mêmes noms d'assets, `SHA256SUMS` vérifié comme celui d'une
release), sans appel à l'API ni téléchargement des assets. `-t` nomme alors `/opt/two/<tag>/`
(`local` par défaut)
- Le lab déploie désormais l'arbre courant en entier par cette option (bootstrap, binaires,
scripts, units), sans télécharger de release ; `test/e2e/build.sh --release <tag>` garde la
qualification d'une release publiée
**Connaissance de l'hôte (#39)**
- `GET /register` : hostname, CPU (fabricant, modèle, sockets, cœurs, threads), RAM totale, OS

View file

@ -179,6 +179,17 @@ release_assets () {
curl --silent "${GIT_SERVER}api/v1/repos/${REPO_PATH}releases/tags/${RELEASE_TAG}" | jq -c '.assets[]'
}
local_assets () {
local DIR file
DIR=$(cd "${1}" && pwd) || return 1
for file in "${DIR}"/*
do
[[ -f "${file}" ]] || continue
jq -nc --arg n "${file##*/}" --arg u "file://${file}" '{name: $n, browser_download_url: $u}' || return 1
done
}
asset_name () {
echo "${1}" | jq -r --arg s "${2}" 'select(.name == $s or (.name | startswith($s + "_"))) | .name' | head -1
}
@ -339,11 +350,13 @@ main () {
DEFINE_integer 'public_vni' 1 'VNI of the public segment (vxlan-public)' 'N'
DEFINE_integer 'rollback' 120 'Rollback reboot delay in seconds' 'R'
DEFINE_boolean 'verify' true 'Check assets against SHA256SUMS' 'V'
DEFINE_string 'assets_dir' '' 'Local directory of release assets (offline)' 'a'
FLAGS "$@" || exit $?
eval set -- "${FLAGS_ARGV}"
profile_units "${FLAGS_profile}" >/dev/null || die "profil inconnu : ${FLAGS_profile}"
[[ -z "${FLAGS_assets_dir}" || -d "${FLAGS_assets_dir}" ]] || die "répertoire d'assets absent : ${FLAGS_assets_dir}"
if [[ ${FLAGS_up_script} -eq ${FLAGS_TRUE} ]]
then
@ -360,15 +373,26 @@ main () {
local TAG BIN_PATH UNIT_PATH LN_PATH ASSETS MANIFEST
TAG=$(resolve_tag "${FLAGS_tag}" "${FLAGS_git_server}" "${FLAGS_repo_path}")
if [[ -n "${FLAGS_assets_dir}" ]]
then
TAG="${FLAGS_tag:-local}"
else
TAG=$(resolve_tag "${FLAGS_tag}" "${FLAGS_git_server}" "${FLAGS_repo_path}")
fi
[[ -n "${TAG}" && "${TAG}" != "null" ]] || die "impossible de déterminer la release à déployer"
BIN_PATH="/opt/two/${TAG}/bin/"
UNIT_PATH="/opt/two/${TAG}/units/"
LN_PATH="/opt/two/bin/"
ASSETS=$(release_assets "${FLAGS_git_server}" "${FLAGS_repo_path}" "${TAG}")
[[ -n "${ASSETS}" ]] || die "aucun asset dans la release ${TAG}"
if [[ -n "${FLAGS_assets_dir}" ]]
then
ASSETS=$(local_assets "${FLAGS_assets_dir}") || die "répertoire d'assets illisible : ${FLAGS_assets_dir}"
[[ -n "${ASSETS}" ]] || die "aucun asset dans ${FLAGS_assets_dir}"
else
ASSETS=$(release_assets "${FLAGS_git_server}" "${FLAGS_repo_path}" "${TAG}")
[[ -n "${ASSETS}" ]] || die "aucun asset dans la release ${TAG}"
fi
# Manifeste absent = release antérieure à sa mise en place, ou CI incomplète.
# C'est bloquant : une vérification qui se désactive d'elle-même ne vérifie

View file

@ -5,28 +5,32 @@ REPO_DIR="$(cd "${E2E_DIR}/../.." && pwd)"
BIN_DIR="${BIN_DIR:-${E2E_DIR}/topologies/bin}"
SCRIPTS_DIR="${SCRIPTS_DIR:-${E2E_DIR}/topologies/scripts}"
BINARIES="agent dhcp metadata two-hostsvc"
UNITS="two-hostsvc.service"
SCRIPTS="bootstrap_kvm.sh"
ASSET_SCRIPTS="run-dnsmasq-in-netns.sh run-dhcp-in-netns.sh"
UNITS="two-hostsvc.service agent.service dnsmasq@.service dhcp@.service metadata@.service"
MARKERS="SHA256SUMS VERSION RELEASE"
SCRIPTS="deploy.sh bootstrap_kvm.sh"
usage () {
cat >&2 <<USAGE
usage: ${0##*/} [--clean]
usage: ${0##*/} [--release <tag> | --clean]
sans option : compile ${BINARIES} pour linux/amd64 depuis l'arbre courant dans ${BIN_DIR}
et y copie ${UNITS}, copie ${SCRIPTS} dans ${SCRIPTS_DIR} ; le prochain lab
les installe par-dessus la release épinglée dans topologies/provision/hypervisor.sh
--clean : vide ${BIN_DIR} et ${SCRIPTS_DIR} ; le prochain lab teste la release seule
sans option : prépare dans ${BIN_DIR} les assets de l'arbre courant au format d'une release
(${BINARIES} compilés pour linux/amd64, ${ASSET_SCRIPTS}, units, SHA256SUMS,
VERSION) et copie ${SCRIPTS} dans ${SCRIPTS_DIR} ; le prochain lab déploie
l'arbre courant en entier, sans rien télécharger
--release <tag> : le prochain lab déploie la release <tag> telle que publiée (fichier RELEASE)
--clean : vide ${BIN_DIR} et ${SCRIPTS_DIR} ; le prochain lab refuse de démarrer
USAGE
exit 2
}
clean () {
local file script
for file in ${BINARIES} ${UNITS}; do
local file
for file in ${BINARIES} ${ASSET_SCRIPTS} ${UNITS} ${MARKERS}; do
rm -f "${BIN_DIR}/${file}" || return 1
done
for script in ${SCRIPTS}; do
rm -f "${SCRIPTS_DIR}/${script}" || return 1
for file in ${SCRIPTS}; do
rm -f "${SCRIPTS_DIR}/${file}" || return 1
done
}
@ -41,27 +45,49 @@ build_version () {
fi
}
sha256 () {
if command -v sha256sum >/dev/null 2>&1; then
sha256sum "$@"
else
shasum -a 256 "$@"
fi
}
build () {
local binary unit script version
local binary file version
version=$(build_version) || return 1
clean || return 1
echo "== version ${version}" >&2
for binary in ${BINARIES}; do
echo "== ${binary}" >&2
(cd "${REPO_DIR}" && CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -ldflags "-X main.version=${version}" -o "${BIN_DIR}/${binary}" "./cmd/${binary}") || return 1
done
for unit in ${UNITS}; do
cp "${REPO_DIR}/systemd/${unit}" "${BIN_DIR}/${unit}" || return 1
for file in ${ASSET_SCRIPTS}; do
install -m 0755 "${REPO_DIR}/scripts/${file}" "${BIN_DIR}/${file}" || return 1
done
for script in ${SCRIPTS}; do
echo "== ${script}" >&2
cp "${REPO_DIR}/scripts/${script}" "${SCRIPTS_DIR}/${script}" || return 1
for file in ${UNITS}; do
cp "${REPO_DIR}/systemd/${file}" "${BIN_DIR}/${file}" || return 1
done
(cd "${BIN_DIR}" && sha256sum ${BINARIES} ${UNITS} 2>/dev/null || shasum -a 256 ${BINARIES} ${UNITS})
for file in ${SCRIPTS}; do
echo "== ${file}" >&2
cp "${REPO_DIR}/scripts/${file}" "${SCRIPTS_DIR}/${file}" || return 1
done
(cd "${BIN_DIR}" && sha256 ${BINARIES} ${ASSET_SCRIPTS} ${UNITS} > SHA256SUMS) || return 1
echo "${version}" > "${BIN_DIR}/VERSION" || return 1
cat "${BIN_DIR}/SHA256SUMS"
}
release () {
[ -n "${1}" ] || usage
clean || return 1
echo "${1}" > "${BIN_DIR}/RELEASE" || return 1
echo "== le prochain lab déploie la release ${1}" >&2
}
main () {
case "${1:-}" in
"") build ;;
--release) release "${2:-}" ;;
--clean) clean ;;
*) usage ;;
esac

View file

@ -856,6 +856,23 @@ test_build_version_is_the_commit_dirty_when_the_tree_changed () {
teardown
}
test_build_release_and_clean_prepare_the_next_lab () {
setup "build.sh : --release ne laisse que RELEASE, --clean vide tout, sans tag refusé"
local bin="${WORK}/bin" scripts="${WORK}/scripts" f
mkdir -p "${bin}" "${scripts}"
for f in agent dhcp metadata two-hostsvc run-dhcp-in-netns.sh agent.service SHA256SUMS VERSION; do : > "${bin}/${f}"; done
: > "${bin}/autre" && : > "${scripts}/deploy.sh" && : > "${scripts}/bootstrap_kvm.sh"
build_in () { BIN_DIR="${bin}" SCRIPTS_DIR="${scripts}" bash "${DIR}/build.sh" "$@" 2>&1; }
build_in --release 0.3.0 >/dev/null || fail "--release 0.3.0 en échec"
[[ $(LC_ALL=C ls "${bin}" | tr '\n' ' ') == "RELEASE autre " ]] || fail "après --release : $(LC_ALL=C ls "${bin}" | tr '\n' ' ')"
[[ $(cat "${bin}/RELEASE") == 0.3.0 ]] || fail "RELEASE : $(cat "${bin}/RELEASE")"
[[ -z $(ls "${scripts}") ]] || fail "scripts laissés : $(ls "${scripts}")"
build_in --release >/dev/null && fail "--release sans tag accepté"
build_in --clean >/dev/null || fail "--clean en échec"
[[ $(ls "${bin}") == autre ]] || fail "après --clean : $(ls "${bin}" | tr '\n' ' ')"
teardown
}
for T in $(declare -F | awk '{print $3}' | grep '^test_'); do
"${T}"
done

View file

@ -1,9 +1,20 @@
#!/bin/sh
set -eu
RELEASE=0.2.0
PUBLIC_VNI=1
GIT_SERVER=https://git.g3e.fr/
REPO=syonad/two
ASSETS="${LAB_FILES}/bin"
if [ -f "${ASSETS}/SHA256SUMS" ] && [ -f "${ASSETS}/VERSION" ] && [ -f "${LAB_FILES}/scripts/deploy.sh" ] && [ -f "${LAB_FILES}/scripts/bootstrap_kvm.sh" ]; then
MODE=tree
VERSION=$(cat "${ASSETS}/VERSION")
elif [ -f "${ASSETS}/RELEASE" ]; then
MODE=release
VERSION=$(cat "${ASSETS}/RELEASE")
else
echo "lab: ni arbre courant (SHA256SUMS, VERSION, scripts) ni release (RELEASE) dans ${LAB_FILES} : lancer test/e2e/build.sh" >&2
exit 1
fi
[ -n "${VERSION}" ] || { echo "lab: version vide (${MODE})" >&2; exit 1; }
n=0
until curl -fsS -o /dev/null "${GIT_SERVER}"; do
n=$((n + 1))
@ -24,31 +35,18 @@ if [ -e /sys/class/net/lan ]; then
fi
mkdir -p /opt/two/scripts
cd /opt/two/scripts
for script in deploy.sh bootstrap_kvm.sh; do
curl -fsS -o "${script}" "${GIT_SERVER}${REPO}/raw/tag/${RELEASE}/scripts/${script}"
done
chmod 0755 deploy.sh bootstrap_kvm.sh
bash ./deploy.sh --noup_script -i -u "${LAB_UPLINK}" -t "${RELEASE}"
DEBIAN_FRONTEND=noninteractive apt-get install -y --no-install-recommends nftables
if [ -f "${LAB_FILES}/scripts/bootstrap_kvm.sh" ]; then
bash -c 'FLAGS_TRUE=0; FLAGS_FALSE=1; . ./deploy.sh && . "$1" && kvm_public_segment "${FLAGS_FALSE}" "${FLAGS_TRUE}" br-000000 br-public "$2"' \
lab "${LAB_FILES}/scripts/bootstrap_kvm.sh" "${PUBLIC_VNI}"
echo "lab: segment public posé par le bootstrap_kvm.sh de l'arbre courant (VNI ${PUBLIC_VNI})"
fi
for binary in "${LAB_FILES}"/bin/*; do
[ -f "${binary}" ] || continue
name=$(basename "${binary}")
case "${name}" in *.service) continue ;; esac
install -D -m 0755 "${binary}" "/opt/two/local/bin/${name}"
ln -sfn "/opt/two/local/bin/${name}" "/opt/two/bin/${name}"
echo "lab: ${name} compilé en local remplace celui de la release ${RELEASE}"
done
for unit in "${LAB_FILES}"/bin/*.service; do
[ -f "${unit}" ] || continue
name=$(basename "${unit}")
install -m 0644 "${unit}" "/etc/systemd/system/${name}"
systemctl daemon-reload
systemctl enable "${name}"
systemctl restart "${name}"
echo "lab: unité ${name} de l'arbre local installée par-dessus la release ${RELEASE}"
done
case "${MODE}" in
tree)
install -m 0755 "${LAB_FILES}/scripts/deploy.sh" "${LAB_FILES}/scripts/bootstrap_kvm.sh" .
echo "lab: arbre courant ${VERSION}, déployé depuis ${ASSETS} sans téléchargement"
bash ./deploy.sh --noup_script -i -u "${LAB_UPLINK}" -N "${PUBLIC_VNI}" -a "${ASSETS}" -t "${VERSION}"
;;
release)
for script in deploy.sh bootstrap_kvm.sh; do
curl -fsS -o "${script}" "${GIT_SERVER}${REPO}/raw/tag/${VERSION}/scripts/${script}"
done
chmod 0755 deploy.sh bootstrap_kvm.sh
echo "lab: release ${VERSION}, déployée telle que publiée"
bash ./deploy.sh --noup_script -i -u "${LAB_UPLINK}" -t "${VERSION}"
;;
esac