diff --git a/docs/demarrage/installation.rst b/docs/demarrage/installation.rst index 75778d2..de5aed5 100644 --- a/docs/demarrage/installation.rst +++ b/docs/demarrage/installation.rst @@ -59,6 +59,12 @@ depuis la release, et les vérifie contre le manifeste ``SHA256SUMS``. * - ``-R `` - délai avant le redémarrage de secours pendant la migration réseau - ``120`` + * - ``-a `` + - installer hors ligne, depuis un répertoire local au format d'une release (mêmes noms + d'assets, ``SHA256SUMS`` compris) : ni appel à l'API ni téléchargement des assets. Le + tag ``-t`` ne sert alors qu'à nommer ``/opt/two//``. Les scripts de ``-i`` sont + lus dans ``/opt/two/scripts/`` s'ils y sont + - désactivé ; tag ``local`` * - ``-d`` - dry-run : affiche les commandes sans les exécuter - désactivé diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index 738ad14..3e88e6f 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -99,20 +99,25 @@ clé du dépôt embarquée dans l'outil) : voir la section FRR du guide de ``lab **Hyperviseurs.** Ce sont des nœuds ``host`` dont la provision installe two comme en production. ``test/e2e/topologies/provision/hypervisor.sh`` dépose ``agent.yml`` (fichier -``agent.yml`` du nœud) dans ``/etc/two/agent.yml``, télécharge ``deploy.sh`` et -``bootstrap_kvm.sh`` **au tag de la release testée** dans ``/opt/two/scripts/``, où ``deploy.sh`` -cherche d'abord ``bootstrap_kvm.sh``, puis lance : +``agent.yml`` du nœud) dans ``/etc/two/agent.yml``, installe ``deploy.sh`` et ``bootstrap_kvm.sh`` +dans ``/opt/two/scripts/``, où ``deploy.sh`` cherche d'abord ``bootstrap_kvm.sh``, puis lance +``deploy.sh -i``. Ce qu'il déploie dépend de ce que ``test/e2e/build.sh`` a préparé dans +``test/e2e/topologies/`` (transmis par ``files: {bin: bin, scripts: scripts}``) ; sans rien de +préparé, la provision échoue (#65) : -.. code-block:: text +* **arbre courant** (``build.sh``, par défaut) : ``deploy.sh`` et ``bootstrap_kvm.sh`` de l'arbre, + puis ``deploy.sh --noup_script -i -u "$LAB_UPLINK" -N 1 -a /bin -t ``. Tout vient + de l'arbre — bootstrap (paquets, noyau, réseau, segment public), binaires, ``run-*.sh``, units — + sans télécharger d'asset ; +* **release** (``build.sh --release ``) : ``deploy.sh`` et ``bootstrap_kvm.sh`` téléchargés au + tag, puis ``deploy.sh --noup_script -i -u "$LAB_UPLINK" -t `` : la release telle que + publiée, pour qualifier ses fichiers avant de la livrer. - deploy.sh --noup_script -i -u "$LAB_UPLINK" -t - -La release est fixée dans le script (``RELEASE=``) : sans elle, ``deploy.sh`` prendrait la dernière, -et le lab ne serait plus reproductible. ``--noup_script`` empêche l'auto-mise à jour de remplacer le -script par celui de ``main``. L'uplink ``-u`` est l'interface qui porte la route par défaut, parce -que ``deploy.sh`` y lit l'adresse et la passerelle qu'il déplace sur ``br-000000``. ``deploy.sh`` -télécharge la release sur ``git.g3e.fr`` sans réessayer : le script attend d'abord que le serveur -réponde, à travers le switch. Les deux fichiers ``agent/`` donnent à l'agent la section ``bgp`` +``--noup_script`` empêche l'auto-mise à jour de remplacer le script par celui de ``main``. +L'uplink ``-u`` est l'interface qui porte la route par défaut, parce que ``deploy.sh`` y lit +l'adresse et la passerelle qu'il déplace sur ``br-000000``. ``deploy.sh`` télécharge +``shflags`` (et, en mode release, la release) sur ``git.g3e.fr`` sans réessayer : le script +attend d'abord que le serveur réponde, à travers le switch. Les deux fichiers ``agent/`` donnent à l'agent la section ``bgp`` (AS 64600, route reflectors ``10.255.255.1`` et ``10.255.255.2``) et un watchdog toutes les 10 s ; ``agent/two.yml`` met en plus hv1 sur le serveur DHCP intégré (``dhcp.backend: two``), ``agent/dnsmasq.yml`` met explicitement les autres sur dnsmasq (``dhcp.backend: dnsmasq``). @@ -144,21 +149,20 @@ registre RFC 6890) et jamais routée sur Internet. Les bordures sont déclarées hyperviseurs : les adresses et les taps de l'underlay ne changent pas, ceux du segment ``lan`` sont renumérotés. -**Tester l'arbre courant plutôt que la release.** ``test/e2e/build.sh`` compile ``agent``, -``dhcp``, ``metadata`` et ``two-hostsvc`` pour linux/amd64 dans ``test/e2e/topologies/bin/`` -(ignoré par git), et y copie l'unit ``two-hostsvc.service``, absente de la release 0.2.0 ; les -hyperviseurs reçoivent le répertoire par ``files: {bin: bin}``. Après ``deploy.sh``, -``hypervisor.sh`` installe chaque binaire présent dans ``/opt/two/local/bin/`` et y fait pointer -``/opt/two/bin/``, puis installe, active et redémarre chaque unit ``*.service`` présente ; le -reste (units, scripts) vient de la release. ``build.sh --clean`` vide le répertoire : le lab -suivant teste la release seule. +**Préparer l'arbre courant ou une release.** ``test/e2e/build.sh`` prépare dans +``test/e2e/topologies/bin/`` (ignoré par git) les assets de l'arbre au format d'une release : +``agent``, ``dhcp``, ``metadata`` et ``two-hostsvc`` compilés pour linux/amd64 (version = commit +court, ``-dirty`` si l'arbre a des modifications), ``run-dnsmasq-in-netns.sh``, +``run-dhcp-in-netns.sh``, les cinq units, ``SHA256SUMS`` et ``VERSION`` ; il copie ``deploy.sh`` et +``bootstrap_kvm.sh`` dans ``test/e2e/topologies/scripts/``. ``build.sh --release `` ne laisse +qu'un fichier ``RELEASE`` ; ``build.sh --clean`` vide les deux répertoires. .. code-block:: text - test/e2e/build.sh # binaires de l'arbre courant + test/e2e/build.sh # arbre courant, en entier test/e2e/labctl.sh push test/e2e/topologies/evpn-3hv.yml test/e2e/labctl.sh ssh './labctl up topology/evpn-3hv.yml' - test/e2e/build.sh --clean # retour à la release seule + test/e2e/build.sh --release 0.3.0 # qualifier une release publiée FRR est installé **après** la provision : il démarre sur le réseau final. Démarré avant la migration, zebra peut perdre la route par défaut quand elle passe de l'uplink à diff --git a/release_notes/0.3.0.md b/release_notes/0.3.0.md index 632845b..a50aaba 100644 --- a/release_notes/0.3.0.md +++ b/release_notes/0.3.0.md @@ -113,6 +113,16 @@ - Une IP flottante est refusée (409) sur une interface d'un subnet `public_ip`. Le watchdog contrôle les subnets `public_ip` comme les subnets `bridge` +**Installation hors ligne : `deploy.sh -a` (#65)** + +- Nouvelle option `-a ` (`--assets_dir`) : `deploy.sh` installe depuis un répertoire + local au format d'une release (mêmes noms d'assets, `SHA256SUMS` vérifié comme celui d'une + release), sans appel à l'API ni téléchargement des assets. `-t` nomme alors `/opt/two//` + (`local` par défaut) +- Le lab déploie désormais l'arbre courant en entier par cette option (bootstrap, binaires, + scripts, units), sans télécharger de release ; `test/e2e/build.sh --release ` garde la + qualification d'une release publiée + **Connaissance de l'hôte (#39)** - `GET /register` : hostname, CPU (fabricant, modèle, sockets, cœurs, threads), RAM totale, OS diff --git a/scripts/deploy.sh b/scripts/deploy.sh index c3574b6..62ba025 100755 --- a/scripts/deploy.sh +++ b/scripts/deploy.sh @@ -179,6 +179,17 @@ release_assets () { curl --silent "${GIT_SERVER}api/v1/repos/${REPO_PATH}releases/tags/${RELEASE_TAG}" | jq -c '.assets[]' } +local_assets () { + local DIR file + + DIR=$(cd "${1}" && pwd) || return 1 + for file in "${DIR}"/* + do + [[ -f "${file}" ]] || continue + jq -nc --arg n "${file##*/}" --arg u "file://${file}" '{name: $n, browser_download_url: $u}' || return 1 + done +} + asset_name () { echo "${1}" | jq -r --arg s "${2}" 'select(.name == $s or (.name | startswith($s + "_"))) | .name' | head -1 } @@ -339,11 +350,13 @@ main () { DEFINE_integer 'public_vni' 1 'VNI of the public segment (vxlan-public)' 'N' DEFINE_integer 'rollback' 120 'Rollback reboot delay in seconds' 'R' DEFINE_boolean 'verify' true 'Check assets against SHA256SUMS' 'V' + DEFINE_string 'assets_dir' '' 'Local directory of release assets (offline)' 'a' FLAGS "$@" || exit $? eval set -- "${FLAGS_ARGV}" profile_units "${FLAGS_profile}" >/dev/null || die "profil inconnu : ${FLAGS_profile}" + [[ -z "${FLAGS_assets_dir}" || -d "${FLAGS_assets_dir}" ]] || die "répertoire d'assets absent : ${FLAGS_assets_dir}" if [[ ${FLAGS_up_script} -eq ${FLAGS_TRUE} ]] then @@ -360,15 +373,26 @@ main () { local TAG BIN_PATH UNIT_PATH LN_PATH ASSETS MANIFEST - TAG=$(resolve_tag "${FLAGS_tag}" "${FLAGS_git_server}" "${FLAGS_repo_path}") + if [[ -n "${FLAGS_assets_dir}" ]] + then + TAG="${FLAGS_tag:-local}" + else + TAG=$(resolve_tag "${FLAGS_tag}" "${FLAGS_git_server}" "${FLAGS_repo_path}") + fi [[ -n "${TAG}" && "${TAG}" != "null" ]] || die "impossible de déterminer la release à déployer" BIN_PATH="/opt/two/${TAG}/bin/" UNIT_PATH="/opt/two/${TAG}/units/" LN_PATH="/opt/two/bin/" - ASSETS=$(release_assets "${FLAGS_git_server}" "${FLAGS_repo_path}" "${TAG}") - [[ -n "${ASSETS}" ]] || die "aucun asset dans la release ${TAG}" + if [[ -n "${FLAGS_assets_dir}" ]] + then + ASSETS=$(local_assets "${FLAGS_assets_dir}") || die "répertoire d'assets illisible : ${FLAGS_assets_dir}" + [[ -n "${ASSETS}" ]] || die "aucun asset dans ${FLAGS_assets_dir}" + else + ASSETS=$(release_assets "${FLAGS_git_server}" "${FLAGS_repo_path}" "${TAG}") + [[ -n "${ASSETS}" ]] || die "aucun asset dans la release ${TAG}" + fi # Manifeste absent = release antérieure à sa mise en place, ou CI incomplète. # C'est bloquant : une vérification qui se désactive d'elle-même ne vérifie diff --git a/test/e2e/build.sh b/test/e2e/build.sh index 749b25b..e74227b 100755 --- a/test/e2e/build.sh +++ b/test/e2e/build.sh @@ -5,28 +5,32 @@ REPO_DIR="$(cd "${E2E_DIR}/../.." && pwd)" BIN_DIR="${BIN_DIR:-${E2E_DIR}/topologies/bin}" SCRIPTS_DIR="${SCRIPTS_DIR:-${E2E_DIR}/topologies/scripts}" BINARIES="agent dhcp metadata two-hostsvc" -UNITS="two-hostsvc.service" -SCRIPTS="bootstrap_kvm.sh" +ASSET_SCRIPTS="run-dnsmasq-in-netns.sh run-dhcp-in-netns.sh" +UNITS="two-hostsvc.service agent.service dnsmasq@.service dhcp@.service metadata@.service" +MARKERS="SHA256SUMS VERSION RELEASE" +SCRIPTS="deploy.sh bootstrap_kvm.sh" usage () { cat >&2 < | --clean] - sans option : compile ${BINARIES} pour linux/amd64 depuis l'arbre courant dans ${BIN_DIR} - et y copie ${UNITS}, copie ${SCRIPTS} dans ${SCRIPTS_DIR} ; le prochain lab - les installe par-dessus la release épinglée dans topologies/provision/hypervisor.sh - --clean : vide ${BIN_DIR} et ${SCRIPTS_DIR} ; le prochain lab teste la release seule + sans option : prépare dans ${BIN_DIR} les assets de l'arbre courant au format d'une release + (${BINARIES} compilés pour linux/amd64, ${ASSET_SCRIPTS}, units, SHA256SUMS, + VERSION) et copie ${SCRIPTS} dans ${SCRIPTS_DIR} ; le prochain lab déploie + l'arbre courant en entier, sans rien télécharger + --release : le prochain lab déploie la release telle que publiée (fichier RELEASE) + --clean : vide ${BIN_DIR} et ${SCRIPTS_DIR} ; le prochain lab refuse de démarrer USAGE exit 2 } clean () { - local file script - for file in ${BINARIES} ${UNITS}; do + local file + for file in ${BINARIES} ${ASSET_SCRIPTS} ${UNITS} ${MARKERS}; do rm -f "${BIN_DIR}/${file}" || return 1 done - for script in ${SCRIPTS}; do - rm -f "${SCRIPTS_DIR}/${script}" || return 1 + for file in ${SCRIPTS}; do + rm -f "${SCRIPTS_DIR}/${file}" || return 1 done } @@ -41,27 +45,49 @@ build_version () { fi } +sha256 () { + if command -v sha256sum >/dev/null 2>&1; then + sha256sum "$@" + else + shasum -a 256 "$@" + fi +} + build () { - local binary unit script version + local binary file version version=$(build_version) || return 1 + clean || return 1 echo "== version ${version}" >&2 for binary in ${BINARIES}; do echo "== ${binary}" >&2 (cd "${REPO_DIR}" && CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -ldflags "-X main.version=${version}" -o "${BIN_DIR}/${binary}" "./cmd/${binary}") || return 1 done - for unit in ${UNITS}; do - cp "${REPO_DIR}/systemd/${unit}" "${BIN_DIR}/${unit}" || return 1 + for file in ${ASSET_SCRIPTS}; do + install -m 0755 "${REPO_DIR}/scripts/${file}" "${BIN_DIR}/${file}" || return 1 done - for script in ${SCRIPTS}; do - echo "== ${script}" >&2 - cp "${REPO_DIR}/scripts/${script}" "${SCRIPTS_DIR}/${script}" || return 1 + for file in ${UNITS}; do + cp "${REPO_DIR}/systemd/${file}" "${BIN_DIR}/${file}" || return 1 done - (cd "${BIN_DIR}" && sha256sum ${BINARIES} ${UNITS} 2>/dev/null || shasum -a 256 ${BINARIES} ${UNITS}) + for file in ${SCRIPTS}; do + echo "== ${file}" >&2 + cp "${REPO_DIR}/scripts/${file}" "${SCRIPTS_DIR}/${file}" || return 1 + done + (cd "${BIN_DIR}" && sha256 ${BINARIES} ${ASSET_SCRIPTS} ${UNITS} > SHA256SUMS) || return 1 + echo "${version}" > "${BIN_DIR}/VERSION" || return 1 + cat "${BIN_DIR}/SHA256SUMS" +} + +release () { + [ -n "${1}" ] || usage + clean || return 1 + echo "${1}" > "${BIN_DIR}/RELEASE" || return 1 + echo "== le prochain lab déploie la release ${1}" >&2 } main () { case "${1:-}" in "") build ;; + --release) release "${2:-}" ;; --clean) clean ;; *) usage ;; esac diff --git a/test/e2e/run_test.sh b/test/e2e/run_test.sh index 9b6a560..c4b301a 100755 --- a/test/e2e/run_test.sh +++ b/test/e2e/run_test.sh @@ -856,6 +856,23 @@ test_build_version_is_the_commit_dirty_when_the_tree_changed () { teardown } +test_build_release_and_clean_prepare_the_next_lab () { + setup "build.sh : --release ne laisse que RELEASE, --clean vide tout, sans tag refusé" + local bin="${WORK}/bin" scripts="${WORK}/scripts" f + mkdir -p "${bin}" "${scripts}" + for f in agent dhcp metadata two-hostsvc run-dhcp-in-netns.sh agent.service SHA256SUMS VERSION; do : > "${bin}/${f}"; done + : > "${bin}/autre" && : > "${scripts}/deploy.sh" && : > "${scripts}/bootstrap_kvm.sh" + build_in () { BIN_DIR="${bin}" SCRIPTS_DIR="${scripts}" bash "${DIR}/build.sh" "$@" 2>&1; } + build_in --release 0.3.0 >/dev/null || fail "--release 0.3.0 en échec" + [[ $(LC_ALL=C ls "${bin}" | tr '\n' ' ') == "RELEASE autre " ]] || fail "après --release : $(LC_ALL=C ls "${bin}" | tr '\n' ' ')" + [[ $(cat "${bin}/RELEASE") == 0.3.0 ]] || fail "RELEASE : $(cat "${bin}/RELEASE")" + [[ -z $(ls "${scripts}") ]] || fail "scripts laissés : $(ls "${scripts}")" + build_in --release >/dev/null && fail "--release sans tag accepté" + build_in --clean >/dev/null || fail "--clean en échec" + [[ $(ls "${bin}") == autre ]] || fail "après --clean : $(ls "${bin}" | tr '\n' ' ')" + teardown +} + for T in $(declare -F | awk '{print $3}' | grep '^test_'); do "${T}" done diff --git a/test/e2e/topologies/provision/hypervisor.sh b/test/e2e/topologies/provision/hypervisor.sh index 0990355..449d6d9 100755 --- a/test/e2e/topologies/provision/hypervisor.sh +++ b/test/e2e/topologies/provision/hypervisor.sh @@ -1,9 +1,20 @@ #!/bin/sh set -eu -RELEASE=0.2.0 PUBLIC_VNI=1 GIT_SERVER=https://git.g3e.fr/ REPO=syonad/two +ASSETS="${LAB_FILES}/bin" +if [ -f "${ASSETS}/SHA256SUMS" ] && [ -f "${ASSETS}/VERSION" ] && [ -f "${LAB_FILES}/scripts/deploy.sh" ] && [ -f "${LAB_FILES}/scripts/bootstrap_kvm.sh" ]; then + MODE=tree + VERSION=$(cat "${ASSETS}/VERSION") +elif [ -f "${ASSETS}/RELEASE" ]; then + MODE=release + VERSION=$(cat "${ASSETS}/RELEASE") +else + echo "lab: ni arbre courant (SHA256SUMS, VERSION, scripts) ni release (RELEASE) dans ${LAB_FILES} : lancer test/e2e/build.sh" >&2 + exit 1 +fi +[ -n "${VERSION}" ] || { echo "lab: version vide (${MODE})" >&2; exit 1; } n=0 until curl -fsS -o /dev/null "${GIT_SERVER}"; do n=$((n + 1)) @@ -24,31 +35,18 @@ if [ -e /sys/class/net/lan ]; then fi mkdir -p /opt/two/scripts cd /opt/two/scripts -for script in deploy.sh bootstrap_kvm.sh; do - curl -fsS -o "${script}" "${GIT_SERVER}${REPO}/raw/tag/${RELEASE}/scripts/${script}" -done -chmod 0755 deploy.sh bootstrap_kvm.sh -bash ./deploy.sh --noup_script -i -u "${LAB_UPLINK}" -t "${RELEASE}" -DEBIAN_FRONTEND=noninteractive apt-get install -y --no-install-recommends nftables -if [ -f "${LAB_FILES}/scripts/bootstrap_kvm.sh" ]; then - bash -c 'FLAGS_TRUE=0; FLAGS_FALSE=1; . ./deploy.sh && . "$1" && kvm_public_segment "${FLAGS_FALSE}" "${FLAGS_TRUE}" br-000000 br-public "$2"' \ - lab "${LAB_FILES}/scripts/bootstrap_kvm.sh" "${PUBLIC_VNI}" - echo "lab: segment public posé par le bootstrap_kvm.sh de l'arbre courant (VNI ${PUBLIC_VNI})" -fi -for binary in "${LAB_FILES}"/bin/*; do - [ -f "${binary}" ] || continue - name=$(basename "${binary}") - case "${name}" in *.service) continue ;; esac - install -D -m 0755 "${binary}" "/opt/two/local/bin/${name}" - ln -sfn "/opt/two/local/bin/${name}" "/opt/two/bin/${name}" - echo "lab: ${name} compilé en local remplace celui de la release ${RELEASE}" -done -for unit in "${LAB_FILES}"/bin/*.service; do - [ -f "${unit}" ] || continue - name=$(basename "${unit}") - install -m 0644 "${unit}" "/etc/systemd/system/${name}" - systemctl daemon-reload - systemctl enable "${name}" - systemctl restart "${name}" - echo "lab: unité ${name} de l'arbre local installée par-dessus la release ${RELEASE}" -done +case "${MODE}" in + tree) + install -m 0755 "${LAB_FILES}/scripts/deploy.sh" "${LAB_FILES}/scripts/bootstrap_kvm.sh" . + echo "lab: arbre courant ${VERSION}, déployé depuis ${ASSETS} sans téléchargement" + bash ./deploy.sh --noup_script -i -u "${LAB_UPLINK}" -N "${PUBLIC_VNI}" -a "${ASSETS}" -t "${VERSION}" + ;; + release) + for script in deploy.sh bootstrap_kvm.sh; do + curl -fsS -o "${script}" "${GIT_SERVER}${REPO}/raw/tag/${VERSION}/scripts/${script}" + done + chmod 0755 deploy.sh bootstrap_kvm.sh + echo "lab: release ${VERSION}, déployée telle que publiée" + bash ./deploy.sh --noup_script -i -u "${LAB_UPLINK}" -t "${VERSION}" + ;; +esac