diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index 49a0ba3..d0a5a4b 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -149,7 +149,10 @@ livré le 2026-10-11 un E5-2670 de 2012, x86-64-v2, sur lequel Rocky 10 ne déma ``prepare`` refuse donc un serveur sans x86-64-v3 — dans une ``session``, il est aussitôt supprimé. La zone n'est pas imposée : ``plan`` et ``up`` prennent la première zone de ``LAB_ZONES`` (par défaut toutes les zones Elastic Metal) où l'offre est en stock, ``SCW_DEFAULT_ZONE`` -passant en tête ; ``status`` et ``down`` couvrent toutes ces zones. +passant en tête ; ``status`` et ``down`` couvrent toutes ces zones. Une zone dont la liste échoue +est signalée sans masquer les autres : ``status`` affiche ce qui a répondu, ``down`` supprime les +serveurs listés, et tous deux sortent en erreur ; ``up`` refuse de créer tant qu'une zone reste +inconnue. ``session`` est la forme normale d'usage : le serveur est supprimé à la fin, que la commande réussisse, échoue, ou que la session soit interrompue (Ctrl-C, ``TERM``, fermeture du terminal). diff --git a/scripts/lab-host.sh b/scripts/lab-host.sh index 77ab32d..5072f5f 100755 --- a/scripts/lab-host.sh +++ b/scripts/lab-host.sh @@ -175,14 +175,18 @@ build_request () { } lab_servers () { - local JSON Z ALL="[]" + local JSON Z ALL="[]" RC=0 for Z in ${ZONES}; do - JSON=$(api GET "/baremetal/v1/zones/${Z}/servers?project_id=${PROJECT_ID}&tags=${LAB_TAG}&page_size=100") \ - || return 1 + if ! JSON=$(api GET "/baremetal/v1/zones/${Z}/servers?project_id=${PROJECT_ID}&tags=${LAB_TAG}&page_size=100"); then + warn "zone ${Z} : liste des serveurs de lab indisponible" + RC=1 + continue + fi ALL=$(jq -c --argjson all "${ALL}" --arg p "${PROJECT_ID}" --arg t "${LAB_TAG}" --arg z "${Z}" \ '$all + [.servers[] | select(.project_id == $p and (.tags | index($t))) | . + {zone: $z}]' <<< "${JSON}") done printf '%s\n' "${ALL}" + return "${RC}" } server_ip () { @@ -279,7 +283,8 @@ require_no_lab_server () { report_uncertain_creation () { local FOUND - if FOUND=$(lab_servers) && [[ $(jq 'length' <<< "${FOUND}") -gt 0 ]]; then + FOUND=$(lab_servers) + if [[ $(jq 'length' <<< "${FOUND}") -gt 0 ]]; then warn "un serveur de lab existe bien : $(jq -r '[.[].id] | join(", ")' <<< "${FOUND}")" fi die "création incertaine : le serveur a pu être créé et être facturé ; '${0##*/} status' puis '${0##*/} down'" @@ -312,13 +317,14 @@ cmd_up () { } cmd_status () { - local SERVERS - SERVERS=$(lab_servers) || die "impossible de lister les serveurs de lab" + local SERVERS RC=0 + SERVERS=$(lab_servers) || RC=1 if [[ $(jq 'length' <<< "${SERVERS}") -eq 0 ]]; then - info "aucun serveur de lab dans le projet ${PROJECT_ID} (${ZONES})" - return 0 + [[ "${RC}" -eq 0 ]] && info "aucun serveur de lab dans le projet ${PROJECT_ID} (${ZONES})" + else + jq -r '.[] | "\(.zone) \(.id) \(.name) \(.offer_name) \(.status) installation \(.install.status // "none") \(.created_at) \([.ips[] | select(.version == "IPv4") | .address] | join(","))"' <<< "${SERVERS}" fi - jq -r '.[] | "\(.zone) \(.id) \(.name) \(.offer_name) \(.status) installation \(.install.status // "none") \(.created_at) \([.ips[] | select(.version == "IPv4") | .address] | join(","))"' <<< "${SERVERS}" + [[ "${RC}" -eq 0 ]] || die "liste incomplète : des serveurs de lab peuvent exister dans les zones en erreur" } require_known_server () { @@ -424,24 +430,24 @@ wait_gone () { lab_server_ids () { local DEADLINE=$(( SECONDS + DELETE_TIMEOUT )) - local SERVERS + local SERVERS="[]" while (( SECONDS < DEADLINE )); do if SERVERS=$(lab_servers); then jq -r '.[] | "\(.zone) \(.id)"' <<< "${SERVERS}" return 0 fi - warn "liste des serveurs de lab indisponible, nouvel essai dans ${POLL_INTERVAL}s" + warn "liste des serveurs de lab incomplète, nouvel essai dans ${POLL_INTERVAL}s" sleep "${POLL_INTERVAL}" done + jq -r '.[] | "\(.zone) \(.id)"' <<< "${SERVERS}" return 1 } cmd_down () { local IDS ID FAILED=0 if ! IDS=$(lab_server_ids); then - warn "impossible de lister les serveurs de lab après ${DELETE_TIMEOUT}s" + warn "liste des serveurs de lab incomplète après ${DELETE_TIMEOUT}s : suppression de ceux qui sont listés" FAILED=1 - IDS="" fi IDS=$(printf '%s\n%s\n' "${IDS}" "${CREATED_ID}" | grep -v '^$' | sort -u) while read -r ZONE ID; do diff --git a/scripts/lab-host_test.sh b/scripts/lab-host_test.sh index 12f44f3..8e8d848 100755 --- a/scripts/lab-host_test.sh +++ b/scripts/lab-host_test.sh @@ -73,6 +73,8 @@ if method == "GET" and path == zone + "/os": if method == "GET" and path == "/iam/v1alpha1/ssh-keys": reply(200, {"ssh_keys": st["keys"], "total_count": len(st["keys"])}) if method == "GET" and path == zone + "/servers": + if st.get("zones", {}).get(zname, {}).get("list_fail"): + reply(503, {"message": "service unavailable"}) if st["list_errors"] > 0: st["list_errors"] -= 1 reply(503, {"message": "service unavailable"}) @@ -470,6 +472,33 @@ test_down_fails_loudly_when_listing_never_works () { teardown } +test_down_deletes_what_answering_zones_list_when_one_zone_fails () { + setup "down : une zone en erreur n'empêche pas de supprimer les serveurs des autres" + mutate ".servers[\"srv-lab\"] = ${LAB_SERVER} | .zones = {\"nl-ams-2\": {list_fail: true}}" + LAB_ZONES="fr-par-1 nl-ams-2" LAB_DELETE_TIMEOUT=1 run_lab down && fail "down a réussi malgré une zone en erreur" + [[ $(remaining) == "foreign-1,foreign-2" ]] || fail "restants : $(remaining)" + grep -q "zone nl-ams-2" "${WORK}/out.log" || fail "zone en erreur non signalée" + grep -q "TOUJOURS FACTURÉ" "${WORK}/out.log" || fail "pas d'alerte de facturation" + teardown +} + +test_status_lists_answering_zones_and_fails_when_one_zone_fails () { + setup "status : liste les zones qui répondent, échoue si une zone est en erreur" + mutate ".servers[\"srv-lab\"] = ${LAB_SERVER} | .zones = {\"nl-ams-2\": {list_fail: true}}" + LAB_ZONES="fr-par-1 nl-ams-2" run_lab status && fail "status a réussi malgré une zone en erreur" + grep -q "^fr-par-1 srv-lab " "${WORK}/out.log" || fail "srv-lab non listé" + grep -q "liste incomplète" "${WORK}/out.log" || fail "liste incomplète non signalée" + teardown +} + +test_up_refuses_when_one_zone_cannot_be_listed () { + setup "up : refus si une zone ne peut pas être listée" + mutate '.zones = {"nl-ams-2": {list_fail: true}} | .progress = [["ready","completed"]]' + LAB_ZONES="fr-par-1 nl-ams-2" run_lab up && fail "up a réussi" + grep -q "^POST" "${WORK}/calls.log" && fail "serveur créé sans connaître toutes les zones" + teardown +} + test_session_deletes_created_server_even_if_missing_from_list () { setup "session : supprime le serveur créé même absent de la liste" mutate '.hide_from_list = true | .progress = [["ready","completed"]]'