f-41: lab-host: une zone en erreur ne masque plus les autres #41

Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
GnomeZworc 2026-10-12 13:05:19 +02:00
commit 7ec298fcc1
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
3 changed files with 52 additions and 14 deletions

View file

@ -175,14 +175,18 @@ build_request () {
}
lab_servers () {
local JSON Z ALL="[]"
local JSON Z ALL="[]" RC=0
for Z in ${ZONES}; do
JSON=$(api GET "/baremetal/v1/zones/${Z}/servers?project_id=${PROJECT_ID}&tags=${LAB_TAG}&page_size=100") \
|| return 1
if ! JSON=$(api GET "/baremetal/v1/zones/${Z}/servers?project_id=${PROJECT_ID}&tags=${LAB_TAG}&page_size=100"); then
warn "zone ${Z} : liste des serveurs de lab indisponible"
RC=1
continue
fi
ALL=$(jq -c --argjson all "${ALL}" --arg p "${PROJECT_ID}" --arg t "${LAB_TAG}" --arg z "${Z}" \
'$all + [.servers[] | select(.project_id == $p and (.tags | index($t))) | . + {zone: $z}]' <<< "${JSON}")
done
printf '%s\n' "${ALL}"
return "${RC}"
}
server_ip () {
@ -279,7 +283,8 @@ require_no_lab_server () {
report_uncertain_creation () {
local FOUND
if FOUND=$(lab_servers) && [[ $(jq 'length' <<< "${FOUND}") -gt 0 ]]; then
FOUND=$(lab_servers)
if [[ $(jq 'length' <<< "${FOUND}") -gt 0 ]]; then
warn "un serveur de lab existe bien : $(jq -r '[.[].id] | join(", ")' <<< "${FOUND}")"
fi
die "création incertaine : le serveur a pu être créé et être facturé ; '${0##*/} status' puis '${0##*/} down'"
@ -312,13 +317,14 @@ cmd_up () {
}
cmd_status () {
local SERVERS
SERVERS=$(lab_servers) || die "impossible de lister les serveurs de lab"
local SERVERS RC=0
SERVERS=$(lab_servers) || RC=1
if [[ $(jq 'length' <<< "${SERVERS}") -eq 0 ]]; then
info "aucun serveur de lab dans le projet ${PROJECT_ID} (${ZONES})"
return 0
[[ "${RC}" -eq 0 ]] && info "aucun serveur de lab dans le projet ${PROJECT_ID} (${ZONES})"
else
jq -r '.[] | "\(.zone) \(.id) \(.name) \(.offer_name) \(.status) installation \(.install.status // "none") \(.created_at) \([.ips[] | select(.version == "IPv4") | .address] | join(","))"' <<< "${SERVERS}"
fi
jq -r '.[] | "\(.zone) \(.id) \(.name) \(.offer_name) \(.status) installation \(.install.status // "none") \(.created_at) \([.ips[] | select(.version == "IPv4") | .address] | join(","))"' <<< "${SERVERS}"
[[ "${RC}" -eq 0 ]] || die "liste incomplète : des serveurs de lab peuvent exister dans les zones en erreur"
}
require_known_server () {
@ -424,24 +430,24 @@ wait_gone () {
lab_server_ids () {
local DEADLINE=$(( SECONDS + DELETE_TIMEOUT ))
local SERVERS
local SERVERS="[]"
while (( SECONDS < DEADLINE )); do
if SERVERS=$(lab_servers); then
jq -r '.[] | "\(.zone) \(.id)"' <<< "${SERVERS}"
return 0
fi
warn "liste des serveurs de lab indisponible, nouvel essai dans ${POLL_INTERVAL}s"
warn "liste des serveurs de lab incomplète, nouvel essai dans ${POLL_INTERVAL}s"
sleep "${POLL_INTERVAL}"
done
jq -r '.[] | "\(.zone) \(.id)"' <<< "${SERVERS}"
return 1
}
cmd_down () {
local IDS ID FAILED=0
if ! IDS=$(lab_server_ids); then
warn "impossible de lister les serveurs de lab après ${DELETE_TIMEOUT}s"
warn "liste des serveurs de lab incomplète après ${DELETE_TIMEOUT}s : suppression de ceux qui sont listés"
FAILED=1
IDS=""
fi
IDS=$(printf '%s\n%s\n' "${IDS}" "${CREATED_ID}" | grep -v '^$' | sort -u)
while read -r ZONE ID; do

View file

@ -73,6 +73,8 @@ if method == "GET" and path == zone + "/os":
if method == "GET" and path == "/iam/v1alpha1/ssh-keys":
reply(200, {"ssh_keys": st["keys"], "total_count": len(st["keys"])})
if method == "GET" and path == zone + "/servers":
if st.get("zones", {}).get(zname, {}).get("list_fail"):
reply(503, {"message": "service unavailable"})
if st["list_errors"] > 0:
st["list_errors"] -= 1
reply(503, {"message": "service unavailable"})
@ -470,6 +472,33 @@ test_down_fails_loudly_when_listing_never_works () {
teardown
}
test_down_deletes_what_answering_zones_list_when_one_zone_fails () {
setup "down : une zone en erreur n'empêche pas de supprimer les serveurs des autres"
mutate ".servers[\"srv-lab\"] = ${LAB_SERVER} | .zones = {\"nl-ams-2\": {list_fail: true}}"
LAB_ZONES="fr-par-1 nl-ams-2" LAB_DELETE_TIMEOUT=1 run_lab down && fail "down a réussi malgré une zone en erreur"
[[ $(remaining) == "foreign-1,foreign-2" ]] || fail "restants : $(remaining)"
grep -q "zone nl-ams-2" "${WORK}/out.log" || fail "zone en erreur non signalée"
grep -q "TOUJOURS FACTURÉ" "${WORK}/out.log" || fail "pas d'alerte de facturation"
teardown
}
test_status_lists_answering_zones_and_fails_when_one_zone_fails () {
setup "status : liste les zones qui répondent, échoue si une zone est en erreur"
mutate ".servers[\"srv-lab\"] = ${LAB_SERVER} | .zones = {\"nl-ams-2\": {list_fail: true}}"
LAB_ZONES="fr-par-1 nl-ams-2" run_lab status && fail "status a réussi malgré une zone en erreur"
grep -q "^fr-par-1 srv-lab " "${WORK}/out.log" || fail "srv-lab non listé"
grep -q "liste incomplète" "${WORK}/out.log" || fail "liste incomplète non signalée"
teardown
}
test_up_refuses_when_one_zone_cannot_be_listed () {
setup "up : refus si une zone ne peut pas être listée"
mutate '.zones = {"nl-ams-2": {list_fail: true}} | .progress = [["ready","completed"]]'
LAB_ZONES="fr-par-1 nl-ams-2" run_lab up && fail "up a réussi"
grep -q "^POST" "${WORK}/calls.log" && fail "serveur créé sans connaître toutes les zones"
teardown
}
test_session_deletes_created_server_even_if_missing_from_list () {
setup "session : supprime le serveur créé même absent de la liste"
mutate '.hide_from_list = true | .progress = [["ready","completed"]]'