f-41: lab-host: une zone en erreur ne masque plus les autres #41
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
c9d0002041
commit
7ec298fcc1
3 changed files with 52 additions and 14 deletions
|
|
@ -149,7 +149,10 @@ livré le 2026-10-11 un E5-2670 de 2012, x86-64-v2, sur lequel Rocky 10 ne déma
|
|||
``prepare`` refuse donc un serveur sans x86-64-v3 — dans une ``session``, il est aussitôt
|
||||
supprimé. La zone n'est pas imposée : ``plan`` et ``up`` prennent la première zone de
|
||||
``LAB_ZONES`` (par défaut toutes les zones Elastic Metal) où l'offre est en stock, ``SCW_DEFAULT_ZONE``
|
||||
passant en tête ; ``status`` et ``down`` couvrent toutes ces zones.
|
||||
passant en tête ; ``status`` et ``down`` couvrent toutes ces zones. Une zone dont la liste échoue
|
||||
est signalée sans masquer les autres : ``status`` affiche ce qui a répondu, ``down`` supprime les
|
||||
serveurs listés, et tous deux sortent en erreur ; ``up`` refuse de créer tant qu'une zone reste
|
||||
inconnue.
|
||||
|
||||
``session`` est la forme normale d'usage : le serveur est supprimé à la fin, que la commande
|
||||
réussisse, échoue, ou que la session soit interrompue (Ctrl-C, ``TERM``, fermeture du terminal).
|
||||
|
|
|
|||
|
|
@ -175,14 +175,18 @@ build_request () {
|
|||
}
|
||||
|
||||
lab_servers () {
|
||||
local JSON Z ALL="[]"
|
||||
local JSON Z ALL="[]" RC=0
|
||||
for Z in ${ZONES}; do
|
||||
JSON=$(api GET "/baremetal/v1/zones/${Z}/servers?project_id=${PROJECT_ID}&tags=${LAB_TAG}&page_size=100") \
|
||||
|| return 1
|
||||
if ! JSON=$(api GET "/baremetal/v1/zones/${Z}/servers?project_id=${PROJECT_ID}&tags=${LAB_TAG}&page_size=100"); then
|
||||
warn "zone ${Z} : liste des serveurs de lab indisponible"
|
||||
RC=1
|
||||
continue
|
||||
fi
|
||||
ALL=$(jq -c --argjson all "${ALL}" --arg p "${PROJECT_ID}" --arg t "${LAB_TAG}" --arg z "${Z}" \
|
||||
'$all + [.servers[] | select(.project_id == $p and (.tags | index($t))) | . + {zone: $z}]' <<< "${JSON}")
|
||||
done
|
||||
printf '%s\n' "${ALL}"
|
||||
return "${RC}"
|
||||
}
|
||||
|
||||
server_ip () {
|
||||
|
|
@ -279,7 +283,8 @@ require_no_lab_server () {
|
|||
|
||||
report_uncertain_creation () {
|
||||
local FOUND
|
||||
if FOUND=$(lab_servers) && [[ $(jq 'length' <<< "${FOUND}") -gt 0 ]]; then
|
||||
FOUND=$(lab_servers)
|
||||
if [[ $(jq 'length' <<< "${FOUND}") -gt 0 ]]; then
|
||||
warn "un serveur de lab existe bien : $(jq -r '[.[].id] | join(", ")' <<< "${FOUND}")"
|
||||
fi
|
||||
die "création incertaine : le serveur a pu être créé et être facturé ; '${0##*/} status' puis '${0##*/} down'"
|
||||
|
|
@ -312,13 +317,14 @@ cmd_up () {
|
|||
}
|
||||
|
||||
cmd_status () {
|
||||
local SERVERS
|
||||
SERVERS=$(lab_servers) || die "impossible de lister les serveurs de lab"
|
||||
local SERVERS RC=0
|
||||
SERVERS=$(lab_servers) || RC=1
|
||||
if [[ $(jq 'length' <<< "${SERVERS}") -eq 0 ]]; then
|
||||
info "aucun serveur de lab dans le projet ${PROJECT_ID} (${ZONES})"
|
||||
return 0
|
||||
[[ "${RC}" -eq 0 ]] && info "aucun serveur de lab dans le projet ${PROJECT_ID} (${ZONES})"
|
||||
else
|
||||
jq -r '.[] | "\(.zone) \(.id) \(.name) \(.offer_name) \(.status) installation \(.install.status // "none") \(.created_at) \([.ips[] | select(.version == "IPv4") | .address] | join(","))"' <<< "${SERVERS}"
|
||||
fi
|
||||
jq -r '.[] | "\(.zone) \(.id) \(.name) \(.offer_name) \(.status) installation \(.install.status // "none") \(.created_at) \([.ips[] | select(.version == "IPv4") | .address] | join(","))"' <<< "${SERVERS}"
|
||||
[[ "${RC}" -eq 0 ]] || die "liste incomplète : des serveurs de lab peuvent exister dans les zones en erreur"
|
||||
}
|
||||
|
||||
require_known_server () {
|
||||
|
|
@ -424,24 +430,24 @@ wait_gone () {
|
|||
|
||||
lab_server_ids () {
|
||||
local DEADLINE=$(( SECONDS + DELETE_TIMEOUT ))
|
||||
local SERVERS
|
||||
local SERVERS="[]"
|
||||
while (( SECONDS < DEADLINE )); do
|
||||
if SERVERS=$(lab_servers); then
|
||||
jq -r '.[] | "\(.zone) \(.id)"' <<< "${SERVERS}"
|
||||
return 0
|
||||
fi
|
||||
warn "liste des serveurs de lab indisponible, nouvel essai dans ${POLL_INTERVAL}s"
|
||||
warn "liste des serveurs de lab incomplète, nouvel essai dans ${POLL_INTERVAL}s"
|
||||
sleep "${POLL_INTERVAL}"
|
||||
done
|
||||
jq -r '.[] | "\(.zone) \(.id)"' <<< "${SERVERS}"
|
||||
return 1
|
||||
}
|
||||
|
||||
cmd_down () {
|
||||
local IDS ID FAILED=0
|
||||
if ! IDS=$(lab_server_ids); then
|
||||
warn "impossible de lister les serveurs de lab après ${DELETE_TIMEOUT}s"
|
||||
warn "liste des serveurs de lab incomplète après ${DELETE_TIMEOUT}s : suppression de ceux qui sont listés"
|
||||
FAILED=1
|
||||
IDS=""
|
||||
fi
|
||||
IDS=$(printf '%s\n%s\n' "${IDS}" "${CREATED_ID}" | grep -v '^$' | sort -u)
|
||||
while read -r ZONE ID; do
|
||||
|
|
|
|||
|
|
@ -73,6 +73,8 @@ if method == "GET" and path == zone + "/os":
|
|||
if method == "GET" and path == "/iam/v1alpha1/ssh-keys":
|
||||
reply(200, {"ssh_keys": st["keys"], "total_count": len(st["keys"])})
|
||||
if method == "GET" and path == zone + "/servers":
|
||||
if st.get("zones", {}).get(zname, {}).get("list_fail"):
|
||||
reply(503, {"message": "service unavailable"})
|
||||
if st["list_errors"] > 0:
|
||||
st["list_errors"] -= 1
|
||||
reply(503, {"message": "service unavailable"})
|
||||
|
|
@ -470,6 +472,33 @@ test_down_fails_loudly_when_listing_never_works () {
|
|||
teardown
|
||||
}
|
||||
|
||||
test_down_deletes_what_answering_zones_list_when_one_zone_fails () {
|
||||
setup "down : une zone en erreur n'empêche pas de supprimer les serveurs des autres"
|
||||
mutate ".servers[\"srv-lab\"] = ${LAB_SERVER} | .zones = {\"nl-ams-2\": {list_fail: true}}"
|
||||
LAB_ZONES="fr-par-1 nl-ams-2" LAB_DELETE_TIMEOUT=1 run_lab down && fail "down a réussi malgré une zone en erreur"
|
||||
[[ $(remaining) == "foreign-1,foreign-2" ]] || fail "restants : $(remaining)"
|
||||
grep -q "zone nl-ams-2" "${WORK}/out.log" || fail "zone en erreur non signalée"
|
||||
grep -q "TOUJOURS FACTURÉ" "${WORK}/out.log" || fail "pas d'alerte de facturation"
|
||||
teardown
|
||||
}
|
||||
|
||||
test_status_lists_answering_zones_and_fails_when_one_zone_fails () {
|
||||
setup "status : liste les zones qui répondent, échoue si une zone est en erreur"
|
||||
mutate ".servers[\"srv-lab\"] = ${LAB_SERVER} | .zones = {\"nl-ams-2\": {list_fail: true}}"
|
||||
LAB_ZONES="fr-par-1 nl-ams-2" run_lab status && fail "status a réussi malgré une zone en erreur"
|
||||
grep -q "^fr-par-1 srv-lab " "${WORK}/out.log" || fail "srv-lab non listé"
|
||||
grep -q "liste incomplète" "${WORK}/out.log" || fail "liste incomplète non signalée"
|
||||
teardown
|
||||
}
|
||||
|
||||
test_up_refuses_when_one_zone_cannot_be_listed () {
|
||||
setup "up : refus si une zone ne peut pas être listée"
|
||||
mutate '.zones = {"nl-ams-2": {list_fail: true}} | .progress = [["ready","completed"]]'
|
||||
LAB_ZONES="fr-par-1 nl-ams-2" run_lab up && fail "up a réussi"
|
||||
grep -q "^POST" "${WORK}/calls.log" && fail "serveur créé sans connaître toutes les zones"
|
||||
teardown
|
||||
}
|
||||
|
||||
test_session_deletes_created_server_even_if_missing_from_list () {
|
||||
setup "session : supprime le serveur créé même absent de la liste"
|
||||
mutate '.hide_from_list = true | .progress = [["ready","completed"]]'
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue