f-41: lab-host: une zone en erreur ne masque plus les autres #41
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
c9d0002041
commit
7ec298fcc1
3 changed files with 52 additions and 14 deletions
|
|
@ -149,7 +149,10 @@ livré le 2026-10-11 un E5-2670 de 2012, x86-64-v2, sur lequel Rocky 10 ne déma
|
||||||
``prepare`` refuse donc un serveur sans x86-64-v3 — dans une ``session``, il est aussitôt
|
``prepare`` refuse donc un serveur sans x86-64-v3 — dans une ``session``, il est aussitôt
|
||||||
supprimé. La zone n'est pas imposée : ``plan`` et ``up`` prennent la première zone de
|
supprimé. La zone n'est pas imposée : ``plan`` et ``up`` prennent la première zone de
|
||||||
``LAB_ZONES`` (par défaut toutes les zones Elastic Metal) où l'offre est en stock, ``SCW_DEFAULT_ZONE``
|
``LAB_ZONES`` (par défaut toutes les zones Elastic Metal) où l'offre est en stock, ``SCW_DEFAULT_ZONE``
|
||||||
passant en tête ; ``status`` et ``down`` couvrent toutes ces zones.
|
passant en tête ; ``status`` et ``down`` couvrent toutes ces zones. Une zone dont la liste échoue
|
||||||
|
est signalée sans masquer les autres : ``status`` affiche ce qui a répondu, ``down`` supprime les
|
||||||
|
serveurs listés, et tous deux sortent en erreur ; ``up`` refuse de créer tant qu'une zone reste
|
||||||
|
inconnue.
|
||||||
|
|
||||||
``session`` est la forme normale d'usage : le serveur est supprimé à la fin, que la commande
|
``session`` est la forme normale d'usage : le serveur est supprimé à la fin, que la commande
|
||||||
réussisse, échoue, ou que la session soit interrompue (Ctrl-C, ``TERM``, fermeture du terminal).
|
réussisse, échoue, ou que la session soit interrompue (Ctrl-C, ``TERM``, fermeture du terminal).
|
||||||
|
|
|
||||||
|
|
@ -175,14 +175,18 @@ build_request () {
|
||||||
}
|
}
|
||||||
|
|
||||||
lab_servers () {
|
lab_servers () {
|
||||||
local JSON Z ALL="[]"
|
local JSON Z ALL="[]" RC=0
|
||||||
for Z in ${ZONES}; do
|
for Z in ${ZONES}; do
|
||||||
JSON=$(api GET "/baremetal/v1/zones/${Z}/servers?project_id=${PROJECT_ID}&tags=${LAB_TAG}&page_size=100") \
|
if ! JSON=$(api GET "/baremetal/v1/zones/${Z}/servers?project_id=${PROJECT_ID}&tags=${LAB_TAG}&page_size=100"); then
|
||||||
|| return 1
|
warn "zone ${Z} : liste des serveurs de lab indisponible"
|
||||||
|
RC=1
|
||||||
|
continue
|
||||||
|
fi
|
||||||
ALL=$(jq -c --argjson all "${ALL}" --arg p "${PROJECT_ID}" --arg t "${LAB_TAG}" --arg z "${Z}" \
|
ALL=$(jq -c --argjson all "${ALL}" --arg p "${PROJECT_ID}" --arg t "${LAB_TAG}" --arg z "${Z}" \
|
||||||
'$all + [.servers[] | select(.project_id == $p and (.tags | index($t))) | . + {zone: $z}]' <<< "${JSON}")
|
'$all + [.servers[] | select(.project_id == $p and (.tags | index($t))) | . + {zone: $z}]' <<< "${JSON}")
|
||||||
done
|
done
|
||||||
printf '%s\n' "${ALL}"
|
printf '%s\n' "${ALL}"
|
||||||
|
return "${RC}"
|
||||||
}
|
}
|
||||||
|
|
||||||
server_ip () {
|
server_ip () {
|
||||||
|
|
@ -279,7 +283,8 @@ require_no_lab_server () {
|
||||||
|
|
||||||
report_uncertain_creation () {
|
report_uncertain_creation () {
|
||||||
local FOUND
|
local FOUND
|
||||||
if FOUND=$(lab_servers) && [[ $(jq 'length' <<< "${FOUND}") -gt 0 ]]; then
|
FOUND=$(lab_servers)
|
||||||
|
if [[ $(jq 'length' <<< "${FOUND}") -gt 0 ]]; then
|
||||||
warn "un serveur de lab existe bien : $(jq -r '[.[].id] | join(", ")' <<< "${FOUND}")"
|
warn "un serveur de lab existe bien : $(jq -r '[.[].id] | join(", ")' <<< "${FOUND}")"
|
||||||
fi
|
fi
|
||||||
die "création incertaine : le serveur a pu être créé et être facturé ; '${0##*/} status' puis '${0##*/} down'"
|
die "création incertaine : le serveur a pu être créé et être facturé ; '${0##*/} status' puis '${0##*/} down'"
|
||||||
|
|
@ -312,13 +317,14 @@ cmd_up () {
|
||||||
}
|
}
|
||||||
|
|
||||||
cmd_status () {
|
cmd_status () {
|
||||||
local SERVERS
|
local SERVERS RC=0
|
||||||
SERVERS=$(lab_servers) || die "impossible de lister les serveurs de lab"
|
SERVERS=$(lab_servers) || RC=1
|
||||||
if [[ $(jq 'length' <<< "${SERVERS}") -eq 0 ]]; then
|
if [[ $(jq 'length' <<< "${SERVERS}") -eq 0 ]]; then
|
||||||
info "aucun serveur de lab dans le projet ${PROJECT_ID} (${ZONES})"
|
[[ "${RC}" -eq 0 ]] && info "aucun serveur de lab dans le projet ${PROJECT_ID} (${ZONES})"
|
||||||
return 0
|
else
|
||||||
|
jq -r '.[] | "\(.zone) \(.id) \(.name) \(.offer_name) \(.status) installation \(.install.status // "none") \(.created_at) \([.ips[] | select(.version == "IPv4") | .address] | join(","))"' <<< "${SERVERS}"
|
||||||
fi
|
fi
|
||||||
jq -r '.[] | "\(.zone) \(.id) \(.name) \(.offer_name) \(.status) installation \(.install.status // "none") \(.created_at) \([.ips[] | select(.version == "IPv4") | .address] | join(","))"' <<< "${SERVERS}"
|
[[ "${RC}" -eq 0 ]] || die "liste incomplète : des serveurs de lab peuvent exister dans les zones en erreur"
|
||||||
}
|
}
|
||||||
|
|
||||||
require_known_server () {
|
require_known_server () {
|
||||||
|
|
@ -424,24 +430,24 @@ wait_gone () {
|
||||||
|
|
||||||
lab_server_ids () {
|
lab_server_ids () {
|
||||||
local DEADLINE=$(( SECONDS + DELETE_TIMEOUT ))
|
local DEADLINE=$(( SECONDS + DELETE_TIMEOUT ))
|
||||||
local SERVERS
|
local SERVERS="[]"
|
||||||
while (( SECONDS < DEADLINE )); do
|
while (( SECONDS < DEADLINE )); do
|
||||||
if SERVERS=$(lab_servers); then
|
if SERVERS=$(lab_servers); then
|
||||||
jq -r '.[] | "\(.zone) \(.id)"' <<< "${SERVERS}"
|
jq -r '.[] | "\(.zone) \(.id)"' <<< "${SERVERS}"
|
||||||
return 0
|
return 0
|
||||||
fi
|
fi
|
||||||
warn "liste des serveurs de lab indisponible, nouvel essai dans ${POLL_INTERVAL}s"
|
warn "liste des serveurs de lab incomplète, nouvel essai dans ${POLL_INTERVAL}s"
|
||||||
sleep "${POLL_INTERVAL}"
|
sleep "${POLL_INTERVAL}"
|
||||||
done
|
done
|
||||||
|
jq -r '.[] | "\(.zone) \(.id)"' <<< "${SERVERS}"
|
||||||
return 1
|
return 1
|
||||||
}
|
}
|
||||||
|
|
||||||
cmd_down () {
|
cmd_down () {
|
||||||
local IDS ID FAILED=0
|
local IDS ID FAILED=0
|
||||||
if ! IDS=$(lab_server_ids); then
|
if ! IDS=$(lab_server_ids); then
|
||||||
warn "impossible de lister les serveurs de lab après ${DELETE_TIMEOUT}s"
|
warn "liste des serveurs de lab incomplète après ${DELETE_TIMEOUT}s : suppression de ceux qui sont listés"
|
||||||
FAILED=1
|
FAILED=1
|
||||||
IDS=""
|
|
||||||
fi
|
fi
|
||||||
IDS=$(printf '%s\n%s\n' "${IDS}" "${CREATED_ID}" | grep -v '^$' | sort -u)
|
IDS=$(printf '%s\n%s\n' "${IDS}" "${CREATED_ID}" | grep -v '^$' | sort -u)
|
||||||
while read -r ZONE ID; do
|
while read -r ZONE ID; do
|
||||||
|
|
|
||||||
|
|
@ -73,6 +73,8 @@ if method == "GET" and path == zone + "/os":
|
||||||
if method == "GET" and path == "/iam/v1alpha1/ssh-keys":
|
if method == "GET" and path == "/iam/v1alpha1/ssh-keys":
|
||||||
reply(200, {"ssh_keys": st["keys"], "total_count": len(st["keys"])})
|
reply(200, {"ssh_keys": st["keys"], "total_count": len(st["keys"])})
|
||||||
if method == "GET" and path == zone + "/servers":
|
if method == "GET" and path == zone + "/servers":
|
||||||
|
if st.get("zones", {}).get(zname, {}).get("list_fail"):
|
||||||
|
reply(503, {"message": "service unavailable"})
|
||||||
if st["list_errors"] > 0:
|
if st["list_errors"] > 0:
|
||||||
st["list_errors"] -= 1
|
st["list_errors"] -= 1
|
||||||
reply(503, {"message": "service unavailable"})
|
reply(503, {"message": "service unavailable"})
|
||||||
|
|
@ -470,6 +472,33 @@ test_down_fails_loudly_when_listing_never_works () {
|
||||||
teardown
|
teardown
|
||||||
}
|
}
|
||||||
|
|
||||||
|
test_down_deletes_what_answering_zones_list_when_one_zone_fails () {
|
||||||
|
setup "down : une zone en erreur n'empêche pas de supprimer les serveurs des autres"
|
||||||
|
mutate ".servers[\"srv-lab\"] = ${LAB_SERVER} | .zones = {\"nl-ams-2\": {list_fail: true}}"
|
||||||
|
LAB_ZONES="fr-par-1 nl-ams-2" LAB_DELETE_TIMEOUT=1 run_lab down && fail "down a réussi malgré une zone en erreur"
|
||||||
|
[[ $(remaining) == "foreign-1,foreign-2" ]] || fail "restants : $(remaining)"
|
||||||
|
grep -q "zone nl-ams-2" "${WORK}/out.log" || fail "zone en erreur non signalée"
|
||||||
|
grep -q "TOUJOURS FACTURÉ" "${WORK}/out.log" || fail "pas d'alerte de facturation"
|
||||||
|
teardown
|
||||||
|
}
|
||||||
|
|
||||||
|
test_status_lists_answering_zones_and_fails_when_one_zone_fails () {
|
||||||
|
setup "status : liste les zones qui répondent, échoue si une zone est en erreur"
|
||||||
|
mutate ".servers[\"srv-lab\"] = ${LAB_SERVER} | .zones = {\"nl-ams-2\": {list_fail: true}}"
|
||||||
|
LAB_ZONES="fr-par-1 nl-ams-2" run_lab status && fail "status a réussi malgré une zone en erreur"
|
||||||
|
grep -q "^fr-par-1 srv-lab " "${WORK}/out.log" || fail "srv-lab non listé"
|
||||||
|
grep -q "liste incomplète" "${WORK}/out.log" || fail "liste incomplète non signalée"
|
||||||
|
teardown
|
||||||
|
}
|
||||||
|
|
||||||
|
test_up_refuses_when_one_zone_cannot_be_listed () {
|
||||||
|
setup "up : refus si une zone ne peut pas être listée"
|
||||||
|
mutate '.zones = {"nl-ams-2": {list_fail: true}} | .progress = [["ready","completed"]]'
|
||||||
|
LAB_ZONES="fr-par-1 nl-ams-2" run_lab up && fail "up a réussi"
|
||||||
|
grep -q "^POST" "${WORK}/calls.log" && fail "serveur créé sans connaître toutes les zones"
|
||||||
|
teardown
|
||||||
|
}
|
||||||
|
|
||||||
test_session_deletes_created_server_even_if_missing_from_list () {
|
test_session_deletes_created_server_even_if_missing_from_list () {
|
||||||
setup "session : supprime le serveur créé même absent de la liste"
|
setup "session : supprime le serveur créé même absent de la liste"
|
||||||
mutate '.hide_from_list = true | .progress = [["ready","completed"]]'
|
mutate '.hide_from_list = true | .progress = [["ready","completed"]]'
|
||||||
|
|
|
||||||
Loading…
Add table
Add a link
Reference in a new issue