f-70: e2e: marqueurs d'échec connu (known, known_flaky, --connus) rattachés aux tickets #70

Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
GnomeZworc 2026-10-17 22:59:02 +02:00
commit a53dd6d0d7
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
11 changed files with 89 additions and 23 deletions

View file

@ -16,6 +16,26 @@ check () {
fi
}
known () {
local ticket="${1}" desc="${2}" out
shift 2
if out=$("$@" 2>&1); then
echo "INATTENDU: ${desc} (${ticket}) passe, retirer le marqueur known"
else
echo "CONNU: ${desc} (${ticket})${out:+ — $(printf '%s' "${out}" | tail -n 1)}"
fi
}
known_flaky () {
local ticket="${1}" desc="${2}" out
shift 2
if out=$("$@" 2>&1); then
echo "RÉUSSI: ${desc} (${ticket}, intermittent : non reproduit cette fois)"
else
echo "CONNU: ${desc} (${ticket}, intermittent)${out:+ — $(printf '%s' "${out}" | tail -n 1)}"
fi
}
info () { echo "INFO: ${1}"; }
api_post () {

View file

@ -75,9 +75,20 @@ wait_watchdog () {
return 1
}
watchdog_alerts () {
journalctl -u agent --since "-${1:-300}s" --no-pager -o cat | grep -F 'watchdog: inconsistency detected'
}
watchdog_quiet () {
local out
out=$(journalctl -u agent --since "-${1:-300}s" --no-pager -o cat | grep -F 'watchdog: inconsistency detected') || return 0
out=$(watchdog_alerts "${1:-300}" | { if [ -n "${2:-}" ]; then grep -vF -- "${2}"; else cat; fi; }) || return 0
printf '%s\n' "${out}"
return 1
}
watchdog_quiet_about () {
local out
out=$(watchdog_alerts "${1}" | grep -F -- "${2}") || return 0
printf '%s\n' "${out}"
return 1
}

View file

@ -5,10 +5,11 @@ LAB_HOST="${LAB_HOST:-${LAB_DIR}/labctl.sh}"
SUITE_DIR="${SUITE_DIR:-${LAB_DIR}/suite}"
LIBS=(core vm net evpn fixture)
SCENARIO_LOG=""
KNOWN_FAIL=0
usage () {
cat >&2 <<USAGE
usage: ${0##*/} [--continue] all | --from <NN> | <couche N0>... | <test>...
usage: ${0##*/} [--continue] [--connus] all | --from <NN> | <couche N0>... | <test>...
${0##*/} --matrice
tests : $(cd "${SUITE_DIR}" && ls -- *.sh 2>/dev/null | sed 's/\.sh$//' | tr '\n' ' ')
@ -18,6 +19,9 @@ Une couche se désigne par son numéro (00, 10, …, 70), un test par son numér
Avant un test, ses ressources t<NN> restantes sont supprimées et l'état de chaque hôte de
l'en-tête « # hôtes: » est relevé ; après, ses ressources sont supprimées et l'hôte doit être
revenu à cet état. Avec all ou --from, une couche en échec arrête la suite (--continue : non).
Un contrôle marqué known (échec connu, rattaché à un ticket) donne CONNU sans compter comme
un échec, ou INATTENDU (compté comme un échec) s'il passe : retirer alors le marqueur. --connus
compte les CONNU comme des échecs. known_flaky (échec intermittent) donne RÉUSSI, annoté, s'il passe.
Une ligne RÉUSSI ou ÉCHOUÉ par vérification ; code de sortie 1 si une vérification échoue ou
si aucune n'a été faite.
USAGE
@ -49,7 +53,7 @@ number () {
}
run_scenario () {
local file="${1}" name passed failed host hosts num
local file="${1}" name passed failed known host hosts num
name="$(basename "${file}" .sh)"
num=$(number "${file}")
hosts=$(header "${file}" hôtes)
@ -63,9 +67,11 @@ run_scenario () {
on "${host}" "T=${num}" "HOST=${host}" <<< 'finish_test'
done
passed=$(grep -c '^RÉUSSI: ' "${SCENARIO_LOG}")
failed=$(grep -c '^ÉCHOUÉ: ' "${SCENARIO_LOG}")
failed=$(grep -cE '^(ÉCHOUÉ|INATTENDU): ' "${SCENARIO_LOG}")
known=$(grep -c '^CONNU: ' "${SCENARIO_LOG}")
[[ "${KNOWN_FAIL}" -eq 1 ]] && failed=$(( failed + known ))
rm -f "${SCENARIO_LOG}"
echo "=== ${name} : ${passed} réussi(s), ${failed} échoué(s)"
echo "=== ${name} : ${passed} réussi(s), ${failed} échoué(s)$([[ "${known}" -gt 0 ]] && echo ", ${known} connu(s)")"
[[ "${failed}" -eq 0 && "${passed}" -gt 0 ]]
}
@ -109,6 +115,7 @@ main () {
for arg in "$@"; do
case "${arg}" in
--continue) stop=0 ;;
--connus) KNOWN_FAIL=1 ;;
--matrice) matrix; return 0 ;;
all|--from) sweep=1; args+=("${arg}") ;;
*) args+=("${arg}") ;;

View file

@ -595,6 +595,32 @@ test_evpn_mac_json_shape_requires_remote_vtep () {
teardown
}
test_known_reports_known_failures_and_unexpected_passes () {
setup "known : CONNU en échec, INATTENDU s'il passe, avec le ticket"
[[ $(node 'known "#76" "a" sh -c "echo raison; exit 1"') == "CONNU: a (#76) — raison" ]] || fail "échec : $(node 'known "#76" "a" sh -c "echo raison; exit 1"')"
[[ $(node 'known "#76" "b" true') == "INATTENDU: b (#76) passe, retirer le marqueur known" ]] || fail "réussite : $(node 'known "#76" "b" true')"
teardown
}
test_known_flaky_never_fails_when_it_passes () {
setup "known_flaky : CONNU en échec, RÉUSSI annoté s'il passe"
[[ $(node 'known_flaky "#74" "a" false') == "CONNU: a (#74, intermittent)" ]] || fail "échec : $(node 'known_flaky "#74" "a" false')"
[[ $(node 'known_flaky "#74" "b" true') == "RÉUSSI: b (#74, intermittent : non reproduit cette fois)" ]] || fail "réussite : $(node 'known_flaky "#74" "b" true')"
teardown
}
test_runner_counts_known_apart_unless_connus () {
setup "runner : CONNU hors échecs, INATTENDU en échec, --connus compte les CONNU"
printf '%s\n' "on hv1 <<'NODE'" 'true' 'NODE' > "${WORK}/scenarios/k.sh"
FAKE_OUT='RÉUSSI: a\nCONNU: b (#1)' run k; [[ $? -eq 0 ]] || fail "un CONNU fait échouer le test"
grep -q '=== k : 1 réussi(s), 0 échoué(s), 1 connu(s)' "${WORK}/out.log" || fail "bilan : $(tail -n 1 "${WORK}/out.log")"
FAKE_OUT='RÉUSSI: a\nCONNU: b (#1)' run --connus k; [[ $? -eq 1 ]] || fail "--connus : CONNU non compté"
FAKE_OUT='RÉUSSI: a\nINATTENDU: b (#1) passe' run k; [[ $? -eq 1 ]] || fail "INATTENDU non compté comme un échec"
FAKE_OUT='RÉUSSI: a' run k
grep -q '=== k : 1 réussi(s), 0 échoué(s)$' "${WORK}/out.log" || fail "bilan sans connu : $(tail -n 1 "${WORK}/out.log")"
teardown
}
for T in $(declare -F | awk '{print $3}' | grep '^test_'); do
"${T}"
done

View file

@ -33,7 +33,8 @@ for rr in 10.255.255.1 10.255.255.2; do
check "${HOST} : session EVPN vers ${rr} établie" sh -c "vtysh -c 'show bgp neighbors ${rr}' | grep -q 'BGP state = Established'"
check "${HOST} : loopback de ${rr} joignable" ping -c 2 -W 2 "${rr}"
done
check "${HOST} : aucune incohérence signalée par le watchdog depuis 5 min" watchdog_quiet 300
check "${HOST} : aucune incohérence signalée par le watchdog depuis 5 min (hors réservation DHCP périmée, #78)" watchdog_quiet 300 'stale dhcp reservation'
known_flaky "#78" "${HOST} : aucune réservation DHCP signalée périmée par le watchdog depuis 5 min" watchdog_quiet_about 300 'stale dhcp reservation'
check "${HOST} : image de VM compatible two prête" two_image
check "${HOST} : clé SSH des VM prête" vm_key
NODE

View file

@ -12,15 +12,15 @@ check "API : deux interfaces, une seule primaire" test "$(curl -fsS "${API}/vms/
check "t25-m joignable sur sa primaire 10.25.1.10" vm_wait vp-t25 10.25.1.10
check "t25-m : deux interfaces réseau (ens3, ens4)" vm_ssh vp-t25 10.25.1.10 'test -e /sys/class/net/ens3 && test -e /sys/class/net/ens4'
check "t25-m : 10.25.1.10 sur ens3" vm_grep vp-t25 10.25.1.10 'ip -4 -o addr show dev ens3' ' 10.25.1.10/'
check "t25-m : ens4 obtient un bail DHCP de systemd-networkd (hypothèse : network-config, qui vise eth0, est sans effet)" test "$(vm_lease vp-t25 10.25.1.10 ADDRESS ens4)" = 10.25.2.20
check "t25-m : 10.25.2.20 sur ens4" vm_grep vp-t25 10.25.1.10 'ip -4 -o addr show dev ens4' ' 10.25.2.20/'
check "t25-m joignable sur sa seconde adresse 10.25.2.20" vm_wait vp-t25 10.25.2.20
known "#73" "t25-m : ens4 obtient un bail DHCP de systemd-networkd" test "$(vm_lease vp-t25 10.25.1.10 ADDRESS ens4)" = 10.25.2.20
known "#73" "t25-m : 10.25.2.20 sur ens4" vm_grep vp-t25 10.25.1.10 'ip -4 -o addr show dev ens4' ' 10.25.2.20/'
known "#73" "t25-m joignable sur sa seconde adresse 10.25.2.20" vm_wait vp-t25 10.25.2.20
check "t25-m : une seule route par défaut" test "$(vm_ssh vp-t25 10.25.1.10 'ip -4 route show default' | wc -l)" -eq 1
check "t25-m : route par défaut via la gateway de la primaire 10.25.1.254" route_via vp-t25 10.25.1.10 default 10.25.1.254
check "t25-m : bail de ens4 servi par la gateway de sn-t25b" test "$(vm_lease vp-t25 10.25.1.10 SERVER_ADDRESS ens4)" = 10.25.2.254
known "#73" "t25-m : bail de ens4 servi par la gateway de sn-t25b" test "$(vm_lease vp-t25 10.25.1.10 SERVER_ADDRESS ens4)" = 10.25.2.254
check "t25-m : route /32 des métadonnées présente" vm_grep vp-t25 10.25.1.10 'ip -4 route show 169.254.169.254' 'via 10.25.'
nic_macs () { ps -eo args | grep "[q]emu.*${1}" | grep -oE 'mac=[0-9A-Fa-f:]+' | sort | uniq | wc -l; }
check "t25-m : deux MAC distinctes sur la ligne QEMU (témoin)" test "$(nic_macs t25-m)" -eq 2
check "VM t25-r : deux NIC de même rang (10.25.1.30, 10.25.2.30)" vm_launch t25-r --nic sn-t25a=10.25.1.30 --nic sn-t25b=10.25.2.30 --sshkey "${KEY}"
check "t25-r : deux NIC de même rang reçoivent des MAC distinctes (attendu ; MAC dérivée du rang de l'IP, #62)" test "$(nic_macs t25-r)" -eq 2
known "#62" "t25-r : deux NIC de même rang reçoivent des MAC distinctes" test "$(nic_macs t25-r)" -eq 2
NODE

View file

@ -18,8 +18,8 @@ size_is () { local v; v=$(vm_ssh vp-t26 10.26.1.10 "lsblk -b -dn -o SIZE /dev/${
target_size () { local v; v=$(vm_ssh vp-t26 10.26.1.10 "lsblk -b -dn -o HCTL,SIZE" 2>&1 | awk -v t="${1}" '{split($1, h, ":")} h[3] == t {print $2}'); [ "${v}" = "${2}" ] || { echo "lu : ${v:-aucun disque sur la cible ${1}}"; return 1; }; }
check "t26-d : sda déclaré → cible SCSI 0, 2 Gio" target_size 0 2147483648
check "t26-d : sdb déclaré → cible SCSI 1, 1 Gio" target_size 1 1073741824
check "t26-d : nom dans l'invité = dev déclaré, sdb de 1 Gio (attendu ; l'invité nomme les disques SCSI dans l'ordre de détection)" size_is sdb 1073741824
check "t26-d : nom dans l'invité = dev déclaré, sda de 2 Gio (attendu ; même raison)" size_is sda 2147483648
known_flaky "#74" "t26-d : nom dans l'invité = dev déclaré, sdb de 1 Gio" size_is sdb 1073741824
known_flaky "#74" "t26-d : nom dans l'invité = dev déclaré, sda de 2 Gio" size_is sda 2147483648
check "t26-d : sdb en SCSI" vm_grep vp-t26 10.26.1.10 'readlink -f /sys/block/sdb/device/driver' 'sd$'
check "t26-d : sda en SCSI (virtio-scsi)" vm_ssh vp-t26 10.26.1.10 'test -d /sys/block/sda/device/scsi_device && readlink -f /sys/block/sda | grep -q virtio'
check "t26-d : vda n'est pas en SCSI (témoin)" vm_fails vp-t26 10.26.1.10 'test -d /sys/block/vda/device/scsi_device'

View file

@ -49,9 +49,9 @@ own_meta () {
}
RESPONDERS=$(vm_frames vp-t33 10.33.0.21 arp-who ens3 10.33.0.21 10.33.0.1 2)
info "MAC qui répondent pour 10.33.0.1 vues de t33-a1 : $(echo ${RESPONDERS})"
check "deux hôtes : t33-a1 (hv1) joint t33-b1 (hv2) sur le segment lan" vm_ssh vp-t33 10.33.0.21 'ping -n -c 3 -W 2 10.33.0.23'
check "deux hôtes : une seule MAC répond pour interface_ip 10.33.0.1" test "$(grep -c . <<<"${RESPONDERS}")" -eq 1
check "deux hôtes : t33-a1 reçoit toujours ses propres métadonnées (5 essais, cache ARP vidé)" own_meta 10.33.0.21 t33-a1
known "#75" "deux hôtes : t33-a1 (hv1) joint t33-b1 (hv2) sur le segment lan" vm_ssh vp-t33 10.33.0.21 'ping -n -c 3 -W 2 10.33.0.23'
known "#75" "deux hôtes : une seule MAC répond pour interface_ip 10.33.0.1" test "$(grep -c . <<<"${RESPONDERS}")" -eq 1
known_flaky "#75" "deux hôtes : t33-a1 reçoit toujours ses propres métadonnées (5 essais, cache ARP vidé)" own_meta 10.33.0.21 t33-a1
NODE
on hv2 <<'NODE'
@ -63,6 +63,6 @@ own_meta () {
done
[ "${ok}" -eq 5 ] || { echo "${2} : ${ok}/5 réponses avec ses propres métadonnées"; return 1; }
}
check "deux hôtes : t33-b1 (hv2) reçoit toujours ses propres métadonnées (5 essais, cache ARP vidé)" own_meta 10.33.0.23 t33-b1
known_flaky "#75" "deux hôtes : t33-b1 (hv2) reçoit toujours ses propres métadonnées (5 essais, cache ARP vidé)" own_meta 10.33.0.23 t33-b1
check "deux hôtes : t33-b1 (hv2) joint t33-a2 (hv1)" vm_ssh vp-t33 10.33.0.23 'ping -n -c 3 -W 2 10.33.0.22'
NODE

View file

@ -61,11 +61,11 @@ ip netns exec vp-t35 ping -n -c 3 -W 1 10.35.1.200 >/dev/null 2>&1
wait
check "trafic de la gateway (ping des VM, réponses du netns) : aucune trame avec la MAC anycast sur le fabric ($(cat "${S}.gw") vue(s))" test "$(cat "${S}.gw")" -eq 0
check "trafic du netns vers une adresse inconnue : ARP du bridge ${BRMAC} sur le fabric (témoin, $(cat "${S}.br") vue(s))" test "$(cat "${S}.br")" -gt 0
UNF="attendu ; aucun filtrage entre VM d'un même hôte à ce jour"
UNF="aucun filtrage entre VM d'un même hôte à ce jour"
vm_sniff_start "${S}.rogue" vp-t35 10.35.1.11 ens3 8 udp-from 10.35.1.10 67
vm_frames vp-t35 10.35.1.10 dhcp ens3 10.35.1.10 68 5 >/dev/null 2>&1
wait
check "faux serveur DHCP dans t35-a (67 → 68) : n'atteint pas t35-b, même subnet, même hôte (${UNF} ; $(cat "${S}.rogue") vue(s))" test "$(cat "${S}.rogue")" = 0
known "#76" "faux serveur DHCP dans t35-a (67 → 68) : n'atteint pas t35-b, même subnet, même hôte (${UNF} ; $(cat "${S}.rogue") vue(s))" test "$(cat "${S}.rogue")" = 0
vm_sniff_start "${S}.rogue" vp-t35 10.35.1.11 ens3 8 udp-from 10.35.1.10 67
vm_frames vp-t35 10.35.1.10 dhcp ens3 10.35.1.10 6868 5 >/dev/null 2>&1
wait
@ -77,9 +77,9 @@ RELAY_MAC=$(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.253)
check "prérequis : t35-b résout la gateway vers la MAC anycast ${MAC}" test "$(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.254)" = "${MAC}"
check "prérequis : t35-b résout l'adresse d'émission 10.35.1.253 (${RELAY_MAC:-non résolue})" test -n "${RELAY_MAC}"
vm_frames vp-t35 10.35.1.10 garp ens3 10.35.1.254 5 >/dev/null 2>&1
check "usurpation ARP de la gateway 10.35.1.254 par t35-a : t35-b garde la MAC anycast (${UNF} ; lue : $(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.254))" test "$(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.254)" = "${MAC}"
known "#76" "usurpation ARP de la gateway 10.35.1.254 par t35-a : t35-b garde la MAC anycast (${UNF} ; lue : $(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.254))" test "$(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.254)" = "${MAC}"
vm_frames vp-t35 10.35.1.10 garp ens3 10.35.1.253 5 >/dev/null 2>&1
check "usurpation ARP de l'adresse d'émission 10.35.1.253 par t35-a : t35-b garde ${RELAY_MAC:-?} (${UNF} ; lue : $(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.253))" test "$(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.253)" = "${RELAY_MAC}"
known "#76" "usurpation ARP de l'adresse d'émission 10.35.1.253 par t35-a : t35-b garde ${RELAY_MAC:-?} (${UNF} ; lue : $(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.253))" test "$(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.253)" = "${RELAY_MAC}"
vm_ssh vp-t35 10.35.1.11 'sudo ip neigh replace 10.35.1.200 lladdr 02:35:00:00:00:99 dev ens3 nud stale' >/dev/null 2>&1
vm_frames vp-t35 10.35.1.10 garp ens3 10.35.1.200 5 >/dev/null 2>&1
check "usurpation ARP de 10.35.1.200 (adresse non protégée) par t35-a : t35-b l'associe à ${AMAC} (témoin, lue : $(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.200))" test "$(vm_neigh_mac vp-t35 10.35.1.11 10.35.1.200)" = "${AMAC}"

View file

@ -57,7 +57,8 @@ check "après redémarrage : vrf-t61 exporte toujours t61-a 10.61.1.10/32" vrf_r
check "après redémarrage : vrf-t61 apprend toujours 10.61.2.10/32 via hv2" vrf_route_via vp-t61 10.61.2.10 192.168.14.12
check "après redémarrage : bail de t61-a renouvelé (DHCP servi)" lease_renewed vp-t61 10.61.1.10
check "après redémarrage : métadonnées de t61-a servies (instance-id t61-a)" vm_grep vp-t61 10.61.1.10 'curl -fsS http://169.254.169.254/meta-data' 't61-a'
check "après redémarrage : aucune incohérence signalée par le watchdog" watchdog_quiet "$(( $(date +%s) - START ))"
check "après redémarrage : aucune incohérence signalée par le watchdog (hors réservation DHCP périmée, #78)" watchdog_quiet "$(( $(date +%s) - START ))" 'stale dhcp reservation'
known_flaky "#78" "après redémarrage : aucune réservation DHCP signalée périmée par le watchdog" watchdog_quiet_about "$(( $(date +%s) - START ))" 'stale dhcp reservation'
vm_ssh vp-t61 10.61.1.10 'pkill -x ping' || true
sleep 1
stats=$(vm_ssh vp-t61 10.61.1.10 "awk -F'icmp_seq=' '/bytes from/ {split(\$2, a, \" \"); n++; if (a[1] > max) max = a[1]} END {print n+0, max+0}' /tmp/t61.log")

View file

@ -15,7 +15,7 @@ check "${HOST} : aucune interface de subnet (v-*, vxlan-*)" none sh -c "ip -o li
check "${HOST} : aucune VRF de VPC (vrf-*)" none sh -c "ip -o link show type vrf | awk -F': ' '{print \$2}' | grep '^vrf-'"
check "${HOST} : aucune unité two-vm-*" none systemctl list-units --all --plain --no-legend 'two-vm-*'
check "${HOST} : aucune instance DHCP (dhcp@, dnsmasq@) ni de métadonnées (metadata@) active" none sh -c "systemctl list-units --plain --no-legend 'dhcp@*' 'dnsmasq@*' 'metadata@*' | grep -w active"
check "${HOST} : aucun socket de contrôle DHCP" none sh -c "ls /run/two/dhcp/*.sock 2>/dev/null"
known "#77" "${HOST} : aucun socket de contrôle DHCP" none sh -c "ls /run/two/dhcp/*.sock 2>/dev/null"
check "${HOST} : aucun processus QEMU" none pgrep -a qemu-system
check "${HOST} : aucune règle ebtables qui vise une interface de subnet" none sh -c "{ ebtables -t filter -L; ebtables -t nat -L; } | grep -E -- '-(i|o) v-'"
check "${HOST} : aucune règle iptables qui vise une interface de subnet ou de VPC" none sh -c "iptables-save | grep -E -- '(v-|vp-|tap)[a-z0-9]'"