Watchdog : fausse alerte « stale dhcp reservation » pendant la création ou la suppression d'une VM #78
Labels
No labels
bug fix
feature implementation
new feature
No project
No assignees
1 participant
Notifications
Due date
No due date set.
Dependencies
No dependencies set.
Reference
syonad/two#78
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Constat
Campagne du 2026-10-17 (#70) :
01-labrelève deux fois, juste après la suppression d'une VM (t03-a, puis une VM desn-t61a) :La VM est bien supprimée ensuite, et sa réservation retirée.
Cause
DELETE /vms/<nom>passe la VM endeletingdès l'acceptation (internal/dispatcher/agent/vm_commands.go).StopVM(internal/vm/delete.go) retire les routes, envoiesystem_powerdown, attend l'arrêt de QEMU (jusqu'àdispatcher.timeout_seconds, 300 s), et ne retire la réservation DHCP qu'à la fin (removeDHCPFiles).internal/watchdog/check_dhcp.go,expectedHosts) n'attend de réservation que pour les VMrunning: pendant toute la suppression, la réservation encore présente est signalée comme périmée.running), non observé en lab.Décision (2026-10-17) : le watchdog tolère les états transitoires
creatingoudeleting: ni réservation présente ni réservation absente signalée.running: réservation exigée. VM supprimée ou absente : réservation interdite.metadata@, taps, routes /32 de la réconciliation L3) pour le même traitement des états transitoires.Tests unitaires par état :
creating,deleting,running, absent.Critère de clôture
Aucune alerte du watchdog pendant une campagne
run.sh all(contrôle « aucune incohérence signalée par le watchdog » de01-lab,61et53vert), y compris juste après des suppressions de VM.Marqueurs d'échec connu dans la suite e2e (#70)
En attendant ce correctif, ces contrôles de la suite e2e sont marqués comme échec connu rattaché à ce ticket (branche
feature-70) :test/e2e/suite/01-lab.shknown_flakytest/e2e/suite/61-redemarrage-agent.shknown_flakyÀ retirer avec ce correctif : remplacer le marqueur (
known "#78"ouknown_flaky "#78", suivi de la description) parcheckdans les fichiers ci-dessus, puis vérifier en lab que les contrôles passent.known_flaky(échec intermittent) : aucun rappel automatique, le contrôle sort enRÉUSSIquand l'échec ne se reproduit pas. Le retrait doit être fait à la main en fermant ce ticket.Le contrôle général du watchdog (
watchdog_quiet … 'stale dhcp reservation', dans les mêmes fichiers) exclut cette alerte : retirer aussi ce dernier argument, pour qu'il redevienne strict sur toutes les alertes.run.sh --connuscompte les contrôles connus comme des échecs, pour voir l'état brut.Fausse alerte à l'arrêt de l'agent (lab du 2026-10-19)
Pendant le redémarrage de l'agent du test
61-redemarrage-agent(hv1) :Cause : à l'arrêt (
cmd/agent/main.go), le contexte du watchdog est bien annulé, mais l'agent n'attend pas la fin du passage en cours avant de fermer la base. Un passage qui tombe pendant la fermeture lit une base fermée et signale chaque ressource comme incohérente.Impact : au plus une salve de fausses alertes par arrêt de l'agent, selon le moment ; le contrôle « watchdog silencieux » de
01-labet61échoue de façon intermittente.Correctif, rattaché à ce ticket : l'agent attend la fin du watchdog avant de fermer la base, comme pour les workers ; test unitaire de l'ordre d'arrêt.
Bilan de clôture
Correctifs (dans main par
9a6c948et la fusion defeature-78) :ee1737f: le watchdog ne compare pas les réservations des VM encreating,deletingouerror(présentes ou absentes, sans alerte), sauf si leur MAC est attendue pour une VMrunning; la tolérance est limitée à la VM concernée.errorest toléré comme dans le contrôle L3 (une VM en échec aprèsSetVMgarde sa réservation jusqu'à sa suppression). Revue des autres contrôles : VM, subnets, VPC ne regardent querunning, L3 tolérait déjà ces états.54e0faa: à l'arrêt, l'agent attend la fin du passage du watchdog avant de fermer la base (commentaire 1163 : « state unreadable in database: DB Closed »).a47af03(harnais) :watchdog_quietréussit sans alerte quand aucune exclusion n'est donnée (régression introduite en retirant l'exclusion de #78).Vérifications : tests unitaires par état (+ tolérance limitée à la VM, MAC attendue toujours comparée), 5 mutants tués ; ordre d'arrêt : 2 tests, mutant tué.
Lab du 2026-10-19 : aucune réservation signalée périmée sur hv1, hv2, hv3 (
01-lab,61) ; rejeu61-redemarrage-agent41/41 et01-lab57/57 avec le nouvel agent, journal de hv1 au redémarrage :watchdog: stopping→shutting down→workers drained, aucune alerte. Marqueursknown_flaky "#78"remplacés parcheck, exclusion retirée du contrôle général du watchdog.