Watchdog : fausse alerte « stale dhcp reservation » pendant la création ou la suppression d'une VM #78

Closed
opened 2026-10-17 20:32:04 +00:00 by nicolas.boufideline · 3 comments

Constat

Campagne du 2026-10-17 (#70) : 01-lab relève deux fois, juste après la suppression d'une VM (t03-a, puis une VM de sn-t61a) :

watchdog: inconsistency detected … stale dhcp reservation on the server: 00:22:33:00:00:0a → 10.3.1.10 (vm t03-a)

La VM est bien supprimée ensuite, et sa réservation retirée.

Cause

  • DELETE /vms/<nom> passe la VM en deleting dès l'acceptation (internal/dispatcher/agent/vm_commands.go).
  • StopVM (internal/vm/delete.go) retire les routes, envoie system_powerdown, attend l'arrêt de QEMU (jusqu'à dispatcher.timeout_seconds, 300 s), et ne retire la réservation DHCP qu'à la fin (removeDHCPFiles).
  • Le watchdog (internal/watchdog/check_dhcp.go, expectedHosts) n'attend de réservation que pour les VM running : pendant toute la suppression, la réservation encore présente est signalée comme périmée.
  • Même décalage à la création (réservation posée avant le passage en running), non observé en lab.

Décision (2026-10-17) : le watchdog tolère les états transitoires

  • VM creating ou deleting : ni réservation présente ni réservation absente signalée.
  • VM running : réservation exigée. VM supprimée ou absente : réservation interdite.
  • Revue des autres contrôles du watchdog (unité metadata@, taps, routes /32 de la réconciliation L3) pour le même traitement des états transitoires.

Tests unitaires par état : creating, deleting, running, absent.

Critère de clôture

Aucune alerte du watchdog pendant une campagne run.sh all (contrôle « aucune incohérence signalée par le watchdog » de 01-lab, 61 et 53 vert), y compris juste après des suppressions de VM.

## Constat Campagne du 2026-10-17 (#70) : `01-lab` relève deux fois, juste après la suppression d'une VM (`t03-a`, puis une VM de `sn-t61a`) : ``` watchdog: inconsistency detected … stale dhcp reservation on the server: 00:22:33:00:00:0a → 10.3.1.10 (vm t03-a) ``` La VM est bien supprimée ensuite, et sa réservation retirée. ## Cause - `DELETE /vms/<nom>` passe la VM en `deleting` dès l'acceptation (`internal/dispatcher/agent/vm_commands.go`). - `StopVM` (`internal/vm/delete.go`) retire les routes, envoie `system_powerdown`, **attend l'arrêt de QEMU (jusqu'à `dispatcher.timeout_seconds`, 300 s)**, et ne retire la réservation DHCP qu'à la fin (`removeDHCPFiles`). - Le watchdog (`internal/watchdog/check_dhcp.go`, `expectedHosts`) n'attend de réservation que pour les VM `running` : pendant toute la suppression, la réservation encore présente est signalée comme périmée. - Même décalage à la création (réservation posée avant le passage en `running`), non observé en lab. ## Décision (2026-10-17) : le watchdog tolère les états transitoires - VM `creating` ou `deleting` : ni réservation présente ni réservation absente signalée. - VM `running` : réservation exigée. VM supprimée ou absente : réservation interdite. - Revue des **autres contrôles** du watchdog (unité `metadata@`, taps, routes /32 de la réconciliation L3) pour le même traitement des états transitoires. Tests unitaires par état : `creating`, `deleting`, `running`, absent. ## Critère de clôture Aucune alerte du watchdog pendant une campagne `run.sh all` (contrôle « aucune incohérence signalée par le watchdog » de `01-lab`, `61` et `53` vert), y compris juste après des suppressions de VM.
Author
Owner

Marqueurs d'échec connu dans la suite e2e (#70)

En attendant ce correctif, ces contrôles de la suite e2e sont marqués comme échec connu rattaché à ce ticket (branche feature-70) :

Fichier Contrôle Marqueur
test/e2e/suite/01-lab.sh ${HOST} : aucune réservation DHCP signalée périmée par le watchdog depuis 5 min known_flaky
test/e2e/suite/61-redemarrage-agent.sh après redémarrage : aucune réservation DHCP signalée périmée par le watchdog known_flaky

À retirer avec ce correctif : remplacer le marqueur (known "#78" ou known_flaky "#78", suivi de la description) par check dans les fichiers ci-dessus, puis vérifier en lab que les contrôles passent.

  • known_flaky (échec intermittent) : aucun rappel automatique, le contrôle sort en RÉUSSI quand l'échec ne se reproduit pas. Le retrait doit être fait à la main en fermant ce ticket.

Le contrôle général du watchdog (watchdog_quiet … 'stale dhcp reservation', dans les mêmes fichiers) exclut cette alerte : retirer aussi ce dernier argument, pour qu'il redevienne strict sur toutes les alertes.

run.sh --connus compte les contrôles connus comme des échecs, pour voir l'état brut.

## Marqueurs d'échec connu dans la suite e2e (#70) En attendant ce correctif, ces contrôles de la suite e2e sont marqués comme échec connu rattaché à ce ticket (branche `feature-70`) : | Fichier | Contrôle | Marqueur | |---|---|---| | `test/e2e/suite/01-lab.sh` | ${HOST} : aucune réservation DHCP signalée périmée par le watchdog depuis 5 min | `known_flaky` | | `test/e2e/suite/61-redemarrage-agent.sh` | après redémarrage : aucune réservation DHCP signalée périmée par le watchdog | `known_flaky` | **À retirer avec ce correctif** : remplacer le marqueur (`known "#78"` ou `known_flaky "#78"`, suivi de la description) par `check` dans les fichiers ci-dessus, puis vérifier en lab que les contrôles passent. - `known_flaky` (échec intermittent) : **aucun rappel automatique**, le contrôle sort en `RÉUSSI` quand l'échec ne se reproduit pas. Le retrait doit être fait à la main en fermant ce ticket. Le contrôle général du watchdog (`watchdog_quiet … 'stale dhcp reservation'`, dans les mêmes fichiers) exclut cette alerte : retirer aussi ce dernier argument, pour qu'il redevienne strict sur toutes les alertes. `run.sh --connus` compte les contrôles connus comme des échecs, pour voir l'état brut.
Author
Owner

Fausse alerte à l'arrêt de l'agent (lab du 2026-10-19)

Pendant le redémarrage de l'agent du test 61-redemarrage-agent (hv1) :

21:29:33.309083  workers drained
21:29:33.309371  watchdog: inconsistency detected … kind=vm name=t61-d problem="state unreadable in database: DB Closed"
21:29:33         systemd: Stopping agent.service

Cause : à l'arrêt (cmd/agent/main.go), le contexte du watchdog est bien annulé, mais l'agent n'attend pas la fin du passage en cours avant de fermer la base. Un passage qui tombe pendant la fermeture lit une base fermée et signale chaque ressource comme incohérente.

Impact : au plus une salve de fausses alertes par arrêt de l'agent, selon le moment ; le contrôle « watchdog silencieux » de 01-lab et 61 échoue de façon intermittente.

Correctif, rattaché à ce ticket : l'agent attend la fin du watchdog avant de fermer la base, comme pour les workers ; test unitaire de l'ordre d'arrêt.

## Fausse alerte à l'arrêt de l'agent (lab du 2026-10-19) Pendant le redémarrage de l'agent du test `61-redemarrage-agent` (hv1) : ``` 21:29:33.309083 workers drained 21:29:33.309371 watchdog: inconsistency detected … kind=vm name=t61-d problem="state unreadable in database: DB Closed" 21:29:33 systemd: Stopping agent.service ``` **Cause** : à l'arrêt (`cmd/agent/main.go`), le contexte du watchdog est bien annulé, mais l'agent n'attend pas la fin du passage en cours avant de fermer la base. Un passage qui tombe pendant la fermeture lit une base fermée et signale chaque ressource comme incohérente. **Impact** : au plus une salve de fausses alertes par arrêt de l'agent, selon le moment ; le contrôle « watchdog silencieux » de `01-lab` et `61` échoue de façon intermittente. **Correctif, rattaché à ce ticket** : l'agent attend la fin du watchdog avant de fermer la base, comme pour les workers ; test unitaire de l'ordre d'arrêt.
Author
Owner

Bilan de clôture

Correctifs (dans main par 9a6c948 et la fusion de feature-78) :

  • ee1737f : le watchdog ne compare pas les réservations des VM en creating, deleting ou error (présentes ou absentes, sans alerte), sauf si leur MAC est attendue pour une VM running ; la tolérance est limitée à la VM concernée. error est toléré comme dans le contrôle L3 (une VM en échec après SetVM garde sa réservation jusqu'à sa suppression). Revue des autres contrôles : VM, subnets, VPC ne regardent que running, L3 tolérait déjà ces états.
  • 54e0faa : à l'arrêt, l'agent attend la fin du passage du watchdog avant de fermer la base (commentaire 1163 : « state unreadable in database: DB Closed »).
  • a47af03 (harnais) : watchdog_quiet réussit sans alerte quand aucune exclusion n'est donnée (régression introduite en retirant l'exclusion de #78).

Vérifications : tests unitaires par état (+ tolérance limitée à la VM, MAC attendue toujours comparée), 5 mutants tués ; ordre d'arrêt : 2 tests, mutant tué.

Lab du 2026-10-19 : aucune réservation signalée périmée sur hv1, hv2, hv3 (01-lab, 61) ; rejeu 61-redemarrage-agent 41/41 et 01-lab 57/57 avec le nouvel agent, journal de hv1 au redémarrage : watchdog: stopping → shutting down → workers drained, aucune alerte. Marqueurs known_flaky "#78" remplacés par check, exclusion retirée du contrôle général du watchdog.

## Bilan de clôture **Correctifs** (dans main par `9a6c948` et la fusion de `feature-78`) : - `ee1737f` : le watchdog ne compare pas les réservations des VM en `creating`, `deleting` ou `error` (présentes ou absentes, sans alerte), sauf si leur MAC est attendue pour une VM `running` ; la tolérance est limitée à la VM concernée. `error` est toléré comme dans le contrôle L3 (une VM en échec après `SetVM` garde sa réservation jusqu'à sa suppression). Revue des autres contrôles : VM, subnets, VPC ne regardent que `running`, L3 tolérait déjà ces états. - `54e0faa` : à l'arrêt, l'agent attend la fin du passage du watchdog avant de fermer la base (commentaire 1163 : « state unreadable in database: DB Closed »). - `a47af03` (harnais) : `watchdog_quiet` réussit sans alerte quand aucune exclusion n'est donnée (régression introduite en retirant l'exclusion de #78). **Vérifications** : tests unitaires par état (+ tolérance limitée à la VM, MAC attendue toujours comparée), 5 mutants tués ; ordre d'arrêt : 2 tests, mutant tué. **Lab du 2026-10-19** : aucune réservation signalée périmée sur hv1, hv2, hv3 (`01-lab`, `61`) ; rejeu `61-redemarrage-agent` 41/41 et `01-lab` 57/57 avec le nouvel agent, journal de hv1 au redémarrage : `watchdog: stopping` → `shutting down` → `workers drained`, aucune alerte. Marqueurs `known_flaky "#78"` remplacés par `check`, exclusion retirée du contrôle général du watchdog.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#78
No description provided.