Délais dédiés (section times) : arrêt des VM avec renvoi de system_powerdown, attentes de suppression des subnets et des VPC #79

Closed
opened 2026-10-17 20:49:09 +00:00 by nicolas.boufideline · 3 comments

Constat

Campagne du 2026-10-17 (#70) : 3 suppressions de VM sur plusieurs dizaines ont duré exactement 300 s (StopVMCommand à 300 067, 300 127 et 300 087 ms : t11-ud, t12-a, t52-m3) ; les autres prennent environ 6 s.

StopVM (internal/vm/delete.go) envoie un seul system_powerdown, puis waitQMPDead attend l'arrêt de QEMU pendant dispatcher.timeout_seconds (300 s), puis envoie quit.

Hypothèse, non vérifiée :

  • t11-ud : suppression demandée 3 s après le démarrage de QEMU ;
  • t12-a : supprimée aussitôt après son passage en running.

Dans ces deux cas, l'appui sur le bouton d'alimentation ACPI arrive avant que l'invité sache le traiter (firmware, chargeur de démarrage) et il est perdu : la VM finit de démarrer et l'agent attend les 300 s.

t52-m3 n'est pas expliquée : elle tournait depuis plusieurs minutes. Seule particularité : elle a été créée sans clé SSH ni mot de passe, sans lien évident avec l'ACPI. Cause inconnue à ce jour.

Usages actuels de dispatcher.timeout_seconds

  1. Arrêt propre d'une VM (waitQMPDead). 300 s voulus (VM Windows notamment).
  2. Attentes de dépendances entre commandes asynchrones :
    • CreateSubnetCommand attend le VPC running (subnet_commands.go) ;
    • StartVMCommand attend les subnets de ses NIC running (vm_commands.go) ;
    • DeleteVPCCommand attend qu'aucun subnet ne soit en deleting (vpc_commands.go).

Un seul réglage sert donc à des attentes de nature différente.

Décision (2026-10-17)

Une section de configuration times, avec des délais dédiés :

Clé Rôle Défaut proposé
times.timeout_vms_stop attente de l'arrêt propre d'une VM avant quit 300 s (inchangé)
times.next_vms_shutdown intervalle entre deux system_powerdown pendant cette attente 30 s
times.timeout_subnet_stop attente, à la suppression d'un subnet, que ses VM en deleting soient supprimées à fixer (supérieur à timeout_vms_stop)
times.timeout_vpc_stop attente, à la suppression d'un VPC, que ses subnets en deleting soient supprimés à fixer (supérieur à timeout_subnet_stop)
  • Renvoi de system_powerdown toutes les next_vms_shutdown secondes jusqu'à timeout_vms_stop, puis quit. Une VM qui n'écoutait pas encore au premier envoi s'éteint au suivant.
  • Nouvelle attente à la suppression d'un subnet, sur le modèle du VPC. Aujourd'hui, DeleteSubnet refuse simplement (409) tant que des VM l'utilisent. Comme pour le VPC : le refus reste pour une VM qui n'est ni en deleting ni supprimée ; une VM en deleting est attendue jusqu'à timeout_subnet_stop. On peut alors envoyer d'un coup la suppression d'une VM puis celle de son subnet.

Points à trancher en implémentant

  • Délais des attentes à la création (subnet qui attend son VPC, VM qui attend ses subnets) : clés dédiées dans times (par exemple timeout_subnet_start, timeout_vms_start) ou non.
  • Devenir de dispatcher.timeout_seconds et dispatcher.poll_seconds : migration vers times, et prise en compte de l'ancienne clé si elle est présente dans une configuration existante.
  • Valeurs par défaut de timeout_subnet_stop et timeout_vpc_stop, cohérentes avec l'enchaînement VM → subnet → VPC.

Vérification en lab

  • Suppression d'une VM 3 s après son démarrage, console série lue : arrêt obtenu au renvoi de system_powerdown, bien avant 300 s.
  • Cas de t52-m3 (VM sans compte, en marche depuis plusieurs minutes) rejoué, journaux de l'invité lus pendant la suppression.
  • e2e : suppression d'une VM puis de son subnet envoyées d'un coup (attente au lieu d'un 409) ; les contrôles de 12 et 51 (409 pour une VM running) restent valides ; wait_state des tests (360 s) réajusté.
  • Doc : configuration.rst (section times), notes de version.
## Constat Campagne du 2026-10-17 (#70) : 3 suppressions de VM sur plusieurs dizaines ont duré **exactement 300 s** (`StopVMCommand` à 300 067, 300 127 et 300 087 ms : `t11-ud`, `t12-a`, `t52-m3`) ; les autres prennent environ 6 s. `StopVM` (`internal/vm/delete.go`) envoie **un seul** `system_powerdown`, puis `waitQMPDead` attend l'arrêt de QEMU pendant `dispatcher.timeout_seconds` (300 s), puis envoie `quit`. **Hypothèse, non vérifiée :** - `t11-ud` : suppression demandée **3 s** après le démarrage de QEMU ; - `t12-a` : supprimée aussitôt après son passage en `running`. Dans ces deux cas, l'appui sur le bouton d'alimentation ACPI arrive avant que l'invité sache le traiter (firmware, chargeur de démarrage) et il est **perdu** : la VM finit de démarrer et l'agent attend les 300 s. **`t52-m3` n'est pas expliquée :** elle tournait depuis plusieurs minutes. Seule particularité : elle a été créée sans clé SSH ni mot de passe, sans lien évident avec l'ACPI. Cause inconnue à ce jour. ## Usages actuels de `dispatcher.timeout_seconds` 1. Arrêt propre d'une VM (`waitQMPDead`). **300 s voulus** (VM Windows notamment). 2. Attentes de dépendances entre commandes asynchrones : - `CreateSubnetCommand` attend le VPC `running` (`subnet_commands.go`) ; - `StartVMCommand` attend les subnets de ses NIC `running` (`vm_commands.go`) ; - `DeleteVPCCommand` attend qu'aucun subnet ne soit en `deleting` (`vpc_commands.go`). Un seul réglage sert donc à des attentes de nature différente. ## Décision (2026-10-17) **Une section de configuration `times`, avec des délais dédiés :** | Clé | Rôle | Défaut proposé | |---|---|---| | `times.timeout_vms_stop` | attente de l'arrêt propre d'une VM avant `quit` | 300 s (inchangé) | | `times.next_vms_shutdown` | intervalle entre deux `system_powerdown` pendant cette attente | 30 s | | `times.timeout_subnet_stop` | attente, à la suppression d'un subnet, que ses VM en `deleting` soient supprimées | à fixer (supérieur à `timeout_vms_stop`) | | `times.timeout_vpc_stop` | attente, à la suppression d'un VPC, que ses subnets en `deleting` soient supprimés | à fixer (supérieur à `timeout_subnet_stop`) | - **Renvoi de `system_powerdown`** toutes les `next_vms_shutdown` secondes jusqu'à `timeout_vms_stop`, puis `quit`. Une VM qui n'écoutait pas encore au premier envoi s'éteint au suivant. - **Nouvelle attente à la suppression d'un subnet**, sur le modèle du VPC. Aujourd'hui, `DeleteSubnet` refuse simplement (409) tant que des VM l'utilisent. Comme pour le VPC : le refus reste pour une VM qui n'est ni en `deleting` ni supprimée ; une VM en `deleting` est attendue jusqu'à `timeout_subnet_stop`. On peut alors envoyer d'un coup la suppression d'une VM puis celle de son subnet. ## Points à trancher en implémentant - **Délais des attentes à la création** (subnet qui attend son VPC, VM qui attend ses subnets) : clés dédiées dans `times` (par exemple `timeout_subnet_start`, `timeout_vms_start`) ou non. - **Devenir de `dispatcher.timeout_seconds` et `dispatcher.poll_seconds`** : migration vers `times`, et prise en compte de l'ancienne clé si elle est présente dans une configuration existante. - **Valeurs par défaut** de `timeout_subnet_stop` et `timeout_vpc_stop`, cohérentes avec l'enchaînement VM → subnet → VPC. ## Vérification en lab - Suppression d'une VM 3 s après son démarrage, console série lue : arrêt obtenu au renvoi de `system_powerdown`, bien avant 300 s. - Cas de `t52-m3` (VM sans compte, en marche depuis plusieurs minutes) rejoué, journaux de l'invité lus pendant la suppression. - e2e : suppression d'une VM puis de son subnet envoyées d'un coup (attente au lieu d'un 409) ; les contrôles de 12 et 51 (409 pour une VM `running`) restent valides ; `wait_state` des tests (360 s) réajusté. - Doc : `configuration.rst` (section `times`), notes de version.
Author
Owner

Plan (2026-10-25), branche feature-79

Points tranchés le 2026-10-25 :

  • Attentes à la création : deux clés dédiées, timeout_subnet_start et timeout_vms_start.
  • dispatcher.timeout_seconds et dispatcher.poll_seconds sont retirées et totalement ignorées si elles restent dans une configuration : rien à modifier sur les hyperviseurs, les défauts de times s'appliquent.
  • Valeurs par défaut ci-dessous, ordre VM < subnet < VPC.
  • VPC supprimé malgré un subnet en error (écart trouvé à la lecture : l'attente de DeleteVPCCommand s'arrête dès qu'aucun subnet n'est en deleting, un subnet passé en error laisse donc le VPC se supprimer) : corrigé ici.

Section times (secondes) :

Clé Rôle Défaut
timeout_vms_stop arrêt propre d'une VM avant quit 300
next_vms_shutdown intervalle entre deux system_powerdown 30
timeout_subnet_stop suppression d'un subnet : attente de ses VM en deleting 360
timeout_vpc_stop suppression d'un VPC : attente de ses subnets en deleting 420
timeout_subnet_start création d'un subnet : attente du VPC running 300
timeout_vms_start création d'une VM : attente de ses subnets running 300
poll_interval pas de toutes les attentes 2

Toute valeur ≤ 0, ou next_vms_shutdown ≥ timeout_vms_stop, fait échouer le démarrage.

  1. Config (internal/config/agent) : section times, défauts, validation au chargement ; section dispatcher retirée.
  2. Arrêt d'une VM (internal/vm/delete.go) : system_powerdown renvoyé toutes les next_vms_shutdown secondes jusqu'à timeout_vms_stop, puis quit.
  3. Suppression d'un subnet : le 409 reste pour une VM ni en deleting ni supprimée ; une VM en deleting est attendue jusqu'à timeout_subnet_stop ; une VM attendue qui passe en error fait échouer la suppression du subnet.
  4. Suppression d'un VPC : même règle, un subnet attendu qui passe en error fait échouer la suppression du VPC ; délai timeout_vpc_stop.
  5. Créations : timeout_subnet_start, timeout_vms_start.
  6. Tests unitaires (config, renvoi de system_powerdown, attentes et échecs du subnet et du VPC), mutation ; e2e : suppression d'une VM puis de son subnet envoyées d'un coup (attente au lieu d'un 409), suppression d'une VM quelques secondes après son démarrage (arrêt au renvoi, bien avant 300 s), wait_state porté à 480 s ; les 409 de 12 et 51 (VM running) restent.
  7. Doc : configuration.rst, asynchronisme.rst, premier-vpc.rst, contraintes.rst, spec (409 de DELETE /subnets/{name}), config.exemple.yml, notes de version.
## Plan (2026-10-25), branche `feature-79` Points tranchés le 2026-10-25 : - **Attentes à la création : deux clés dédiées**, `timeout_subnet_start` et `timeout_vms_start`. - **`dispatcher.timeout_seconds` et `dispatcher.poll_seconds` sont retirées et totalement ignorées** si elles restent dans une configuration : rien à modifier sur les hyperviseurs, les défauts de `times` s'appliquent. - **Valeurs par défaut** ci-dessous, ordre VM < subnet < VPC. - **VPC supprimé malgré un subnet en `error`** (écart trouvé à la lecture : l'attente de `DeleteVPCCommand` s'arrête dès qu'aucun subnet n'est en `deleting`, un subnet passé en `error` laisse donc le VPC se supprimer) : corrigé ici. Section `times` (secondes) : | Clé | Rôle | Défaut | |---|---|---| | `timeout_vms_stop` | arrêt propre d'une VM avant `quit` | 300 | | `next_vms_shutdown` | intervalle entre deux `system_powerdown` | 30 | | `timeout_subnet_stop` | suppression d'un subnet : attente de ses VM en `deleting` | 360 | | `timeout_vpc_stop` | suppression d'un VPC : attente de ses subnets en `deleting` | 420 | | `timeout_subnet_start` | création d'un subnet : attente du VPC `running` | 300 | | `timeout_vms_start` | création d'une VM : attente de ses subnets `running` | 300 | | `poll_interval` | pas de toutes les attentes | 2 | Toute valeur ≤ 0, ou `next_vms_shutdown` ≥ `timeout_vms_stop`, fait échouer le démarrage. 1. **Config** (`internal/config/agent`) : section `times`, défauts, validation au chargement ; section `dispatcher` retirée. 2. **Arrêt d'une VM** (`internal/vm/delete.go`) : `system_powerdown` renvoyé toutes les `next_vms_shutdown` secondes jusqu'à `timeout_vms_stop`, puis `quit`. 3. **Suppression d'un subnet** : le 409 reste pour une VM ni en `deleting` ni supprimée ; une VM en `deleting` est attendue jusqu'à `timeout_subnet_stop` ; une VM attendue qui passe en `error` fait échouer la suppression du subnet. 4. **Suppression d'un VPC** : même règle, un subnet attendu qui passe en `error` fait échouer la suppression du VPC ; délai `timeout_vpc_stop`. 5. **Créations** : `timeout_subnet_start`, `timeout_vms_start`. 6. **Tests** unitaires (config, renvoi de `system_powerdown`, attentes et échecs du subnet et du VPC), mutation ; e2e : suppression d'une VM puis de son subnet envoyées d'un coup (attente au lieu d'un 409), suppression d'une VM quelques secondes après son démarrage (arrêt au renvoi, bien avant 300 s), `wait_state` porté à 480 s ; les 409 de 12 et 51 (VM `running`) restent. 7. **Doc** : `configuration.rst`, `asynchronisme.rst`, `premier-vpc.rst`, `contraintes.rst`, spec (409 de `DELETE /subnets/{name}`), `config.exemple.yml`, notes de version.
Author
Owner

Lab du 2026-10-25 (evpn-3hv, binaires de feature-79 + #81 + #84)

12-etats 38/38 :

  • VM t12-q supprimée 3 s après son passage en running, et suppression de son subnet sn-t12q envoyée aussitôt : 202 (et non plus 409), le subnet reste en deleting pendant l'attente de la VM.
  • VM puis subnet supprimés en 35 s (les suppressions comparables mesurées le 2026-10-17 duraient exactement 300 s). La durée est cohérente avec un premier system_powerdown perdu puis entendu au renvoi de la 30e seconde ; le journal de l'invité n'a pas été lu, c'est une déduction.
  • Les 409 de 12, 51 et 52 (VM running) restent valides ; wait_state à 480 s n'a pas allongé la suite (13:34 → 14:20 pour les 29 scénarios).

Non rejoué : le cas de t52-m3 (VM sans compte, en marche depuis plusieurs minutes) ; 52-migration est vert (51/51) et aucune suppression n'a atteint le délai.

## Lab du 2026-10-25 (evpn-3hv, binaires de `feature-79` + #81 + #84) **12-etats** 38/38 : - VM `t12-q` supprimée **3 s** après son passage en `running`, et suppression de son subnet `sn-t12q` envoyée aussitôt : 202 (et non plus 409), le subnet reste en `deleting` pendant l'attente de la VM. - VM puis subnet supprimés en **35 s** (les suppressions comparables mesurées le 2026-10-17 duraient exactement 300 s). La durée est cohérente avec un premier `system_powerdown` perdu puis entendu au renvoi de la 30e seconde ; le journal de l'invité n'a pas été lu, c'est une déduction. - Les 409 de 12, 51 et 52 (VM `running`) restent valides ; `wait_state` à 480 s n'a pas allongé la suite (13:34 → 14:20 pour les 29 scénarios). Non rejoué : le cas de `t52-m3` (VM sans compte, en marche depuis plusieurs minutes) ; 52-migration est vert (51/51) et aucune suppression n'a atteint le délai.
Author
Owner

Fusionné dans main (da6295b), validé en lab le 2026-10-25 (voir plus haut). Fermeture.

Fusionné dans main (`da6295b`), validé en lab le 2026-10-25 (voir plus haut). Fermeture.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#79
No description provided.