rocky10 : nmcli en échec au redémarrage (cloud-init dégradé) et NTP sur le pool public #1

Open
opened 2026-11-02 00:30:24 +00:00 by nicolas.boufideline · 2 comments

Deux comportements de l'image rocky10 font échouer la suite e2e de two sous Rocky 10 (campagne du lab du 2026-11-01, syonad/two#82). two n'est pas en cause dans les deux cas ; l'image debian13 n'est pas concernée.

1. Avertissement nmcli connection up au redémarrage (test 27-reboot)

Au redémarrage d'une VM, cloud-init (24.4-7.el10) finit en degraded done, code 2 de cloud-init status --wait :

recoverable_errors: WARNING: Running interface command ['nmcli', 'connection', 'up', 'filename',
  '/etc/NetworkManager/system-connections/cloud-init-ens3.nmconnection'] failed

Séquence relevée dans /var/log/cloud-init.log et le journal de NetworkManager :

  1. Étape locale : configuration de repli appliquée (from fallback, ens3 avec set-name: ens3, bringup=False) → fichier cloud-init-ens3.nmconnection.
  2. NetworkManager active « cloud-init ens3 » depuis cloud-init-eth0.nmconnection (écrit au premier démarrage) ; bail obtenu.
  3. Étape réseau : événement boot-legacy autorisé par 98_network_updates.cfg, le network-config de two est réappliqué (from ds bringup=True, clé eth0 + match: macaddress) ; nmcli connection load puis nmcli connection up filename …cloud-init-ens3.nmconnection échoue en 17 ms.

Deux fichiers pour la même connexion (cloud-init-ens3 et cloud-init-eth0) ; le réseau reste fonctionnel (même adresse, nouveau bail), seul l'état de cloud-init est dégradé.

Contre-épreuve : avec updates: network: when: [boot-new-instance] passé en user_data, 27 passe (18/18). Ce n'est pas la correction : la réapplication à chaque démarrage est une exigence de two (docs/deploiement/image-qcow2.rst, le repli de l'étape locale ne vise que la première interface) ; la contre-épreuve n'avait qu'une interface.

À établir :

  • comment le rendu NetworkManager de cloud-init 24.4 nomme ses fichiers (nom de la clé du network-config ou nom du périphérique), et pourquoi up échoue sur le fichier du repli ;
  • si l'étape locale peut ne pas écrire de repli (ou l'écrire sous le même nom) sans perdre le réseau avant la lecture des métadonnées ;
  • le cas d'une VM à plusieurs interfaces redémarrée, à vérifier dans test.sh (2 interfaces) et dans la suite e2e.

2. chronyd interroge le pool NTP public (test 46-passerelle-nat)

Au démarrage, chronyd ouvre 8 flux vers des serveurs NTP publics (pool), en plus du serveur annoncé par DHCP (option 42, interface_ip du subnet). Dans un VPC sans sortie, chaque requête est refusée par la VRF du VPC par un ICMP « Unreachable » vers la VM ; le noyau de l'hyperviseur limite ces messages par destination (net.ipv4.icmp_ratelimit = 1000) et supprime alors ceux d'un test qui en attend un :

IcmpOutRateLimitHost 469 → 472   IcmpOutDestUnreachs 369 → 369

(compteurs de l'hyperviseur avant et après le contrôle « sans passerelle, refusé par la VRF », en échec 3 fois sur 3).

Piste : configurer chrony sur les seules sources DHCP (sourcedir /run/chrony-dhcp ou équivalent NetworkManager), sans pool — plus juste pour une VM dont le VPC n'a pas forcément de sortie. À comparer avec debian13 (systemd-timesyncd).

Liens : syonad/two#82 (suite e2e sous Rocky), syonad/two#53 (images reproductibles).

Deux comportements de l'image `rocky10` font échouer la suite e2e de two sous Rocky 10 (campagne du lab du 2026-11-01, syonad/two#82). two n'est pas en cause dans les deux cas ; l'image `debian13` n'est pas concernée. ## 1. Avertissement `nmcli connection up` au redémarrage (test 27-reboot) Au redémarrage d'une VM, cloud-init (24.4-7.el10) finit en `degraded done`, code 2 de `cloud-init status --wait` : ``` recoverable_errors: WARNING: Running interface command ['nmcli', 'connection', 'up', 'filename', '/etc/NetworkManager/system-connections/cloud-init-ens3.nmconnection'] failed ``` Séquence relevée dans `/var/log/cloud-init.log` et le journal de NetworkManager : 1. Étape locale : configuration de repli appliquée (`from fallback`, `ens3` avec `set-name: ens3`, `bringup=False`) → fichier `cloud-init-ens3.nmconnection`. 2. NetworkManager active « cloud-init ens3 » depuis `cloud-init-eth0.nmconnection` (écrit au premier démarrage) ; bail obtenu. 3. Étape réseau : événement `boot-legacy` autorisé par `98_network_updates.cfg`, le `network-config` de two est réappliqué (`from ds bringup=True`, clé `eth0` + `match: macaddress`) ; `nmcli connection load` puis `nmcli connection up filename …cloud-init-ens3.nmconnection` échoue en 17 ms. Deux fichiers pour la même connexion (`cloud-init-ens3` et `cloud-init-eth0`) ; le réseau reste fonctionnel (même adresse, nouveau bail), seul l'état de cloud-init est dégradé. Contre-épreuve : avec `updates: network: when: [boot-new-instance]` passé en user_data, 27 passe (18/18). **Ce n'est pas la correction** : la réapplication à chaque démarrage est une exigence de two (`docs/deploiement/image-qcow2.rst`, le repli de l'étape locale ne vise que la première interface) ; la contre-épreuve n'avait qu'une interface. À établir : - comment le rendu NetworkManager de cloud-init 24.4 nomme ses fichiers (nom de la clé du `network-config` ou nom du périphérique), et pourquoi `up` échoue sur le fichier du repli ; - si l'étape locale peut ne pas écrire de repli (ou l'écrire sous le même nom) sans perdre le réseau avant la lecture des métadonnées ; - le cas d'une VM à plusieurs interfaces redémarrée, à vérifier dans `test.sh` (2 interfaces) et dans la suite e2e. ## 2. chronyd interroge le pool NTP public (test 46-passerelle-nat) Au démarrage, chronyd ouvre 8 flux vers des serveurs NTP publics (pool), en plus du serveur annoncé par DHCP (option 42, `interface_ip` du subnet). Dans un VPC sans sortie, chaque requête est refusée par la VRF du VPC par un ICMP « Unreachable » vers la VM ; le noyau de l'hyperviseur limite ces messages par destination (`net.ipv4.icmp_ratelimit = 1000`) et supprime alors ceux d'un test qui en attend un : ``` IcmpOutRateLimitHost 469 → 472 IcmpOutDestUnreachs 369 → 369 ``` (compteurs de l'hyperviseur avant et après le contrôle « sans passerelle, refusé par la VRF », en échec 3 fois sur 3). Piste : configurer chrony sur les seules sources DHCP (`sourcedir /run/chrony-dhcp` ou équivalent NetworkManager), sans `pool` — plus juste pour une VM dont le VPC n'a pas forcément de sortie. À comparer avec `debian13` (systemd-timesyncd). Liens : syonad/two#82 (suite e2e sous Rocky), syonad/two#53 (images reproductibles).
Author
Owner

Point 1 (27-reboot) : cause trouvée, corrigé par 344363d (local, non poussé)

Reproduction locale

test.sh ne servait aucun network-config : le banc ne voyait que le repli, d'où le 27 vert en local. Avec un network-config au format de two (eth0/eth1 + match: macaddress, MAC fixes, 2 interfaces), l'image actuelle finit en degraded done :

  • premier démarrage : Unable to find an interface config file. Unable to bring up interface. (2e interface) ;
  • redémarrage : Running interface command ['nmcli', 'connection', 'up', 'filename', '…/cloud-init-ens5.nmconnection'] failed, le symptôme du lab.

La VM du 27 n'a probablement qu'une interface, d'où un premier démarrage propre au lab (non vérifié) : une VM de two à 2 interfaces ou plus est dégradée dès le premier démarrage.

Cause : cloud-init, cloudinit/net/network_manager.py

conn_key = iface.get("config_id") or iface["name"]
self.connections[conn_key] = NMConnection(iface["name"])
...
name = nm_conn_filename(con_id, target)
  • le fichier est nommé d'après la clé du network-config : cloud-init-eth0.nmconnection ;
  • l'id et l'UUID du profil viennent du nom de l'interface : cloud-init ens5, uuid5(…, "ens5") ;
  • l'activateur cherche cloud-init-<interface>.nmconnection (activators.py, conn_filename(device_name)).

D'où :

  • la 2e interface n'est jamais activée par cloud-init ;
  • au redémarrage, le repli de l'étape locale réécrit cloud-init-ens5.nmconnection avec le même UUID que cloud-init-eth0.nmconnection ; NetworkManager retient ce dernier et nmcli connection up filename …ens5… échoue.

Régression introduite par cloud-init#5740 (octobre 2024, ponts avec set-name), toujours présente sur la branche main de cloud-init. Le network_manager.py de Rocky (24.4-7.el10.0.1) est identique à l'amont ; Rocky ne modifie que activators.py (activation de chaque interface). Aucun ticket amont trouvé.

Correctif (344363d)

  • rocky.sh : correctif appliqué à la construction : le fichier est nommé d'après l'interface (iface["name"]), les clés config_id dont dépend #5740 sont gardées ; patch --fuzz=0, la construction échoue s'il ne s'applique plus ; py_compile ensuite.
  • check.sh : contrôle « profils NetworkManager de cloud-init nommés par interface ».
  • test.sh : network-config au format de two (2 interfaces décrites + 1 sans entrée, pour garder le contrôle de two-all-en), MAC fixes, cloud-init vérifié aussi après redémarrage.

Le repli et le network-config écrivent maintenant le même fichier (cloud-init-ens5) : ça répond aux points « À établir » sans toucher à la réapplication à chaque démarrage.

Limite : un dnf update de cloud-init dans la VM retire le correctif.

Mesures

  • témoin : nouveau test.sh sur l'image sans correctif → seuls les 2 contrôles cloud-init en échec ;
  • construction rocky10 : correctif appliqué, check.sh 16/16 ;
  • test.sh rocky10 11/11, test.sh debian13 9/9.

Reste

  • validation au lab avec les VM de two (campagne 11, 27 attendu vert) ;
  • signaler le défaut en amont (cloud-init).

Point 2 (chrony) : corrigé par a990c5a, à vérifier au lab contre le NTP annoncé par two.

## Point 1 (27-reboot) : cause trouvée, corrigé par 344363d (local, non poussé) ### Reproduction locale `test.sh` ne servait aucun `network-config` : le banc ne voyait que le repli, d'où le 27 vert en local. Avec un `network-config` au format de two (`eth0`/`eth1` + `match: macaddress`, MAC fixes, 2 interfaces), l'image actuelle finit en `degraded done` : - **premier démarrage** : `Unable to find an interface config file. Unable to bring up interface.` (2e interface) ; - **redémarrage** : `Running interface command ['nmcli', 'connection', 'up', 'filename', '…/cloud-init-ens5.nmconnection'] failed`, le symptôme du lab. La VM du 27 n'a probablement qu'une interface, d'où un premier démarrage propre au lab (non vérifié) : une VM de two à 2 interfaces ou plus est dégradée dès le premier démarrage. ### Cause : cloud-init, `cloudinit/net/network_manager.py` ```python conn_key = iface.get("config_id") or iface["name"] self.connections[conn_key] = NMConnection(iface["name"]) ... name = nm_conn_filename(con_id, target) ``` - le **fichier** est nommé d'après la clé du `network-config` : `cloud-init-eth0.nmconnection` ; - l'**id et l'UUID** du profil viennent du nom de l'interface : `cloud-init ens5`, `uuid5(…, "ens5")` ; - l'**activateur** cherche `cloud-init-<interface>.nmconnection` (`activators.py`, `conn_filename(device_name)`). D'où : - la 2e interface n'est jamais activée par cloud-init ; - au redémarrage, le repli de l'étape locale réécrit `cloud-init-ens5.nmconnection` avec le **même UUID** que `cloud-init-eth0.nmconnection` ; NetworkManager retient ce dernier et `nmcli connection up filename …ens5…` échoue. Régression introduite par cloud-init#5740 (octobre 2024, ponts avec `set-name`), toujours présente sur la branche main de cloud-init. Le `network_manager.py` de Rocky (24.4-7.el10.0.1) est identique à l'amont ; Rocky ne modifie que `activators.py` (activation de chaque interface). Aucun ticket amont trouvé. ### Correctif (344363d) - `rocky.sh` : correctif appliqué à la construction : le fichier est nommé d'après l'interface (`iface["name"]`), les clés `config_id` dont dépend #5740 sont gardées ; `patch --fuzz=0`, la construction échoue s'il ne s'applique plus ; `py_compile` ensuite. - `check.sh` : contrôle « profils NetworkManager de cloud-init nommés par interface ». - `test.sh` : `network-config` au format de two (2 interfaces décrites + 1 sans entrée, pour garder le contrôle de `two-all-en`), MAC fixes, cloud-init vérifié aussi après redémarrage. Le repli et le `network-config` écrivent maintenant le même fichier (`cloud-init-ens5`) : ça répond aux points « À établir » sans toucher à la réapplication à chaque démarrage. Limite : un `dnf update` de cloud-init dans la VM retire le correctif. ### Mesures - témoin : nouveau `test.sh` sur l'image sans correctif → seuls les 2 contrôles cloud-init en échec ; - construction rocky10 : correctif appliqué, `check.sh` 16/16 ; - `test.sh rocky10` 11/11, `test.sh debian13` 9/9. ### Reste - validation au lab avec les VM de two (campagne 11, 27 attendu vert) ; - signaler le défaut en amont (cloud-init). Point 2 (chrony) : corrigé par a990c5a, à vérifier au lab contre le NTP annoncé par two.
Author
Owner

Validation au lab (campagne 11 de two, 2026-11-06)

Image rocky10 construite sur le serveur de lab depuis 344363d : correctif cloud-init appliqué (patching file net/network_manager.py), check.sh vert dont « chrony sans serveur NTP fixe », « chrony sur les serveurs NTP du DHCP » et « profils NetworkManager de cloud-init nommés par interface ». Suite e2e de two (feature-82) sous VM_IMAGE=rocky10 :

  • Point 1 (27-reboot) : 27 vert (13/13), dont « cloud-init terminé après le redémarrage » (degraded done en campagne 10).
  • Point 2 (chrony) : nouveau contrôle dans le 29 (two 2552210) : chronyc sources n'a pour source que la gateway annoncée par l'option 42, sur une VM en subnet vxlan (10.29.1.254) et une VM en subnet bridge (10.33.0.29) ; 29 vert (56/56).

Reste : pousser a990c5a, e2ee466 et 344363d ; signaler le défaut de cloud-init en amont.

## Validation au lab (campagne 11 de two, 2026-11-06) Image rocky10 construite sur le serveur de lab depuis 344363d : correctif cloud-init appliqué (`patching file net/network_manager.py`), `check.sh` vert dont « chrony sans serveur NTP fixe », « chrony sur les serveurs NTP du DHCP » et « profils NetworkManager de cloud-init nommés par interface ». Suite e2e de two (feature-82) sous `VM_IMAGE=rocky10` : - **Point 1 (27-reboot)** : 27 vert (13/13), dont « cloud-init terminé après le redémarrage » (`degraded done` en campagne 10). - **Point 2 (chrony)** : nouveau contrôle dans le 29 (two 2552210) : `chronyc sources` n'a pour source que la gateway annoncée par l'option 42, sur une VM en subnet vxlan (10.29.1.254) et une VM en subnet bridge (10.33.0.29) ; 29 vert (56/56). Reste : pousser a990c5a, e2ee466 et 344363d ; signaler le défaut de cloud-init en amont.
Sign in to join this conversation.
No labels
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two-images#1
No description provided.