Hyperviseurs en Rocky 10, puis Rocky diskless #52

Open
opened 2026-10-04 19:35:26 +00:00 by nicolas.boufideline · 2 comments

Contexte

Les hyperviseurs actuels sont des Debian 12 : c'est aussi ce que le lab de #50 reproduit (image
debian-12-generic, même saveur de noyau que lab3). deploy.sh et bootstrap_kvm.sh sont écrits
pour Debian : apt-get, noms de paquets, dnsmasq masqué par systemctl, FRR depuis
deb.frrouting.org.

La décision du 2026-10-03 sur #50 l'avait mis hors périmètre : « passer les hyperviseurs en Rocky 10,
puis générer un noyau et un initrd sur lesquels démarrer les VM » — c'est précisément ce que le lab
doit permettre de qualifier.

Objectif

Deux étapes, dans l'ordre :

  1. Hyperviseurs en Rocky 10, installés normalement : deploy.sh et le profil kvm doivent
    fonctionner sur Rocky (gestionnaire de paquets, noms de paquets, services, FRR en RPM).
  2. Hyperviseurs Rocky diskless : noyau et initrd générés, racine en mémoire, démarrage réseau,
    deploy.sh --bootstrap rejoué à chaque démarrage — l'hyperviseur sans état décrit dans
    docs/demarrage/installation.rst.

À trancher

  • Détection de la distribution dans deploy.sh / bootstrap_kvm.sh, ou un profil par
    distribution.
  • Réseau de l'hyperviseur : NetworkManager sur Rocky, alors que la migration de l'uplink vers
    br-000000 est aujourd'hui faite en ip (non persistée, ce qui convient au diskless).
  • Diskless : chaîne de construction du noyau et de l'initrd, mode de démarrage (PXE, iPXE…),
    source de la configuration propre à chaque hyperviseur.
  • FRR : version disponible en RPM, alignée sur frr-stable du lab.
  • Qualification dans le lab : image Rocky pour les nœuds hypervisor de la topologie, scénarios E5
    rejoués à l'identique.

Analyse de risque

  • Toucher deploy.sh touche le chemin de déploiement de production : ne pas régresser Debian.
  • Diskless : un hyperviseur qui ne redémarre pas sans son serveur de boot — dépendance nouvelle à
    documenter, et à rendre redondante.
  • Supply chain : dépôts RPM tiers (FRR) à épingler comme l'est la clé du dépôt Debian dans le lab.

Lié : #50 (lab, qui servira à qualifier).

## Contexte Les hyperviseurs actuels sont des Debian 12 : c'est aussi ce que le lab de #50 reproduit (image `debian-12-generic`, même saveur de noyau que lab3). `deploy.sh` et `bootstrap_kvm.sh` sont écrits pour Debian : `apt-get`, noms de paquets, `dnsmasq` masqué par `systemctl`, FRR depuis `deb.frrouting.org`. La décision du 2026-10-03 sur #50 l'avait mis hors périmètre : « passer les hyperviseurs en Rocky 10, puis générer un noyau et un initrd sur lesquels démarrer les VM » — c'est précisément ce que le lab doit permettre de qualifier. ## Objectif Deux étapes, dans l'ordre : 1. **Hyperviseurs en Rocky 10**, installés normalement : `deploy.sh` et le profil `kvm` doivent fonctionner sur Rocky (gestionnaire de paquets, noms de paquets, services, FRR en RPM). 2. **Hyperviseurs Rocky diskless** : noyau et initrd générés, racine en mémoire, démarrage réseau, `deploy.sh --bootstrap` rejoué à chaque démarrage — l'hyperviseur sans état décrit dans `docs/demarrage/installation.rst`. ## À trancher - Détection de la distribution dans `deploy.sh` / `bootstrap_kvm.sh`, ou un profil par distribution. - Réseau de l'hyperviseur : NetworkManager sur Rocky, alors que la migration de l'uplink vers `br-000000` est aujourd'hui faite en `ip` (non persistée, ce qui convient au diskless). - Diskless : chaîne de construction du noyau et de l'initrd, mode de démarrage (PXE, iPXE…), source de la configuration propre à chaque hyperviseur. - FRR : version disponible en RPM, alignée sur `frr-stable` du lab. - Qualification dans le lab : image Rocky pour les nœuds `hypervisor` de la topologie, scénarios E5 rejoués à l'identique. ## Analyse de risque - Toucher `deploy.sh` touche le chemin de déploiement de production : ne pas régresser Debian. - Diskless : un hyperviseur qui ne redémarre pas sans son serveur de boot — dépendance nouvelle à documenter, et à rendre redondante. - Supply chain : dépôts RPM tiers (FRR) à épingler comme l'est la clé du dépôt Debian dans le lab. Lié : #50 (lab, qui servira à qualifier).
Author
Owner

Essai du 2026-10-12 — Rocky 10.2 comme hyperviseur two

VM Rocky-10-GenericCloud-Base.latest (Rocky 10.2, noyau 6.12.0-211.16.1.el10_2), démarrée sous
QEMU/KVM sur le serveur de lab (AMD EPYC 7272), BIOS, machine q35. Essais menés à la main dans la
VM, sans deploy.sh.

Prérequis matériel : x86-64-v3

Rocky 10, comme RHEL 10, est compilé pour x86-64-v3 (AVX2, BMI1/2, FMA, MOVBE). Sur un Xeon
E5-2670 (Sandy Bridge, x86-64-v2), la VM reste bloquée avant le chargeur : écran noir, console
série vide. Conséquence pour le lab : lab-host.sh commande désormais EM-B420E-NVME (EPYC 7272,
v3) et prepare refuse un serveur sans x86-64-v3 (5c2e712). Les offres « … or equivalent » ne
garantissaient pas le niveau.

Paquets

Équivalents de KVM_PACKAGES (bootstrap_kvm.sh) :

Debian Rocky 10 Remarque
qemu-system-x86 qemu-kvm binaire /usr/libexec/qemu-kvm seulement, aucun qemu-system-x86_64, ni dans EPEL
ovmf edk2-ovmf /usr/share/edk2/ovmf/OVMF_{CODE,VARS}.fd — /usr/share/OVMF/OVMF_CODE.fd (défaut de l'agent) n'existe pas
dnsmasq dnsmasq dnsmasq système à masquer, comme sur Debian
ebtables, iptables iptables-nft fournit ebtables et iptables en nftables (v1.8.11)
nfs-common nfs-utils
jq, curl jq, curl
— kernel-modules-$(uname -r), kernel-modules-extra-$(uname -r) l'image ne livre que bridge.ko ; br_netfilter, ebtables, ip_tables, iptable_nat sont dans -extra ; version = noyau en cours
FRR (deb.frrouting.org) frr AppStream 10.4.4 ; le dépôt upstream frr-stable-repo.el10 existe aussi (aligné sur le lab, 10.7.1)

Validé dans la VM

  • VRF, VXLAN, netns + veth, sysctl dans un netns, sysctl de bootstrap_kvm.sh
    (ip_forward, bridge-nf-call-iptables, après br_netfilter).
  • Règles exactes de l'agent : ebtables DropARPToGateway et DropDHCP (nft), DNAT de metadata.
  • systemd-run --scope.
  • qemu-kvm avec les arguments de l'agent (bus=pci.0, virtio-blk-pci, virtio-scsi-pci,
    scsi-hd, virtio-net-pci).
  • SELinux en Enforcing : aucun refus pendant les essais. firewalld inactif dans l'image.

Adaptations nécessaires dans two

  1. Binaire QEMU : l'agent appelle qemu-system-x86_64 par son nom → le rendre configurable
    (qemu.binary), ou poser un lien vers /usr/libexec/qemu-kvm au bootstrap.
  2. OVMF : qemu.ovmf_code_path / qemu.ovmf_vars_template vers /usr/share/edk2/ovmf/, ou
    défauts choisis selon la distribution.
  3. Machine QEMU : l'agent utilise la machine par défaut, pc (i440fx), qui est encore le défaut
    de RHEL 10 mais dépréciée → passer en q35 (pcie.0) à terme, ce qui touche les adresses PCI
    figées.
  4. bootstrap_kvm.sh : variante dnf, avec kernel-modules-extra à la version du noyau.
  5. Migration réseau : NetworkManager gère l'uplink ; pkill dhclient est sans effet. Probablement
    nmcli device set <uplink> managed no avant la migration — non testé.
  6. firewalld si activé : VXLAN UDP/4789 et BGP TCP/179 vers le route reflector.

Non couvert par l'essai

deploy.sh de bout en bout, l'agent lui-même sur Rocky (création de VPC, subnet et VM), le
démarrage d'une VM invitée par l'agent, FRR configuré par l'agent (base BGP, L3VNI), le diskless.

Ordre de démarrage, lié à #41

Avec une section bgp, l'agent refuse de démarrer si vtysh ne répond pas, et agent.service n'a
pas de Restart=. Un FRR démarré avant la migration réseau a perdu en lab la route par défaut
(route reflector unresolved) sur un hyperviseur sur deux. Ordre requis au démarrage : migration
réseau → FRR → agent. À intégrer au bootstrap, Debian comme Rocky, ou à compléter d'un
Restart=on-failure.

## Essai du 2026-10-12 — Rocky 10.2 comme hyperviseur two VM `Rocky-10-GenericCloud-Base.latest` (Rocky 10.2, noyau 6.12.0-211.16.1.el10_2), démarrée sous QEMU/KVM sur le serveur de lab (AMD EPYC 7272), BIOS, machine q35. Essais menés à la main dans la VM, sans `deploy.sh`. ### Prérequis matériel : x86-64-v3 Rocky 10, comme RHEL 10, est compilé pour **x86-64-v3** (AVX2, BMI1/2, FMA, MOVBE). Sur un Xeon E5-2670 (Sandy Bridge, x86-64-v2), la VM reste bloquée avant le chargeur : écran noir, console série vide. Conséquence pour le lab : `lab-host.sh` commande désormais `EM-B420E-NVME` (EPYC 7272, v3) et `prepare` refuse un serveur sans x86-64-v3 (`5c2e712`). Les offres « … or equivalent » ne garantissaient pas le niveau. ### Paquets Équivalents de `KVM_PACKAGES` (`bootstrap_kvm.sh`) : | Debian | Rocky 10 | Remarque | |---|---|---| | `qemu-system-x86` | `qemu-kvm` | binaire **`/usr/libexec/qemu-kvm`** seulement, aucun `qemu-system-x86_64`, ni dans EPEL | | `ovmf` | `edk2-ovmf` | **`/usr/share/edk2/ovmf/OVMF_{CODE,VARS}.fd`** — `/usr/share/OVMF/OVMF_CODE.fd` (défaut de l'agent) n'existe pas | | `dnsmasq` | `dnsmasq` | dnsmasq système à masquer, comme sur Debian | | `ebtables`, `iptables` | `iptables-nft` | fournit `ebtables` et `iptables` en nftables (v1.8.11) | | `nfs-common` | `nfs-utils` | | | `jq`, `curl` | `jq`, `curl` | | | — | **`kernel-modules-$(uname -r)`**, **`kernel-modules-extra-$(uname -r)`** | l'image ne livre que `bridge.ko` ; `br_netfilter`, ebtables, `ip_tables`, `iptable_nat` sont dans `-extra` ; version = noyau en cours | | FRR (`deb.frrouting.org`) | `frr` | AppStream 10.4.4 ; le dépôt upstream `frr-stable-repo.el10` existe aussi (aligné sur le lab, 10.7.1) | ### Validé dans la VM * VRF, VXLAN, netns + veth, sysctl dans un netns, sysctl de `bootstrap_kvm.sh` (`ip_forward`, `bridge-nf-call-iptables`, après `br_netfilter`). * Règles **exactes** de l'agent : ebtables `DropARPToGateway` et `DropDHCP` (nft), DNAT de metadata. * `systemd-run --scope`. * `qemu-kvm` avec les arguments de l'agent (`bus=pci.0`, `virtio-blk-pci`, `virtio-scsi-pci`, `scsi-hd`, `virtio-net-pci`). * SELinux en `Enforcing` : aucun refus pendant les essais. firewalld inactif dans l'image. ### Adaptations nécessaires dans two 1. **Binaire QEMU** : l'agent appelle `qemu-system-x86_64` par son nom → le rendre configurable (`qemu.binary`), ou poser un lien vers `/usr/libexec/qemu-kvm` au bootstrap. 2. **OVMF** : `qemu.ovmf_code_path` / `qemu.ovmf_vars_template` vers `/usr/share/edk2/ovmf/`, ou défauts choisis selon la distribution. 3. **Machine QEMU** : l'agent utilise la machine par défaut, `pc` (i440fx), qui est encore le défaut de RHEL 10 mais **dépréciée** → passer en q35 (`pcie.0`) à terme, ce qui touche les adresses PCI figées. 4. **`bootstrap_kvm.sh`** : variante `dnf`, avec `kernel-modules-extra` à la version du noyau. 5. **Migration réseau** : NetworkManager gère l'uplink ; `pkill dhclient` est sans effet. Probablement `nmcli device set <uplink> managed no` avant la migration — **non testé**. 6. **firewalld** si activé : VXLAN UDP/4789 et BGP TCP/179 vers le route reflector. ### Non couvert par l'essai `deploy.sh` de bout en bout, l'agent lui-même sur Rocky (création de VPC, subnet et VM), le démarrage d'une VM invitée par l'agent, FRR configuré par l'agent (base BGP, L3VNI), le diskless. ### Ordre de démarrage, lié à #41 Avec une section `bgp`, l'agent refuse de démarrer si `vtysh` ne répond pas, et `agent.service` n'a pas de `Restart=`. Un FRR démarré **avant** la migration réseau a perdu en lab la route par défaut (route reflector `unresolved`) sur un hyperviseur sur deux. Ordre requis au démarrage : migration réseau → FRR → agent. À intégrer au bootstrap, Debian comme Rocky, ou à compléter d'un `Restart=on-failure`.
Author
Owner

À regarder de près : ebtables sur Rocky 10

Vérifié le 2026-10-13 dans les RPM du dépôt officiel (noyau 6.12.0-211.64.1.el10_2) : les modules ebtables « legacy » (ebtables.ko, ebtable_filter, ebtable_nat, ebt_arp…) ne sont dans aucun paquet du noyau. Seuls nf_tables et nft_meta_bridge (famille bridge de nftables) sont livrés, dans kernel-modules-core.

two s'appuie sur ebtables dans le netns de chaque VPC :

  • DropARPToGateway (-p arp --arp-op Request --arp-ip-dst <gateway>) ;
  • DropDHCP ;
  • et, avec #57, le confinement de la MAC anycast de la passerelle.

À vérifier avant la bascule :

  • que la commande ebtables disponible sur Rocky 10 (variante nft) existe et accepte ces options, --arp-ip-dst compris ;
  • sinon, réécrire ces règles en nftables bridge.

Pour mémoire, macvlan, vxlan, bridge, veth et dummy sont bien dans kernel-modules-core.

## À regarder de près : ebtables sur Rocky 10 Vérifié le 2026-10-13 dans les RPM du dépôt officiel (noyau `6.12.0-211.64.1.el10_2`) : les modules ebtables « legacy » (`ebtables.ko`, `ebtable_filter`, `ebtable_nat`, `ebt_arp`…) **ne sont dans aucun paquet du noyau**. Seuls `nf_tables` et `nft_meta_bridge` (famille `bridge` de nftables) sont livrés, dans `kernel-modules-core`. two s'appuie sur `ebtables` dans le netns de chaque VPC : - `DropARPToGateway` (`-p arp --arp-op Request --arp-ip-dst <gateway>`) ; - `DropDHCP` ; - et, avec #57, le confinement de la MAC anycast de la passerelle. À vérifier avant la bascule : - que la commande `ebtables` disponible sur Rocky 10 (variante nft) existe et accepte ces options, `--arp-ip-dst` compris ; - sinon, réécrire ces règles en nftables `bridge`. Pour mémoire, `macvlan`, `vxlan`, `bridge`, `veth` et `dummy` sont bien dans `kernel-modules-core`.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
syonad/two#52
No description provided.