diff --git a/docs/concepts/metadata-cloud-init.rst b/docs/concepts/metadata-cloud-init.rst index 483090b..8bfd934 100644 --- a/docs/concepts/metadata-cloud-init.rst +++ b/docs/concepts/metadata-cloud-init.rst @@ -56,12 +56,45 @@ un provisionnement : changer de nom, repartir d'un disque neuf, ou exécuter Configuration réseau -------------------- +Le ``network-config`` servi à une VM contient une entrée par interface, dans l'ordre de l'API, +visée par sa MAC et configurée en DHCP IPv4 : + +.. code-block:: yaml + + version: 2 + ethernets: + eth0: + match: + macaddress: "52:54:00:19:01:0a" + dhcp4: true + eth1: + match: + macaddress: "52:54:00:19:02:14" + dhcp4: true + +La correspondance se fait par la MAC, pas par le nom : l'entrée ``eth`` s'applique à +``ens3`` comme à ``eth0``. La clé n'est qu'un identifiant pour netplan et NetworkManager ; +deux renderers de cloud-init s'en servent pourtant comme nom : ``sysconfig`` renomme +l'interface vers la clé, et ``networkd`` l'ajoute au ``[Match]``, qui ne correspond alors +qu'aux images démarrées avec ``net.ifnames=0``. + +Le ``network-config`` ne pose **aucune métrique**. Toutes les interfaces reçoivent du serveur +DHCP les routes du VPC et des métadonnées (option 121) ; seule la primaire reçoit la route par +défaut. Départager les routes en double relève de l'utilisateur de la VM, par son ``user_data``. + .. warning:: - ``network-config.tmpl`` cible ``eth0`` alors que les guests utilisent ``ens3`` : il ne - s'applique donc à rien, et le réseau des VM vient du DHCP. **Ne pas le « corriger » ni le - supprimer.** Le rendre opérant ferait remplacer par cloud-init la configuration réseau de - l'image, sur toutes les VM. + Le ``network-config`` ne suffit pas à configurer les interfaces secondaires. La source + NoCloud en ``seedfrom`` HTTP n'est trouvée qu'à l'étape réseau de cloud-init : + + * cloud-init 22.4 (Debian 12) ne demande jamais ``network-config`` par ``seedfrom`` et + applique sa configuration de repli, limitée à la première interface ; + * cloud-init 25.1 (Debian 13) le lit et l'applique au premier démarrage, mais à chaque + démarrage suivant l'étape locale réapplique le repli, et ``network-config`` n'est pas + relu : les interfaces secondaires perdent leur configuration. + + L'image doit donc faire du DHCP IPv4 sur **toutes** ses interfaces Ethernet, sans compter + sur cloud-init. Voir :doc:`/deploiement/image-qcow2`. Sécurité -------- diff --git a/docs/deploiement/image-qcow2.rst b/docs/deploiement/image-qcow2.rst index 1bf8866..a8e0488 100644 --- a/docs/deploiement/image-qcow2.rst +++ b/docs/deploiement/image-qcow2.rst @@ -259,6 +259,31 @@ C'est ce second fichier qui raccorde l'image au serveur de metadata de l'agent : la seule source retenue, et elle pointe sur ``169.254.169.254``. La route ``/32`` vers cette adresse est indispensable côté agent — voir :doc:`/concepts/modes-reseau`. +**DHCP sur toutes les interfaces** + +L'image doit demander un bail DHCP IPv4 sur chaque interface Ethernet, et pas seulement sur la +première : cloud-init ne configure les interfaces secondaires qu'au premier démarrage, au mieux +(cf. :doc:`/concepts/metadata-cloud-init`). Pour une image sous systemd-networkd : + +.. code-block:: bash + + cat << 'ENDFILE' > /mnt/etc/systemd/network/90-all-en.network + [Match] + Name=en* + + [Network] + DHCP=ipv4 + ENDFILE + +Le préfixe ``90`` laisse la priorité aux fichiers écrits par cloud-init pour la première +interface (``10-netplan-*``). Sur une image démarrée avec ``net.ifnames=0``, viser ``eth*``. + +.. note:: + + **À établir pour NetworkManager** — l'équivalent pour une image sous NetworkManager, dont + l'image Rocky de cette page, n'est pas encore vérifié. Sans lui, une VM à plusieurs + interfaces n'a de bail que sur la première. + **Services et durcissement** .. code-block:: bash diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index a0ffd74..3a7b599 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -318,7 +318,7 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé * - ``25-multi-nic`` - VM à plusieurs interfaces — une NIC par subnet, adresses posées, route par défaut sur la primaire seule - hv1 - - #33, #62 + - #33, #62, #73 * - ``26-multi-disque`` - VM à plusieurs disques — virtio (vdX) et SCSI (sdX), tailles et bus vus par la VM, démarrage sur vda - hv1 diff --git a/internal/metadata/metadata_test.go b/internal/metadata/metadata_test.go index 4efff81..2c4b093 100644 --- a/internal/metadata/metadata_test.go +++ b/internal/metadata/metadata_test.go @@ -78,14 +78,26 @@ func TestRenderConfig_VendorData_ContainsSSHKey(t *testing.T) { } } -func TestRenderConfig_NetworkConfig(t *testing.T) { +func TestRenderConfig_NetworkConfigMatchesEveryInterfaceByMAC(t *testing.T) { cfg := newCfg() - out, err := RenderConfig("templates/network-config.tmpl", cfg) + cfg.MACs = []string{"52:54:00:49:01:0c", "52:54:00:49:02:16"} + out, err := renderDocument(DocNetworkConfig, cfg) if err != nil { - t.Fatalf("RenderConfig network-config : %v", err) + t.Fatalf("renderDocument network-config : %v", err) } - if !strings.Contains(out, "dhcp4: true") { - t.Errorf("dhcp4 absent du network-config :\n%s", out) + want := `version: 2 +ethernets: + eth0: + match: + macaddress: "52:54:00:49:01:0c" + dhcp4: true + eth1: + match: + macaddress: "52:54:00:49:02:16" + dhcp4: true +` + if out != want { + t.Errorf("network-config :\n%s\nattendu :\n%s", out, want) } } diff --git a/internal/metadata/struct.go b/internal/metadata/struct.go index 39592ed..d30e7ea 100644 --- a/internal/metadata/struct.go +++ b/internal/metadata/struct.go @@ -27,5 +27,6 @@ type NoCloudConfig struct { Name string Password string SSHKEY string + MACs []string Documents map[string]string } diff --git a/internal/metadata/templates/network-config.tmpl b/internal/metadata/templates/network-config.tmpl index 0f8d052..62af00c 100644 --- a/internal/metadata/templates/network-config.tmpl +++ b/internal/metadata/templates/network-config.tmpl @@ -1,4 +1,8 @@ version: 2 ethernets: - eth0: +{{- range $i, $mac := .MACs }} + eth{{ $i }}: + match: + macaddress: "{{ $mac }}" dhcp4: true +{{- end }} diff --git a/internal/vm/create.go b/internal/vm/create.go index 1318750..fc2bf0c 100644 --- a/internal/vm/create.go +++ b/internal/vm/create.go @@ -6,6 +6,7 @@ import ( "net" "os" "path/filepath" + "strings" configuration "git.g3e.fr/syonad/two/internal/config/agent" "git.g3e.fr/syonad/two/internal/dhcpbackend" @@ -71,6 +72,7 @@ func StartVM(db *badger.DB, name string, cfg *configuration.Config) error { BindPort: d.metadataPort, Password: d.password, SSHKEY: d.sshkey, + MACs: nicMACs(d.nics), Documents: d.documents, }, cfg, false); err != nil { return fmt.Errorf("start metadata: %w", err) @@ -171,3 +173,11 @@ func copyFile(src, dst string) error { } return out.Sync() } + +func nicMACs(nics []nicData) []string { + macs := make([]string, len(nics)) + for i, n := range nics { + macs[i] = strings.ToLower(n.mac) + } + return macs +} diff --git a/internal/vm/create_test.go b/internal/vm/create_test.go new file mode 100644 index 0000000..1ed9bd2 --- /dev/null +++ b/internal/vm/create_test.go @@ -0,0 +1,20 @@ +package vm + +import ( + "reflect" + "testing" +) + +func TestNicMACs_KeepsTheOrderAndLowersTheCase(t *testing.T) { + nics := []nicData{ + {index: 0, mac: "52:54:00:49:01:0C"}, + {index: 1, mac: "52:54:00:49:02:16", primary: true}, + } + + got := nicMACs(nics) + + want := []string{"52:54:00:49:01:0c", "52:54:00:49:02:16"} + if !reflect.DeepEqual(got, want) { + t.Errorf("nicMACs = %v, attendu %v", got, want) + } +} diff --git a/test/e2e/lib/vm.sh b/test/e2e/lib/vm.sh index d32d8c8..b72a7e1 100644 --- a/test/e2e/lib/vm.sh +++ b/test/e2e/lib/vm.sh @@ -13,6 +13,8 @@ two_image () { mount /dev/nbd0p1 /mnt/two-image || { qemu-nbd -d /dev/nbd0 >/dev/null; return 1; } printf '%s\n' 'datasource_list: [ NoCloud ]' 'datasource:' ' NoCloud:' " seedfrom: 'http://169.254.169.254:80/'" ' timeout: 5' ' max_wait: 10' \ > /mnt/two-image/etc/cloud/cloud.cfg.d/99_metadata.cfg + printf '%s\n' '[Match]' 'Name=en*' '' '[Network]' 'DHCP=ipv4' \ + > /mnt/two-image/etc/systemd/network/90-all-en.network umount /mnt/two-image qemu-nbd -d /dev/nbd0 >/dev/null mv "${work}/${IMAGE_FILE}" "${TWO_IMAGE}" diff --git a/test/e2e/suite/03-image.sh b/test/e2e/suite/03-image.sh index 67350f9..6fcc2ba 100644 --- a/test/e2e/suite/03-image.sh +++ b/test/e2e/suite/03-image.sh @@ -1,6 +1,6 @@ # fonctionnalité: hypothèses sur l'image de VM — outils (curl, python3), nom d'interface, effet réel de network-config, forme du compte verrouillé # hôtes: hv1 -# tickets: #70 +# tickets: #70, #73 on hv1 <<'NODE' KEY=$(vm_key) @@ -13,12 +13,12 @@ for tool in curl python3; do done check "t03-a : interface ens3 présente (nom supposé par la suite)" vm_ssh vp-t03 10.3.1.10 'test -e /sys/class/net/ens3' check "t03-a : aucune interface eth0" vm_ssh vp-t03 10.3.1.10 '! test -e /sys/class/net/eth0' -check "network-config servi à t03-a : vise eth0" vm_grep vp-t03 10.3.1.10 'curl -fsS http://169.254.169.254/network-config' 'eth0:' +check "network-config servi à t03-a : entrée eth0 visée par la MAC de sa NIC" vm_grep vp-t03 10.3.1.10 'curl -fsS http://169.254.169.254/network-config' "macaddress: \"$(mac_for_ip 10.3.1.10)\"" NETFILE=$(vm_ssh vp-t03 10.3.1.10 'networkctl status ens3' | sed -n 's/^ *Network File: *//p') info "t03-a : ens3 configurée par ${NETFILE:-aucun fichier networkd}" check "t03-a : ens3 configurée par systemd-networkd (fichier : ${NETFILE:-aucun})" test -n "${NETFILE}" not_eth0_file () { case "${NETFILE}" in ""|*eth0*) return 1 ;; esac; } -check "hypothèse : ens3 tient sa configuration de l'image, pas de network-config, qui vise eth0 (fichier : ${NETFILE:-aucun})" not_eth0_file +check "hypothèse : ens3 tient sa configuration du repli de cloud-init, qui ne lit pas network-config sous Debian 12 (fichier : ${NETFILE:-aucun})" not_eth0_file SHADOW=$(vm_ssh vp-t03 10.3.1.10 "sudo awk -F: '\$1 == \"syonad\" {print substr(\$2, 1, 1)}' /etc/shadow") check "t03-a : compte syonad verrouillé (lock_passwd), champ de /etc/shadow commençant par « ! » (forme lue par 23 ; lu : « ${SHADOW} »)" test "${SHADOW}" = '!' NODE diff --git a/test/e2e/suite/25-multi-nic.sh b/test/e2e/suite/25-multi-nic.sh index a3634f4..751a7a4 100644 --- a/test/e2e/suite/25-multi-nic.sh +++ b/test/e2e/suite/25-multi-nic.sh @@ -1,6 +1,6 @@ # fonctionnalité: VM à plusieurs interfaces — une NIC par subnet, adresses posées, route par défaut sur la primaire seule # hôtes: hv1 -# tickets: #33, #62 +# tickets: #33, #62, #73 on hv1 <<'NODE' KEY=$(vm_key) @@ -12,12 +12,12 @@ check "API : deux interfaces, une seule primaire" test "$(curl -fsS "${API}/vms/ check "t25-m joignable sur sa primaire 10.25.1.10" vm_wait vp-t25 10.25.1.10 check "t25-m : deux interfaces réseau (ens3, ens4)" vm_ssh vp-t25 10.25.1.10 'test -e /sys/class/net/ens3 && test -e /sys/class/net/ens4' check "t25-m : 10.25.1.10 sur ens3" vm_grep vp-t25 10.25.1.10 'ip -4 -o addr show dev ens3' ' 10.25.1.10/' -known "#73" "t25-m : ens4 obtient un bail DHCP de systemd-networkd" test "$(vm_lease vp-t25 10.25.1.10 ADDRESS ens4)" = 10.25.2.20 -known "#73" "t25-m : 10.25.2.20 sur ens4" vm_grep vp-t25 10.25.1.10 'ip -4 -o addr show dev ens4' ' 10.25.2.20/' -known "#73" "t25-m joignable sur sa seconde adresse 10.25.2.20" vm_wait vp-t25 10.25.2.20 +check "t25-m : ens4 obtient un bail DHCP de systemd-networkd" test "$(vm_lease vp-t25 10.25.1.10 ADDRESS ens4)" = 10.25.2.20 +check "t25-m : 10.25.2.20 sur ens4" vm_grep vp-t25 10.25.1.10 'ip -4 -o addr show dev ens4' ' 10.25.2.20/' +check "t25-m joignable sur sa seconde adresse 10.25.2.20" vm_wait vp-t25 10.25.2.20 check "t25-m : une seule route par défaut" test "$(vm_ssh vp-t25 10.25.1.10 'ip -4 route show default' | wc -l)" -eq 1 check "t25-m : route par défaut via la gateway de la primaire 10.25.1.254" route_via vp-t25 10.25.1.10 default 10.25.1.254 -known "#73" "t25-m : bail de ens4 servi par la gateway de sn-t25b" test "$(vm_lease vp-t25 10.25.1.10 SERVER_ADDRESS ens4)" = 10.25.2.254 +check "t25-m : bail de ens4 servi par la gateway de sn-t25b" test "$(vm_lease vp-t25 10.25.1.10 SERVER_ADDRESS ens4)" = 10.25.2.254 check "t25-m : route /32 des métadonnées présente" vm_grep vp-t25 10.25.1.10 'ip -4 route show 169.254.169.254' 'via 10.25.' nic_macs () { ps -eo args | grep "[q]emu.*${1}" | grep -oE 'mac=[0-9A-Fa-f:]+' | sort | uniq | wc -l; } check "t25-m : deux MAC distinctes sur la ligne QEMU (témoin)" test "$(nic_macs t25-m)" -eq 2