Merge branch 'feature-95'

This commit is contained in:
GnomeZworc 2026-11-01 22:34:14 +01:00
commit d1ae95ca0b
Signed by: nicolas.boufideline
GPG key ID: 4406BBBF8845D632
15 changed files with 208 additions and 14 deletions

View file

@ -59,6 +59,9 @@ QEMU et VM
* **Un tap n'existe jamais sans ses règles** : la chaîne ``pre-tap<id>`` est posée avant la
création du tap et retirée après sa suppression. Dans l'autre ordre, une VM pourrait émettre
sans filtre entre deux étapes.
* **La MAC d'une interface est figée sur son tap** (entrée de pont ``static sticky``), posée avant
que le tap soit monté. ``static`` seul ne suffit pas : l'apprentissage déplace une entrée
``static``, pas une entrée ``sticky`` (mesuré, #95).
* L'arrêt d'une VM ne touche **jamais** aux fichiers disque. En revanche, un ``quit`` brutal est
envoyé à l'expiration de ``times.timeout_vms_stop``. ``system_powerdown`` est renvoyé toutes les
``times.next_vms_shutdown`` : un appui ACPI arrivé avant que l'invité sache le traiter est perdu.

View file

@ -147,6 +147,15 @@ depuis ces adresses. L'IPv6 n'est pas filtrée (#61). Les règles sont retirées
du tap ; le watchdog signale une interface d'une VM ``running`` dont les règles manquent ou ont
été modifiées.
**MAC figée sur le tap.** Le pont du subnet, dans le netns du VPC, apprend sur quel port se trouve
chaque MAC. Pendant une migration, l'ancienne VM et la nouvelle portent la même MAC sur deux hôtes :
une trame de l'ancienne, arrivée par le VXLAN, suffisait à déplacer la MAC de la nouvelle vers
``v-<subnet>-i``, et le trafic destiné à la VM locale repartait vers l'ancien hôte jusqu'à ce
qu'elle émette à nouveau (#95). L'agent pose donc, à la création du tap, une entrée de pont
``static sticky`` de la MAC de l'interface sur son tap : l'apprentissage ne peut plus la déplacer
(une entrée ``static`` seule le peut). Elle disparaît avec le tap ; le watchdog signale une
interface d'une VM ``running`` dont l'entrée manque.
**Serveur DHCP.** ``dhcp_server: true`` sur une interface lève le seul blocage des réponses DHCP,
pour cette interface. Cas d'usage : une VM d'un subnet ``bridge`` qui sert le DHCP et le PXE de
machines diskless du segment physique, avec des réservations statiques. Les autres contrôles

View file

@ -377,9 +377,9 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
- hv1
- #50
* - ``35-filtrage-port``
- filtrage au port — en sortie vers le fabric (v-<id>-i) : ARP vers la gateway et l'adresse d'émission, DHCP émis depuis ces adresses, MAC anycast confinée dans les deux sens ; à la sortie de chaque VM (pre-tap<id>) : MAC, IP et ARP usurpés, faux serveur DHCP, source 0.0.0.0 hors DHCP, type de trame non IP, NIC autorisée en serveur DHCP (dhcp_server), règles surveillées par le watchdog et retirées avec la VM
- filtrage au port — en sortie vers le fabric (v-<id>-i) : ARP vers la gateway et l'adresse d'émission, DHCP émis depuis ces adresses, MAC anycast confinée dans les deux sens ; à la sortie de chaque VM (pre-tap<id>) : MAC, IP et ARP usurpés, faux serveur DHCP, source 0.0.0.0 hors DHCP, type de trame non IP, NIC autorisée en serveur DHCP (dhcp_server), règles surveillées par le watchdog et retirées avec la VM, MAC de chaque VM figée sur son tap (fdb static sticky) et surveillée par le watchdog
- hv1
- #57, #76
- #57, #76, #95
* - ``41-evpn-l2``
- subnet vxlan étendu entre deux hôtes par EVPN — VTEP local, VTEP distant et inondation appris, MAC des VM en type 2, trafic ICMP et TCP, MTU 1500 de bout en bout
- hv1 hv2
@ -417,9 +417,9 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
- hv1 hv2
- #41, #81
* - ``52-migration``
- migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN
- migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN, MAC de la VM migrée figée sur son tap pendant la séquence orchestrée
- hv1 hv2 hv3
- #41, #57
- #41, #57, #95
* - ``53-watchdog-l3``
- watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais
- hv1 hv3

View file

@ -116,6 +116,16 @@ Retrouver la chaîne d'une interface par sa MAC, puis lire ses règles :
Une chaîne absente, ou une interface absente de ``pre_ports``, laisse la VM émettre sans filtre :
le watchdog le signale (``interface <i>: nftables rule missing``). Recréer la VM repose ses règles.
La MAC de chaque interface est figée sur son tap par une entrée de pont ``static sticky``
(:doc:`/concepts/vpc-subnet-vm`). Sans elle, après une migration, la VM peut rester injoignable
quelques secondes : sa MAC a été réapprise vers ``v-<subnet>-i``. Le watchdog le signale
(``interface <i>: mac <mac> not pinned on tap<id>``). Lire l'entrée, et la reposer à la main :
.. code-block:: bash
ip netns exec <vpc> bridge fdb show dev tap<id>
ip netns exec <vpc> bridge fdb replace <mac> dev tap<id> master static sticky
La VM a une adresse mais cloud-init n'applique rien
---------------------------------------------------

View file

@ -3,14 +3,42 @@
package netif
import (
"bytes"
"fmt"
"net"
"syscall"
"git.g3e.fr/syonad/two/internal/netns"
"github.com/vishvananda/netlink"
)
func CreateTap(tapID int, bridgeName, vpcName string, mtu int) error {
name := fmt.Sprintf("tap%d", tapID)
func tapName(tapID int) string {
return fmt.Sprintf("tap%d", tapID)
}
func tapMACEntry(tapIndex int, mac net.HardwareAddr) *netlink.Neigh {
return &netlink.Neigh{
LinkIndex: tapIndex,
Family: syscall.AF_BRIDGE,
State: netlink.NUD_NOARP,
Flags: netlink.NTF_MASTER | netlink.NTF_STICKY,
HardwareAddr: mac,
}
}
func hasTapMAC(entries []netlink.Neigh, tapIndex int, mac net.HardwareAddr) bool {
for _, e := range entries {
if e.LinkIndex == tapIndex && e.MasterIndex != 0 && e.Vlan == 0 &&
e.State&netlink.NUD_NOARP != 0 && e.Flags&netlink.NTF_STICKY != 0 &&
bytes.Equal(e.HardwareAddr, mac) {
return true
}
}
return false
}
func CreateTap(tapID int, bridgeName, vpcName string, mtu int, mac net.HardwareAddr) error {
name := tapName(tapID)
return netns.Call(vpcName, func() error {
tap := &netlink.Tuntap{
@ -23,12 +51,31 @@ func CreateTap(tapID int, bridgeName, vpcName string, mtu int) error {
if err := BridgeSetMaster(name, bridgeName); err != nil {
return err
}
link, err := netlink.LinkByName(name)
if err != nil {
return err
}
if err := netlink.NeighSet(tapMACEntry(link.Attrs().Index, mac)); err != nil {
return fmt.Errorf("pin %s on %s: %w", mac, name, err)
}
return LinkSetUp(name)
})
}
func TapHasMAC(tapID int, mac net.HardwareAddr) (bool, error) {
link, err := netlink.LinkByName(tapName(tapID))
if err != nil {
return false, err
}
entries, err := netlink.NeighList(link.Attrs().Index, syscall.AF_BRIDGE)
if err != nil {
return false, err
}
return hasTapMAC(entries, link.Attrs().Index, mac), nil
}
func DeleteTap(tapID int, vpcName string) error {
return netns.Call(vpcName, func() error {
return DeleteLink(fmt.Sprintf("tap%d", tapID))
return DeleteLink(tapName(tapID))
})
}

View file

@ -0,0 +1,47 @@
//go:build linux
package netif
import (
"net"
"syscall"
"testing"
"github.com/vishvananda/netlink"
)
func TestTapMACEntry(t *testing.T) {
mac, _ := net.ParseMAC("52:54:00:34:01:32")
e := tapMACEntry(7, mac)
if e.LinkIndex != 7 || e.Family != syscall.AF_BRIDGE {
t.Errorf("index ou famille inattendus : %d, %d", e.LinkIndex, e.Family)
}
if e.State != 0x40 || e.Flags != 0x04|0x40 {
t.Errorf("état %#x et drapeaux %#x, entrée static (NUD_NOARP) master sticky attendue", e.State, e.Flags)
}
}
func TestHasTapMAC(t *testing.T) {
mac, _ := net.ParseMAC("52:54:00:34:01:32")
other, _ := net.ParseMAC("52:54:00:34:01:33")
pinned := netlink.Neigh{LinkIndex: 7, MasterIndex: 3, State: netlink.NUD_NOARP, Flags: netlink.NTF_MASTER | netlink.NTF_STICKY, HardwareAddr: mac}
cases := []struct {
label string
entries []netlink.Neigh
want bool
}{
{"static sticky sur le tap", []netlink.Neigh{pinned}, true},
{"static sans sticky", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 3, State: netlink.NUD_NOARP, Flags: netlink.NTF_MASTER, HardwareAddr: mac}}, false},
{"apprise", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 3, State: netlink.NUD_REACHABLE, Flags: netlink.NTF_MASTER, HardwareAddr: mac}}, false},
{"seulement l'entrée du vlan 1", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 3, Vlan: 1, State: netlink.NUD_NOARP, Flags: netlink.NTF_MASTER | netlink.NTF_STICKY, HardwareAddr: mac}}, false},
{"déplacée sur un autre port", []netlink.Neigh{{LinkIndex: 9, MasterIndex: 3, State: netlink.NUD_REACHABLE, Flags: netlink.NTF_MASTER, HardwareAddr: mac}}, false},
{"liste propre du tap, hors pont", []netlink.Neigh{{LinkIndex: 7, State: netlink.NUD_NOARP, Flags: netlink.NTF_SELF | netlink.NTF_STICKY, HardwareAddr: mac}}, false},
{"autre MAC", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 3, State: netlink.NUD_NOARP, Flags: netlink.NTF_MASTER | netlink.NTF_STICKY, HardwareAddr: other}}, false},
{"aucune entrée", nil, false},
}
for _, c := range cases {
if got := hasTapMAC(c.entries, 7, mac); got != c.want {
t.Errorf("%s : %v, %v attendu", c.label, got, c.want)
}
}
}

View file

@ -2,12 +2,19 @@
package netif
import "errors"
import (
"errors"
"net"
)
func CreateTap(_ int, _, _ string, _ int) error {
func CreateTap(_ int, _, _ string, _ int, _ net.HardwareAddr) error {
return errors.New("netif: tap not supported on this platform")
}
func TapHasMAC(_ int, _ net.HardwareAddr) (bool, error) {
return false, errors.New("netif: tap not supported on this platform")
}
func DeleteTap(_ int, _ string) error {
return errors.New("netif: tap not supported on this platform")
}

View file

@ -53,7 +53,11 @@ func StartVM(db *badger.DB, name string, cfg *configuration.Config) error {
}
for _, n := range d.nics {
if err := netif.CreateTap(n.tapID, n.bridge, n.vpcName, cfg.Network.VM()); err != nil {
mac, err := net.ParseMAC(n.mac)
if err != nil {
return fmt.Errorf("mac of interface %d: %w", n.index, err)
}
if err := netif.CreateTap(n.tapID, n.bridge, n.vpcName, cfg.Network.VM(), mac); err != nil {
return fmt.Errorf("create tap of interface %d: %w", n.index, err)
}
}

View file

@ -3,12 +3,14 @@ package watchdog
import (
"errors"
"fmt"
"net"
"path/filepath"
"sort"
"strconv"
"strings"
configuration "git.g3e.fr/syonad/two/internal/config/agent"
"git.g3e.fr/syonad/two/internal/netif"
"git.g3e.fr/syonad/two/internal/netns"
"git.g3e.fr/syonad/two/internal/nft"
"git.g3e.fr/syonad/two/internal/qemu"
@ -125,6 +127,8 @@ func checkVMTap(entries map[string]string, prefix, name, vpc string, idx int, n
if err := netns.Call(vpc, func() error {
if p := linkProblem(tapName(tapID)); p != "" {
n.Notify(kindVM, name, p+" (in netns "+vpc+")")
} else if p := tapMACProblem(entries[prefix+"mac"], tapID); p != "" {
n.Notify(kindVM, name, fmt.Sprintf("interface %d: %s (in netns %s)", idx, p, vpc))
}
missing, err := nft.MissingRules(tapPortFromEntries(entries, prefix, tapID))
if err != nil {
@ -140,6 +144,21 @@ func checkVMTap(entries map[string]string, prefix, name, vpc string, idx int, n
}
}
func tapMACProblem(rawMAC string, tapID int) string {
mac, err := net.ParseMAC(rawMAC)
if err != nil {
return fmt.Sprintf("invalid mac %q in database: %v", rawMAC, err)
}
pinned, err := netif.TapHasMAC(tapID, mac)
switch {
case err != nil:
return fmt.Sprintf("fdb of %s unreadable: %v", tapName(tapID), err)
case !pinned:
return fmt.Sprintf("mac %s not pinned on %s (static sticky fdb entry missing)", mac, tapName(tapID))
}
return ""
}
func checkVMQemu(cfg *configuration.Config, name string, n notify.Notifier) {
sock := filepath.Join(cfg.QEMU.QMPDir, name+".sock")
if _, err := qmp.Send(sock, nil); err != nil {

View file

@ -267,3 +267,10 @@ func TestCheckVMs_ClesDeDisqueNeCreentPasDeFausseVM(t *testing.T) {
}
}
}
func TestTapMACProblem_InvalidMACInDatabase(t *testing.T) {
got := tapMACProblem("52:54:00:zz:01:32", 12345678)
if !strings.HasPrefix(got, `invalid mac "52:54:00:zz:01:32" in database`) {
t.Errorf("tapMACProblem = %q", got)
}
}

View file

@ -167,6 +167,15 @@
processus s'arrêtait. Jamais observé en lab. La socket est désormais créée dans le netns du VPC,
et `metadata@.service` est relancé en cas d'échec (`Restart=on-failure`)
- **La MAC d'une VM reste sur son tap pendant une migration (#95).** Pendant la séquence
orchestrée d'une migration, la même MAC existe sur l'ancien et le nouvel hôte. Une trame de
l'ancienne VM, arrivée par le VXLAN du subnet, faisait réapprendre sa MAC par le pont du netns
du nouvel hôte vers le VXLAN : le trafic destiné à la nouvelle VM repartait vers l'ancien hôte,
environ 10 s, jusqu'à ce qu'elle émette à nouveau (mesuré en lab ; test 52 intermittent).
L'agent pose désormais, à la création du tap, une entrée de pont `static sticky` de la MAC de
l'interface sur son tap, que l'apprentissage ne peut pas déplacer. Tous les modes de subnet.
Le watchdog signale une interface d'une VM `running` dont l'entrée manque
## Mise à jour depuis la 0.2.0
- **Les règles de pont passent d'ebtables à nftables (#76)** : l'agent appelle `nft` et pose ses
@ -203,6 +212,9 @@
- **`br-public` du netns (#42) : seuls les VPC créés par la 0.3.0 sont protégés.** L'agent ne
reprend pas les VPC existants au démarrage : recréer chaque VPC pour fermer l'entrée par le
segment public
- **MAC figée sur le tap (#95) : seules les VM créées par la 0.3.0 l'ont.** L'agent ne reprend
pas les VM existantes au démarrage, et le watchdog les signale à chaque tick jusqu'à leur
recréation. Le vidage de l'hyperviseur demandé par #76 les recrée de toute façon
- **`name` est obligatoire sur chaque interface de `POST /vms` (#88)** : un appel qui l'omet reçoit
un 400. Au démarrage, l'agent nomme `nic-<rang>` (`nic-0`, `nic-1`…) les interfaces des VM
existantes

View file

@ -223,6 +223,10 @@ nft_tap_of () {
nft_table "${1}" | awk -v r="ether saddr != $(tr 'A-F' 'a-f' <<<"${2}") drop" '$1 == "chain" {c = $2; next} {line = $0; sub(/^[ \t]+/, "", line)} line == r && c ~ /^pre-tap/ {print substr(c, 5)}'
}
fdb_pinned () {
ip netns exec "${1}" bridge fdb show dev "${2}" | awk -v m="$(tr 'A-F' 'a-f' <<<"${3}")" '$1 == m && !/ vlan / && / sticky / && / static( |$)/ {f = 1} END {exit !f}'
}
nft_handle () {
ip netns exec "${1}" nft -a list chain bridge two "${2}" | awk -v r="${3}" '{line = $0; sub(/^[ \t]+/, "", line); if (sub(/ # handle [0-9]+$/, "", line) && line == r) print $NF}'
}

View file

@ -610,6 +610,19 @@ test_nft_tap_of_finds_the_tap_of_a_mac () {
teardown
}
test_fdb_pinned_requires_static_sticky_without_vlan () {
setup "fdb_pinned : entrée static sticky de la MAC sur le tap, hors vlan"
local pinned static
pinned="ip () { [ \"\$*\" = 'netns exec ns bridge fdb show dev tap1' ] && printf '%s\\n' '52:54:00:5f:01:32 vlan 1 sticky master br0 static' '52:54:00:5f:01:32 sticky master br0 static' '33:33:00:00:00:01 self permanent'; }; "
static="ip () { printf '%s\\n' '52:54:00:5f:01:32 vlan 1 master br0 static' '52:54:00:5f:01:32 master br0 static'; }; "
node "${pinned}fdb_pinned ns tap1 52:54:00:5F:01:32" || fail "entrée static sticky non reconnue"
node "${static}fdb_pinned ns tap1 52:54:00:5f:01:32" && fail "entrée static sans sticky acceptée"
node "ip () { echo '52:54:00:5f:01:32 vlan 1 sticky master br0 static'; }; fdb_pinned ns tap1 52:54:00:5f:01:32" && fail "seule l'entrée du vlan 1 acceptée"
node "${pinned}fdb_pinned ns tap1 52:54:00:5f:01:33" && fail "autre MAC acceptée"
node "${pinned}fdb_pinned ns tap2 52:54:00:5f:01:32" && fail "autre tap accepté"
teardown
}
test_nft_handle_finds_the_exact_rule () {
setup "nft_handle : numéro de la règle exacte dans nft -a list chain"
local stub

View file

@ -1,6 +1,6 @@
# fonctionnalité: filtrage au port — en sortie vers le fabric (v-<id>-i) : ARP vers la gateway et l'adresse d'émission, DHCP émis depuis ces adresses, MAC anycast confinée dans les deux sens ; à la sortie de chaque VM (pre-tap<id>) : MAC, IP et ARP usurpés, faux serveur DHCP, source 0.0.0.0 hors DHCP, type de trame non IP, NIC autorisée en serveur DHCP (dhcp_server), règles surveillées par le watchdog et retirées avec la VM
# fonctionnalité: filtrage au port — en sortie vers le fabric (v-<id>-i) : ARP vers la gateway et l'adresse d'émission, DHCP émis depuis ces adresses, MAC anycast confinée dans les deux sens ; à la sortie de chaque VM (pre-tap<id>) : MAC, IP et ARP usurpés, faux serveur DHCP, source 0.0.0.0 hors DHCP, type de trame non IP, NIC autorisée en serveur DHCP (dhcp_server), règles surveillées par le watchdog et retirées avec la VM, MAC de chaque VM figée sur son tap (fdb static sticky) et surveillée par le watchdog
# hôtes: hv1
# tickets: #57, #76
# tickets: #57, #76, #95
on hv1 <<'NODE'
KEY=$(vm_key)
@ -26,6 +26,8 @@ CTAP=$(nft_tap_of vp-t35 "${CMAC}")
check "t35-a : chaîne pre-<tap> trouvée par sa MAC ${AMAC} (${ATAP:-aucune})" test -n "${ATAP}"
check "t35-c : chaîne pre-<tap> trouvée par sa MAC ${CMAC} (${CTAP:-aucune})" test -n "${CTAP}"
check "t35-a : ${ATAP} est un port de br-t35a" sh -c "ip -n vp-t35 -o link show ${ATAP} | grep -q 'master br-t35a'"
check "t35-a : MAC ${AMAC} figée sur ${ATAP} (fdb static sticky)" fdb_pinned vp-t35 "${ATAP}" "${AMAC}"
check "t35-c : MAC ${CMAC} figée sur ${CTAP} (fdb static sticky)" fdb_pinned vp-t35 "${CTAP}" "${CMAC}"
check "t35-a : 8 règles sur ${ATAP}, dont le blocage du serveur DHCP" test "$(nft_rules vp-t35 "${ATAP}" | grep -c .)" -eq 8 -a "$(nft_count vp-t35 "${ATAP}" 'udp sport 67 drop')" -eq 1
check "t35-c : 7 règles sur ${CTAP}, sans le blocage du serveur DHCP" test "$(nft_rules vp-t35 "${CTAP}" | grep -c .)" -eq 7 -a "$(nft_count vp-t35 "${CTAP}" 'udp sport 67 drop')" -eq 0
ip -n vp-t35 link add "${INJ}" type veth peer name "${INJ}p"
@ -145,6 +147,11 @@ check "blocage du serveur DHCP reposé" ip netns exec vp-t35 nft add rule bridge
n=$(received_by_b "${S}.r" 10.35.1.10 "dhcp ens3 10.35.1.10 68 5" udp-from 10.35.1.10 67)
check "règle reposée : le faux serveur DHCP de t35-a n'atteint plus t35-b (${n} vue(s))" test "${n}" -eq 0
check "entrée fdb de t35-a retirée à la main de ${ATAP}" ip netns exec vp-t35 bridge fdb del "${AMAC}" dev "${ATAP}" master
check "watchdog : MAC non figée signalée pour t35-a" wait_watchdog "interface 0: mac ${AMAC} not pinned on ${ATAP}"
check "entrée fdb de t35-a reposée" ip netns exec vp-t35 bridge fdb replace "${AMAC}" dev "${ATAP}" master static sticky
check "t35-a : MAC ${AMAC} de nouveau figée sur ${ATAP}" fdb_pinned vp-t35 "${ATAP}" "${AMAC}"
check "VM t35-c supprimée" api_delete vms/t35-c
check "t35-c en deleted" wait_state vms/t35-c deleted
check "t35-c supprimée : plus aucune règle pour ${CTAP}" test -z "$(nft_rules vp-t35 "${CTAP}")"

View file

@ -1,6 +1,6 @@
# fonctionnalité: migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN
# fonctionnalité: migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN, MAC de la VM migrée figée sur son tap pendant la séquence orchestrée
# hôtes: hv1 hv2 hv3
# tickets: #41, #57
# tickets: #41, #57, #95
on hv1 <<'NODE'
check "hv1 : VPC vp-t52, l3vni 5200" vpc_create vp-t52 10.52.0.0/16 5200
@ -76,6 +76,11 @@ check "orchestrée, 4 — suppression de t52-m2 sur hv2 (source) : son /32 part
check "orchestrée, 5 — suppression de sn-t52s sur hv2" api_delete subnets/sn-t52s
check "sn-t52s supprimé sur hv2" wait_state subnets/sn-t52s deleted
NODE
on hv1 <<'NODE'
M3MAC=$(curl -fsS "${API}/vms/t52-m3" | jq -r '.interfaces[0].mac')
M3TAP=$(nft_tap_of vp-t52 "${M3MAC}")
check "après la séquence orchestrée : hv1 : MAC ${M3MAC} de t52-m3 toujours figée sur ${M3TAP:-?}, pas réapprise vers hv2" fdb_pinned vp-t52 "${M3TAP}" "${M3MAC}"
NODE
on hv3 <<'NODE'
check "hv3 : /32 de 10.52.1.50 via hv1 seulement" wait_vrf_nexthops vp-t52 10.52.1.50 192.168.14.11
check "hv3 : /24 de sn-t52s via hv1 seulement" wait_vrf_nexthops vp-t52 10.52.1.0/24 192.168.14.11