From 7e0b03ae6d94a9e85b450079aa7de8c28414cbd2 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sat, 31 Oct 2026 21:26:08 +0100 Subject: [PATCH 1/4] =?UTF-8?q?f-95:=20netif:=20MAC=20de=20chaque=20NIC=20?= =?UTF-8?q?fig=C3=A9e=20sur=20son=20tap=20(static=20sticky)=20#95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: GnomeZworc --- internal/netif/tap_linux.go | 53 ++++++++++++++++++++++++++++++-- internal/netif/tap_linux_test.go | 47 ++++++++++++++++++++++++++++ internal/netif/tap_other.go | 11 +++++-- internal/vm/create.go | 6 +++- 4 files changed, 111 insertions(+), 6 deletions(-) create mode 100644 internal/netif/tap_linux_test.go diff --git a/internal/netif/tap_linux.go b/internal/netif/tap_linux.go index e9f7a8c..11d901a 100644 --- a/internal/netif/tap_linux.go +++ b/internal/netif/tap_linux.go @@ -3,14 +3,42 @@ package netif import ( + "bytes" "fmt" + "net" + "syscall" "git.g3e.fr/syonad/two/internal/netns" "github.com/vishvananda/netlink" ) -func CreateTap(tapID int, bridgeName, vpcName string, mtu int) error { - name := fmt.Sprintf("tap%d", tapID) +func tapName(tapID int) string { + return fmt.Sprintf("tap%d", tapID) +} + +func tapMACEntry(tapIndex int, mac net.HardwareAddr) *netlink.Neigh { + return &netlink.Neigh{ + LinkIndex: tapIndex, + Family: syscall.AF_BRIDGE, + State: netlink.NUD_NOARP, + Flags: netlink.NTF_MASTER | netlink.NTF_STICKY, + HardwareAddr: mac, + } +} + +func hasTapMAC(entries []netlink.Neigh, tapIndex int, mac net.HardwareAddr) bool { + for _, e := range entries { + if e.LinkIndex == tapIndex && e.MasterIndex != 0 && e.Vlan == 0 && + e.State&netlink.NUD_NOARP != 0 && e.Flags&netlink.NTF_STICKY != 0 && + bytes.Equal(e.HardwareAddr, mac) { + return true + } + } + return false +} + +func CreateTap(tapID int, bridgeName, vpcName string, mtu int, mac net.HardwareAddr) error { + name := tapName(tapID) return netns.Call(vpcName, func() error { tap := &netlink.Tuntap{ @@ -23,12 +51,31 @@ func CreateTap(tapID int, bridgeName, vpcName string, mtu int) error { if err := BridgeSetMaster(name, bridgeName); err != nil { return err } + link, err := netlink.LinkByName(name) + if err != nil { + return err + } + if err := netlink.NeighSet(tapMACEntry(link.Attrs().Index, mac)); err != nil { + return fmt.Errorf("pin %s on %s: %w", mac, name, err) + } return LinkSetUp(name) }) } +func TapHasMAC(tapID int, mac net.HardwareAddr) (bool, error) { + link, err := netlink.LinkByName(tapName(tapID)) + if err != nil { + return false, err + } + entries, err := netlink.NeighList(link.Attrs().Index, syscall.AF_BRIDGE) + if err != nil { + return false, err + } + return hasTapMAC(entries, link.Attrs().Index, mac), nil +} + func DeleteTap(tapID int, vpcName string) error { return netns.Call(vpcName, func() error { - return DeleteLink(fmt.Sprintf("tap%d", tapID)) + return DeleteLink(tapName(tapID)) }) } diff --git a/internal/netif/tap_linux_test.go b/internal/netif/tap_linux_test.go new file mode 100644 index 0000000..eb0350b --- /dev/null +++ b/internal/netif/tap_linux_test.go @@ -0,0 +1,47 @@ +//go:build linux + +package netif + +import ( + "net" + "syscall" + "testing" + + "github.com/vishvananda/netlink" +) + +func TestTapMACEntry(t *testing.T) { + mac, _ := net.ParseMAC("52:54:00:34:01:32") + e := tapMACEntry(7, mac) + if e.LinkIndex != 7 || e.Family != syscall.AF_BRIDGE { + t.Errorf("index ou famille inattendus : %d, %d", e.LinkIndex, e.Family) + } + if e.State != 0x40 || e.Flags != 0x04|0x40 { + t.Errorf("état %#x et drapeaux %#x, entrée static (NUD_NOARP) master sticky attendue", e.State, e.Flags) + } +} + +func TestHasTapMAC(t *testing.T) { + mac, _ := net.ParseMAC("52:54:00:34:01:32") + other, _ := net.ParseMAC("52:54:00:34:01:33") + pinned := netlink.Neigh{LinkIndex: 7, MasterIndex: 3, State: netlink.NUD_NOARP, Flags: netlink.NTF_MASTER | netlink.NTF_STICKY, HardwareAddr: mac} + cases := []struct { + label string + entries []netlink.Neigh + want bool + }{ + {"static sticky sur le tap", []netlink.Neigh{pinned}, true}, + {"static sans sticky", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 3, State: netlink.NUD_NOARP, Flags: netlink.NTF_MASTER, HardwareAddr: mac}}, false}, + {"apprise", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 3, State: netlink.NUD_REACHABLE, Flags: netlink.NTF_MASTER, HardwareAddr: mac}}, false}, + {"seulement l'entrée du vlan 1", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 3, Vlan: 1, State: netlink.NUD_NOARP, Flags: netlink.NTF_MASTER | netlink.NTF_STICKY, HardwareAddr: mac}}, false}, + {"déplacée sur un autre port", []netlink.Neigh{{LinkIndex: 9, MasterIndex: 3, State: netlink.NUD_REACHABLE, Flags: netlink.NTF_MASTER, HardwareAddr: mac}}, false}, + {"liste propre du tap, hors pont", []netlink.Neigh{{LinkIndex: 7, State: netlink.NUD_NOARP, Flags: netlink.NTF_SELF | netlink.NTF_STICKY, HardwareAddr: mac}}, false}, + {"autre MAC", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 3, State: netlink.NUD_NOARP, Flags: netlink.NTF_MASTER | netlink.NTF_STICKY, HardwareAddr: other}}, false}, + {"aucune entrée", nil, false}, + } + for _, c := range cases { + if got := hasTapMAC(c.entries, 7, mac); got != c.want { + t.Errorf("%s : %v, %v attendu", c.label, got, c.want) + } + } +} diff --git a/internal/netif/tap_other.go b/internal/netif/tap_other.go index 7257f22..cf11ab6 100644 --- a/internal/netif/tap_other.go +++ b/internal/netif/tap_other.go @@ -2,12 +2,19 @@ package netif -import "errors" +import ( + "errors" + "net" +) -func CreateTap(_ int, _, _ string, _ int) error { +func CreateTap(_ int, _, _ string, _ int, _ net.HardwareAddr) error { return errors.New("netif: tap not supported on this platform") } +func TapHasMAC(_ int, _ net.HardwareAddr) (bool, error) { + return false, errors.New("netif: tap not supported on this platform") +} + func DeleteTap(_ int, _ string) error { return errors.New("netif: tap not supported on this platform") } diff --git a/internal/vm/create.go b/internal/vm/create.go index b6e6d45..7594511 100644 --- a/internal/vm/create.go +++ b/internal/vm/create.go @@ -53,7 +53,11 @@ func StartVM(db *badger.DB, name string, cfg *configuration.Config) error { } for _, n := range d.nics { - if err := netif.CreateTap(n.tapID, n.bridge, n.vpcName, cfg.Network.VM()); err != nil { + mac, err := net.ParseMAC(n.mac) + if err != nil { + return fmt.Errorf("mac of interface %d: %w", n.index, err) + } + if err := netif.CreateTap(n.tapID, n.bridge, n.vpcName, cfg.Network.VM(), mac); err != nil { return fmt.Errorf("create tap of interface %d: %w", n.index, err) } } From 2f0310d5bcb4769cd855c4c7e03da72c9d473d82 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sat, 31 Oct 2026 21:26:09 +0100 Subject: [PATCH 2/4] =?UTF-8?q?f-95:=20watchdog:=20MAC=20non=20fig=C3=A9e?= =?UTF-8?q?=20sur=20le=20tap=20signal=C3=A9e=20#95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: GnomeZworc --- internal/watchdog/check_vm.go | 19 +++++++++++++++++++ internal/watchdog/check_vm_test.go | 7 +++++++ 2 files changed, 26 insertions(+) diff --git a/internal/watchdog/check_vm.go b/internal/watchdog/check_vm.go index 96036bf..f467d92 100644 --- a/internal/watchdog/check_vm.go +++ b/internal/watchdog/check_vm.go @@ -3,12 +3,14 @@ package watchdog import ( "errors" "fmt" + "net" "path/filepath" "sort" "strconv" "strings" configuration "git.g3e.fr/syonad/two/internal/config/agent" + "git.g3e.fr/syonad/two/internal/netif" "git.g3e.fr/syonad/two/internal/netns" "git.g3e.fr/syonad/two/internal/nft" "git.g3e.fr/syonad/two/internal/qemu" @@ -125,6 +127,8 @@ func checkVMTap(entries map[string]string, prefix, name, vpc string, idx int, n if err := netns.Call(vpc, func() error { if p := linkProblem(tapName(tapID)); p != "" { n.Notify(kindVM, name, p+" (in netns "+vpc+")") + } else if p := tapMACProblem(entries[prefix+"mac"], tapID); p != "" { + n.Notify(kindVM, name, fmt.Sprintf("interface %d: %s (in netns %s)", idx, p, vpc)) } missing, err := nft.MissingRules(tapPortFromEntries(entries, prefix, tapID)) if err != nil { @@ -140,6 +144,21 @@ func checkVMTap(entries map[string]string, prefix, name, vpc string, idx int, n } } +func tapMACProblem(rawMAC string, tapID int) string { + mac, err := net.ParseMAC(rawMAC) + if err != nil { + return fmt.Sprintf("invalid mac %q in database: %v", rawMAC, err) + } + pinned, err := netif.TapHasMAC(tapID, mac) + switch { + case err != nil: + return fmt.Sprintf("fdb of %s unreadable: %v", tapName(tapID), err) + case !pinned: + return fmt.Sprintf("mac %s not pinned on %s (static sticky fdb entry missing)", mac, tapName(tapID)) + } + return "" +} + func checkVMQemu(cfg *configuration.Config, name string, n notify.Notifier) { sock := filepath.Join(cfg.QEMU.QMPDir, name+".sock") if _, err := qmp.Send(sock, nil); err != nil { diff --git a/internal/watchdog/check_vm_test.go b/internal/watchdog/check_vm_test.go index 46a7e20..d713966 100644 --- a/internal/watchdog/check_vm_test.go +++ b/internal/watchdog/check_vm_test.go @@ -267,3 +267,10 @@ func TestCheckVMs_ClesDeDisqueNeCreentPasDeFausseVM(t *testing.T) { } } } + +func TestTapMACProblem_InvalidMACInDatabase(t *testing.T) { + got := tapMACProblem("52:54:00:zz:01:32", 12345678) + if !strings.HasPrefix(got, `invalid mac "52:54:00:zz:01:32" in database`) { + t.Errorf("tapMACProblem = %q", got) + } +} From c5cafbebeb41ca8cdb36c7511e6fb5cd6299d109 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sat, 31 Oct 2026 21:26:09 +0100 Subject: [PATCH 3/4] =?UTF-8?q?f-95:=20e2e:=20MAC=20fig=C3=A9e=20v=C3=A9ri?= =?UTF-8?q?fi=C3=A9e=20dans=2035=20et=2052=20#95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: GnomeZworc --- test/e2e/lib/net.sh | 4 ++++ test/e2e/run_test.sh | 13 +++++++++++++ test/e2e/suite/35-filtrage-port.sh | 11 +++++++++-- test/e2e/suite/52-migration.sh | 9 +++++++-- 4 files changed, 33 insertions(+), 4 deletions(-) diff --git a/test/e2e/lib/net.sh b/test/e2e/lib/net.sh index 681dced..409fbb3 100644 --- a/test/e2e/lib/net.sh +++ b/test/e2e/lib/net.sh @@ -223,6 +223,10 @@ nft_tap_of () { nft_table "${1}" | awk -v r="ether saddr != $(tr 'A-F' 'a-f' <<<"${2}") drop" '$1 == "chain" {c = $2; next} {line = $0; sub(/^[ \t]+/, "", line)} line == r && c ~ /^pre-tap/ {print substr(c, 5)}' } +fdb_pinned () { + ip netns exec "${1}" bridge fdb show dev "${2}" | awk -v m="$(tr 'A-F' 'a-f' <<<"${3}")" '$1 == m && !/ vlan / && / sticky / && / static( |$)/ {f = 1} END {exit !f}' +} + nft_handle () { ip netns exec "${1}" nft -a list chain bridge two "${2}" | awk -v r="${3}" '{line = $0; sub(/^[ \t]+/, "", line); if (sub(/ # handle [0-9]+$/, "", line) && line == r) print $NF}' } diff --git a/test/e2e/run_test.sh b/test/e2e/run_test.sh index 8371111..9b6a560 100755 --- a/test/e2e/run_test.sh +++ b/test/e2e/run_test.sh @@ -610,6 +610,19 @@ test_nft_tap_of_finds_the_tap_of_a_mac () { teardown } +test_fdb_pinned_requires_static_sticky_without_vlan () { + setup "fdb_pinned : entrée static sticky de la MAC sur le tap, hors vlan" + local pinned static + pinned="ip () { [ \"\$*\" = 'netns exec ns bridge fdb show dev tap1' ] && printf '%s\\n' '52:54:00:5f:01:32 vlan 1 sticky master br0 static' '52:54:00:5f:01:32 sticky master br0 static' '33:33:00:00:00:01 self permanent'; }; " + static="ip () { printf '%s\\n' '52:54:00:5f:01:32 vlan 1 master br0 static' '52:54:00:5f:01:32 master br0 static'; }; " + node "${pinned}fdb_pinned ns tap1 52:54:00:5F:01:32" || fail "entrée static sticky non reconnue" + node "${static}fdb_pinned ns tap1 52:54:00:5f:01:32" && fail "entrée static sans sticky acceptée" + node "ip () { echo '52:54:00:5f:01:32 vlan 1 sticky master br0 static'; }; fdb_pinned ns tap1 52:54:00:5f:01:32" && fail "seule l'entrée du vlan 1 acceptée" + node "${pinned}fdb_pinned ns tap1 52:54:00:5f:01:33" && fail "autre MAC acceptée" + node "${pinned}fdb_pinned ns tap2 52:54:00:5f:01:32" && fail "autre tap accepté" + teardown +} + test_nft_handle_finds_the_exact_rule () { setup "nft_handle : numéro de la règle exacte dans nft -a list chain" local stub diff --git a/test/e2e/suite/35-filtrage-port.sh b/test/e2e/suite/35-filtrage-port.sh index 94e863c..7692d68 100644 --- a/test/e2e/suite/35-filtrage-port.sh +++ b/test/e2e/suite/35-filtrage-port.sh @@ -1,6 +1,6 @@ -# fonctionnalité: filtrage au port — en sortie vers le fabric (v--i) : ARP vers la gateway et l'adresse d'émission, DHCP émis depuis ces adresses, MAC anycast confinée dans les deux sens ; à la sortie de chaque VM (pre-tap) : MAC, IP et ARP usurpés, faux serveur DHCP, source 0.0.0.0 hors DHCP, type de trame non IP, NIC autorisée en serveur DHCP (dhcp_server), règles surveillées par le watchdog et retirées avec la VM +# fonctionnalité: filtrage au port — en sortie vers le fabric (v--i) : ARP vers la gateway et l'adresse d'émission, DHCP émis depuis ces adresses, MAC anycast confinée dans les deux sens ; à la sortie de chaque VM (pre-tap) : MAC, IP et ARP usurpés, faux serveur DHCP, source 0.0.0.0 hors DHCP, type de trame non IP, NIC autorisée en serveur DHCP (dhcp_server), règles surveillées par le watchdog et retirées avec la VM, MAC de chaque VM figée sur son tap (fdb static sticky) et surveillée par le watchdog # hôtes: hv1 -# tickets: #57, #76 +# tickets: #57, #76, #95 on hv1 <<'NODE' KEY=$(vm_key) @@ -26,6 +26,8 @@ CTAP=$(nft_tap_of vp-t35 "${CMAC}") check "t35-a : chaîne pre- trouvée par sa MAC ${AMAC} (${ATAP:-aucune})" test -n "${ATAP}" check "t35-c : chaîne pre- trouvée par sa MAC ${CMAC} (${CTAP:-aucune})" test -n "${CTAP}" check "t35-a : ${ATAP} est un port de br-t35a" sh -c "ip -n vp-t35 -o link show ${ATAP} | grep -q 'master br-t35a'" +check "t35-a : MAC ${AMAC} figée sur ${ATAP} (fdb static sticky)" fdb_pinned vp-t35 "${ATAP}" "${AMAC}" +check "t35-c : MAC ${CMAC} figée sur ${CTAP} (fdb static sticky)" fdb_pinned vp-t35 "${CTAP}" "${CMAC}" check "t35-a : 8 règles sur ${ATAP}, dont le blocage du serveur DHCP" test "$(nft_rules vp-t35 "${ATAP}" | grep -c .)" -eq 8 -a "$(nft_count vp-t35 "${ATAP}" 'udp sport 67 drop')" -eq 1 check "t35-c : 7 règles sur ${CTAP}, sans le blocage du serveur DHCP" test "$(nft_rules vp-t35 "${CTAP}" | grep -c .)" -eq 7 -a "$(nft_count vp-t35 "${CTAP}" 'udp sport 67 drop')" -eq 0 ip -n vp-t35 link add "${INJ}" type veth peer name "${INJ}p" @@ -145,6 +147,11 @@ check "blocage du serveur DHCP reposé" ip netns exec vp-t35 nft add rule bridge n=$(received_by_b "${S}.r" 10.35.1.10 "dhcp ens3 10.35.1.10 68 5" udp-from 10.35.1.10 67) check "règle reposée : le faux serveur DHCP de t35-a n'atteint plus t35-b (${n} vue(s))" test "${n}" -eq 0 +check "entrée fdb de t35-a retirée à la main de ${ATAP}" ip netns exec vp-t35 bridge fdb del "${AMAC}" dev "${ATAP}" master +check "watchdog : MAC non figée signalée pour t35-a" wait_watchdog "interface 0: mac ${AMAC} not pinned on ${ATAP}" +check "entrée fdb de t35-a reposée" ip netns exec vp-t35 bridge fdb replace "${AMAC}" dev "${ATAP}" master static sticky +check "t35-a : MAC ${AMAC} de nouveau figée sur ${ATAP}" fdb_pinned vp-t35 "${ATAP}" "${AMAC}" + check "VM t35-c supprimée" api_delete vms/t35-c check "t35-c en deleted" wait_state vms/t35-c deleted check "t35-c supprimée : plus aucune règle pour ${CTAP}" test -z "$(nft_rules vp-t35 "${CTAP}")" diff --git a/test/e2e/suite/52-migration.sh b/test/e2e/suite/52-migration.sh index 4cc9f9f..41e0a3d 100644 --- a/test/e2e/suite/52-migration.sh +++ b/test/e2e/suite/52-migration.sh @@ -1,6 +1,6 @@ -# fonctionnalité: migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN +# fonctionnalité: migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN, MAC de la VM migrée figée sur son tap pendant la séquence orchestrée # hôtes: hv1 hv2 hv3 -# tickets: #41, #57 +# tickets: #41, #57, #95 on hv1 <<'NODE' check "hv1 : VPC vp-t52, l3vni 5200" vpc_create vp-t52 10.52.0.0/16 5200 @@ -76,6 +76,11 @@ check "orchestrée, 4 — suppression de t52-m2 sur hv2 (source) : son /32 part check "orchestrée, 5 — suppression de sn-t52s sur hv2" api_delete subnets/sn-t52s check "sn-t52s supprimé sur hv2" wait_state subnets/sn-t52s deleted NODE +on hv1 <<'NODE' +M3MAC=$(curl -fsS "${API}/vms/t52-m3" | jq -r '.interfaces[0].mac') +M3TAP=$(nft_tap_of vp-t52 "${M3MAC}") +check "après la séquence orchestrée : hv1 : MAC ${M3MAC} de t52-m3 toujours figée sur ${M3TAP:-?}, pas réapprise vers hv2" fdb_pinned vp-t52 "${M3TAP}" "${M3MAC}" +NODE on hv3 <<'NODE' check "hv3 : /32 de 10.52.1.50 via hv1 seulement" wait_vrf_nexthops vp-t52 10.52.1.50 192.168.14.11 check "hv3 : /24 de sn-t52s via hv1 seulement" wait_vrf_nexthops vp-t52 10.52.1.0/24 192.168.14.11 From 85320fce0e3212424f618ecee90c22aff89689ff Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sat, 31 Oct 2026 21:26:10 +0100 Subject: [PATCH 4/4] =?UTF-8?q?f-95:=20doc:=20MAC=20fig=C3=A9e=20sur=20le?= =?UTF-8?q?=20tap,=20notes=200.3.0=20#95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: GnomeZworc --- docs/architecture/contraintes.rst | 3 +++ docs/concepts/vpc-subnet-vm.rst | 9 +++++++++ docs/developpement/lab.rst | 8 ++++---- docs/exploitation/diagnostic.rst | 10 ++++++++++ release_notes/0.3.0.md | 12 ++++++++++++ 5 files changed, 38 insertions(+), 4 deletions(-) diff --git a/docs/architecture/contraintes.rst b/docs/architecture/contraintes.rst index f52c219..6e13829 100644 --- a/docs/architecture/contraintes.rst +++ b/docs/architecture/contraintes.rst @@ -59,6 +59,9 @@ QEMU et VM * **Un tap n'existe jamais sans ses règles** : la chaîne ``pre-tap`` est posée avant la création du tap et retirée après sa suppression. Dans l'autre ordre, une VM pourrait émettre sans filtre entre deux étapes. +* **La MAC d'une interface est figée sur son tap** (entrée de pont ``static sticky``), posée avant + que le tap soit monté. ``static`` seul ne suffit pas : l'apprentissage déplace une entrée + ``static``, pas une entrée ``sticky`` (mesuré, #95). * L'arrêt d'une VM ne touche **jamais** aux fichiers disque. En revanche, un ``quit`` brutal est envoyé à l'expiration de ``times.timeout_vms_stop``. ``system_powerdown`` est renvoyé toutes les ``times.next_vms_shutdown`` : un appui ACPI arrivé avant que l'invité sache le traiter est perdu. diff --git a/docs/concepts/vpc-subnet-vm.rst b/docs/concepts/vpc-subnet-vm.rst index 21ad46e..99fcb28 100644 --- a/docs/concepts/vpc-subnet-vm.rst +++ b/docs/concepts/vpc-subnet-vm.rst @@ -147,6 +147,15 @@ depuis ces adresses. L'IPv6 n'est pas filtrée (#61). Les règles sont retirées du tap ; le watchdog signale une interface d'une VM ``running`` dont les règles manquent ou ont été modifiées. +**MAC figée sur le tap.** Le pont du subnet, dans le netns du VPC, apprend sur quel port se trouve +chaque MAC. Pendant une migration, l'ancienne VM et la nouvelle portent la même MAC sur deux hôtes : +une trame de l'ancienne, arrivée par le VXLAN, suffisait à déplacer la MAC de la nouvelle vers +``v--i``, et le trafic destiné à la VM locale repartait vers l'ancien hôte jusqu'à ce +qu'elle émette à nouveau (#95). L'agent pose donc, à la création du tap, une entrée de pont +``static sticky`` de la MAC de l'interface sur son tap : l'apprentissage ne peut plus la déplacer +(une entrée ``static`` seule le peut). Elle disparaît avec le tap ; le watchdog signale une +interface d'une VM ``running`` dont l'entrée manque. + **Serveur DHCP.** ``dhcp_server: true`` sur une interface lève le seul blocage des réponses DHCP, pour cette interface. Cas d'usage : une VM d'un subnet ``bridge`` qui sert le DHCP et le PXE de machines diskless du segment physique, avec des réservations statiques. Les autres contrôles diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index ae90aef..738ad14 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -377,9 +377,9 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé - hv1 - #50 * - ``35-filtrage-port`` - - filtrage au port — en sortie vers le fabric (v--i) : ARP vers la gateway et l'adresse d'émission, DHCP émis depuis ces adresses, MAC anycast confinée dans les deux sens ; à la sortie de chaque VM (pre-tap) : MAC, IP et ARP usurpés, faux serveur DHCP, source 0.0.0.0 hors DHCP, type de trame non IP, NIC autorisée en serveur DHCP (dhcp_server), règles surveillées par le watchdog et retirées avec la VM + - filtrage au port — en sortie vers le fabric (v--i) : ARP vers la gateway et l'adresse d'émission, DHCP émis depuis ces adresses, MAC anycast confinée dans les deux sens ; à la sortie de chaque VM (pre-tap) : MAC, IP et ARP usurpés, faux serveur DHCP, source 0.0.0.0 hors DHCP, type de trame non IP, NIC autorisée en serveur DHCP (dhcp_server), règles surveillées par le watchdog et retirées avec la VM, MAC de chaque VM figée sur son tap (fdb static sticky) et surveillée par le watchdog - hv1 - - #57, #76 + - #57, #76, #95 * - ``41-evpn-l2`` - subnet vxlan étendu entre deux hôtes par EVPN — VTEP local, VTEP distant et inondation appris, MAC des VM en type 2, trafic ICMP et TCP, MTU 1500 de bout en bout - hv1 hv2 @@ -417,9 +417,9 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé - hv1 hv2 - #41, #81 * - ``52-migration`` - - migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN + - migration d'une adresse de VM entre hôtes d'un VPC routé — /32 retiré en premier, /24 en filet puis en ECMP, séquence orchestrée, 40 sources, suppression du subnet refusée tant qu'une VM l'utilise, MAC anycast hors EVPN, MAC de la VM migrée figée sur son tap pendant la séquence orchestrée - hv1 hv2 hv3 - - #41, #57 + - #41, #57, #95 * - ``53-watchdog-l3`` - watchdog d'un VPC routé — /32 orphelin signalé comme trou noir, /32 manquant signalé, unreachable default absente signalée, aucune fausse alerte BGP ni L3VNI, trafic intact après les essais - hv1 hv3 diff --git a/docs/exploitation/diagnostic.rst b/docs/exploitation/diagnostic.rst index 08a79db..74838b1 100644 --- a/docs/exploitation/diagnostic.rst +++ b/docs/exploitation/diagnostic.rst @@ -116,6 +116,16 @@ Retrouver la chaîne d'une interface par sa MAC, puis lire ses règles : Une chaîne absente, ou une interface absente de ``pre_ports``, laisse la VM émettre sans filtre : le watchdog le signale (``interface : nftables rule missing``). Recréer la VM repose ses règles. +La MAC de chaque interface est figée sur son tap par une entrée de pont ``static sticky`` +(:doc:`/concepts/vpc-subnet-vm`). Sans elle, après une migration, la VM peut rester injoignable +quelques secondes : sa MAC a été réapprise vers ``v--i``. Le watchdog le signale +(``interface : mac not pinned on tap``). Lire l'entrée, et la reposer à la main : + +.. code-block:: bash + + ip netns exec bridge fdb show dev tap + ip netns exec bridge fdb replace dev tap master static sticky + La VM a une adresse mais cloud-init n'applique rien --------------------------------------------------- diff --git a/release_notes/0.3.0.md b/release_notes/0.3.0.md index e2a5593..632845b 100644 --- a/release_notes/0.3.0.md +++ b/release_notes/0.3.0.md @@ -167,6 +167,15 @@ processus s'arrêtait. Jamais observé en lab. La socket est désormais créée dans le netns du VPC, et `metadata@.service` est relancé en cas d'échec (`Restart=on-failure`) +- **La MAC d'une VM reste sur son tap pendant une migration (#95).** Pendant la séquence + orchestrée d'une migration, la même MAC existe sur l'ancien et le nouvel hôte. Une trame de + l'ancienne VM, arrivée par le VXLAN du subnet, faisait réapprendre sa MAC par le pont du netns + du nouvel hôte vers le VXLAN : le trafic destiné à la nouvelle VM repartait vers l'ancien hôte, + environ 10 s, jusqu'à ce qu'elle émette à nouveau (mesuré en lab ; test 52 intermittent). + L'agent pose désormais, à la création du tap, une entrée de pont `static sticky` de la MAC de + l'interface sur son tap, que l'apprentissage ne peut pas déplacer. Tous les modes de subnet. + Le watchdog signale une interface d'une VM `running` dont l'entrée manque + ## Mise à jour depuis la 0.2.0 - **Les règles de pont passent d'ebtables à nftables (#76)** : l'agent appelle `nft` et pose ses @@ -203,6 +212,9 @@ - **`br-public` du netns (#42) : seuls les VPC créés par la 0.3.0 sont protégés.** L'agent ne reprend pas les VPC existants au démarrage : recréer chaque VPC pour fermer l'entrée par le segment public +- **MAC figée sur le tap (#95) : seules les VM créées par la 0.3.0 l'ont.** L'agent ne reprend + pas les VM existantes au démarrage, et le watchdog les signale à chaque tick jusqu'à leur + recréation. Le vidage de l'hyperviseur demandé par #76 les recrée de toute façon - **`name` est obligatoire sur chaque interface de `POST /vms` (#88)** : un appel qui l'omet reçoit un 400. Au démarrage, l'agent nomme `nic-` (`nic-0`, `nic-1`…) les interfaces des VM existantes