From f504e7df4483124936962281d71c6c0edabe23e9 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 13:18:24 +0100 Subject: [PATCH 1/7] f-87: e2e: bordures bd1 et bd2 dans evpn-3hv, VNI 66001, gateway anycast #87 Signed-off-by: GnomeZworc --- docs/developpement/lab.rst | 12 ++++++++++++ test/e2e/topologies/evpn-3hv.yml | 6 ++++++ test/e2e/topologies/frr/bd1.conf | 19 +++++++++++++++++++ test/e2e/topologies/frr/bd2.conf | 19 +++++++++++++++++++ test/e2e/topologies/provision/border.sh | 18 ++++++++++++++++++ 5 files changed, 74 insertions(+) create mode 100644 test/e2e/topologies/frr/bd1.conf create mode 100644 test/e2e/topologies/frr/bd2.conf create mode 100755 test/e2e/topologies/provision/border.sh diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index cc7b4a8..b08a3dd 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -127,6 +127,18 @@ un subnet créé avec ``mode: bridge`` et ``iface_type: lan`` rattache son veth subnets ``vxlan`` (``iface_type: vms``, clé absente) restent sur ``default_interface`` : le VTEP ne change pas. Le bridge n'est créé qu'au premier démarrage, comme le reste du provisionnement. +**Bordures (``evpn-3hv``, #87).** ``bd1`` et ``bd2`` (``192.168.14.21`` et ``.22``) jouent les +routeurs de bordure du segment public. Ce sont des nœuds ``host`` sans agent : leur provision +(``test/e2e/topologies/provision/border.sh``) crée ``br-public``, y accroche ``vxlan-66001`` +(VNI 66001, VTEP = adresse de l'underlay, ``nolearning``), et pose sur le bridge la **gateway +anycast** ``240.0.0.1/24`` avec la même MAC sur les deux, ``02:01:00:01:01:d1`` (la MAC anycast +de two pour le VNI 66001), ainsi qu'une destination de test ``240.255.0.1/32`` sur une interface +``dummy`` ``internet``. Leur ``frr.conf`` est celui d'un hyperviseur : iBGP AS 64600 vers les +deux route reflectors, ``advertise-all-vni``. Les adresses publiques du lab sont prises dans +``240.0.0.0/4``, réservée (RFC 1112, registre RFC 6890) et jamais routée sur Internet. Les bordures +sont déclarées après les hyperviseurs : les adresses et les taps de l'underlay ne changent pas, +ceux du segment ``lan`` sont renumérotés. + **Tester l'arbre courant plutôt que la release.** ``test/e2e/build.sh`` compile ``agent``, ``dhcp`` et ``metadata`` pour linux/amd64 dans ``test/e2e/topologies/bin/`` (ignoré par git), que les hyperviseurs reçoivent par ``files: {bin: bin}``. Après ``deploy.sh``, diff --git a/test/e2e/topologies/evpn-3hv.yml b/test/e2e/topologies/evpn-3hv.yml index 58c38d5..a32ac1c 100644 --- a/test/e2e/topologies/evpn-3hv.yml +++ b/test/e2e/topologies/evpn-3hv.yml @@ -48,3 +48,9 @@ nodes: addresses: { underlay: 192.168.14.13 }, frr: frr/hv3.conf, provision: provision/hypervisor.sh, post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/dnsmasq.yml, bin: bin }, services: [agent.service] } + bd1: + { role: host, image: debian12, cpus: 1, memory: 1024, segments: [underlay], + addresses: { underlay: 192.168.14.21 }, frr: frr/bd1.conf, provision: provision/border.sh } + bd2: + { role: host, image: debian12, cpus: 1, memory: 1024, segments: [underlay], + addresses: { underlay: 192.168.14.22 }, frr: frr/bd2.conf, provision: provision/border.sh } diff --git a/test/e2e/topologies/frr/bd1.conf b/test/e2e/topologies/frr/bd1.conf new file mode 100644 index 0000000..0a3d79c --- /dev/null +++ b/test/e2e/topologies/frr/bd1.conf @@ -0,0 +1,19 @@ +frr defaults traditional +hostname bd1 +log syslog informational +! +router bgp 64600 + bgp router-id 192.168.14.21 + no bgp default ipv4-unicast + neighbor fabric peer-group + neighbor fabric remote-as 64600 + neighbor fabric capability extended-nexthop + neighbor 10.255.255.1 peer-group fabric + neighbor 10.255.255.2 peer-group fabric + ! + address-family l2vpn evpn + neighbor fabric activate + advertise-all-vni + exit-address-family +exit +! diff --git a/test/e2e/topologies/frr/bd2.conf b/test/e2e/topologies/frr/bd2.conf new file mode 100644 index 0000000..e1ce95a --- /dev/null +++ b/test/e2e/topologies/frr/bd2.conf @@ -0,0 +1,19 @@ +frr defaults traditional +hostname bd2 +log syslog informational +! +router bgp 64600 + bgp router-id 192.168.14.22 + no bgp default ipv4-unicast + neighbor fabric peer-group + neighbor fabric remote-as 64600 + neighbor fabric capability extended-nexthop + neighbor 10.255.255.1 peer-group fabric + neighbor 10.255.255.2 peer-group fabric + ! + address-family l2vpn evpn + neighbor fabric activate + advertise-all-vni + exit-address-family +exit +! diff --git a/test/e2e/topologies/provision/border.sh b/test/e2e/topologies/provision/border.sh new file mode 100755 index 0000000..524bca2 --- /dev/null +++ b/test/e2e/topologies/provision/border.sh @@ -0,0 +1,18 @@ +#!/bin/sh +set -eu +VNI=66001 +GATEWAY=240.0.0.1/24 +GATEWAY_MAC=02:01:00:01:01:d1 +DESTINATION=240.255.0.1/32 +VTEP=$(ip -4 -o addr show dev "${LAB_UPLINK}" scope global | awk 'NR == 1 {sub("/.*", "", $4); print $4}') +[ -n "${VTEP}" ] || { echo "border: no IPv4 on ${LAB_UPLINK}" >&2; exit 1; } +ip link add br-public type bridge +ip link set br-public address "${GATEWAY_MAC}" +ip link add "vxlan-${VNI}" type vxlan id "${VNI}" local "${VTEP}" dstport 4789 nolearning +ip link set "vxlan-${VNI}" mtu 1500 master br-public +ip link set "vxlan-${VNI}" up +ip link set br-public up +ip addr add "${GATEWAY}" dev br-public +ip link add internet type dummy +ip addr add "${DESTINATION}" dev internet +ip link set internet up From 5061e773df8a798bba5d03ffc1b90a192dcfef3f Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 19:19:45 +0100 Subject: [PATCH 2/7] f-87: e2e: advertise-default-gw sur les bordures, gateway en type 2 #87 Signed-off-by: GnomeZworc --- docs/developpement/lab.rst | 15 ++++++++++----- test/e2e/topologies/frr/bd1.conf | 1 + test/e2e/topologies/frr/bd2.conf | 1 + 3 files changed, 12 insertions(+), 5 deletions(-) diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index b08a3dd..0f37c0f 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -133,11 +133,16 @@ routeurs de bordure du segment public. Ce sont des nœuds ``host`` sans agent : (VNI 66001, VTEP = adresse de l'underlay, ``nolearning``), et pose sur le bridge la **gateway anycast** ``240.0.0.1/24`` avec la même MAC sur les deux, ``02:01:00:01:01:d1`` (la MAC anycast de two pour le VNI 66001), ainsi qu'une destination de test ``240.255.0.1/32`` sur une interface -``dummy`` ``internet``. Leur ``frr.conf`` est celui d'un hyperviseur : iBGP AS 64600 vers les -deux route reflectors, ``advertise-all-vni``. Les adresses publiques du lab sont prises dans -``240.0.0.0/4``, réservée (RFC 1112, registre RFC 6890) et jamais routée sur Internet. Les bordures -sont déclarées après les hyperviseurs : les adresses et les taps de l'underlay ne changent pas, -ceux du segment ``lan`` sont renumérotés. +``dummy`` ``internet``. Leur ``frr.conf`` est celui d'un hyperviseur — iBGP AS 64600 vers les +deux route reflectors, ``advertise-all-vni`` — plus ``advertise-default-gw`` : la MAC et l'IP +de la gateway sont annoncées en type 2 avec la communauté *Default Gateway* (RFC 7432, §7.8 et +§10.1). Sans elle, la MAC propre du bridge n'est pas annoncée, les hyperviseurs inondent le +trafic vers tous les VTEP et les deux bordures répondent ; avec elle, chaque hyperviseur installe +la MAC vers une seule bordure et bascule sur l'autre quand elle disparaît (mesuré le 2026-10-25, +#87). Les adresses publiques du lab sont prises dans ``240.0.0.0/4``, réservée (RFC 1112, +registre RFC 6890) et jamais routée sur Internet. Les bordures sont déclarées après les +hyperviseurs : les adresses et les taps de l'underlay ne changent pas, ceux du segment ``lan`` +sont renumérotés. **Tester l'arbre courant plutôt que la release.** ``test/e2e/build.sh`` compile ``agent``, ``dhcp`` et ``metadata`` pour linux/amd64 dans ``test/e2e/topologies/bin/`` (ignoré par git), diff --git a/test/e2e/topologies/frr/bd1.conf b/test/e2e/topologies/frr/bd1.conf index 0a3d79c..71143c2 100644 --- a/test/e2e/topologies/frr/bd1.conf +++ b/test/e2e/topologies/frr/bd1.conf @@ -14,6 +14,7 @@ router bgp 64600 address-family l2vpn evpn neighbor fabric activate advertise-all-vni + advertise-default-gw exit-address-family exit ! diff --git a/test/e2e/topologies/frr/bd2.conf b/test/e2e/topologies/frr/bd2.conf index e1ce95a..71ccb61 100644 --- a/test/e2e/topologies/frr/bd2.conf +++ b/test/e2e/topologies/frr/bd2.conf @@ -14,6 +14,7 @@ router bgp 64600 address-family l2vpn evpn neighbor fabric activate advertise-all-vni + advertise-default-gw exit-address-family exit ! From 7535e068b90891e4b4eb5fd78faf4f771effe07e Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 23:31:25 +0100 Subject: [PATCH 3/7] f-87: deploy: vxlan-public sur br-public, --public_vni (1), lab au VNI 1 #87 MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit bootstrap_kvm.sh crée vxlan-public (VTEP = IPv4 du bridge principal, nolearning) esclave du bridge public, recréé si le VNI ou le VTEP change. Lab : bordures au VNI 1 (MAC 02:01:00:00:00:01) ; build.sh copie bootstrap_kvm.sh, que hypervisor.sh appelle après la release 0.2.0. Signed-off-by: GnomeZworc --- .gitignore | 2 + docs/developpement/lab.rst | 8 +-- scripts/bootstrap_kvm.sh | 55 +++++++++++++++++++-- scripts/deploy.sh | 5 +- test/e2e/build.sh | 21 +++++--- test/e2e/topologies/evpn-2hv.yml | 4 +- test/e2e/topologies/evpn-3hv.yml | 6 +-- test/e2e/topologies/provision/border.sh | 10 ++-- test/e2e/topologies/provision/hypervisor.sh | 6 +++ test/e2e/topologies/scripts/.gitkeep | 0 10 files changed, 90 insertions(+), 27 deletions(-) create mode 100644 test/e2e/topologies/scripts/.gitkeep diff --git a/.gitignore b/.gitignore index 3f0d6a4..8ed7508 100644 --- a/.gitignore +++ b/.gitignore @@ -37,3 +37,5 @@ docs/_build/ # Binaires compilés en local pour le lab (test/e2e/build.sh) test/e2e/topologies/bin/* !test/e2e/topologies/bin/.gitkeep +test/e2e/topologies/scripts/* +!test/e2e/topologies/scripts/.gitkeep diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index 0f37c0f..04cdf9e 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -129,10 +129,10 @@ ne change pas. Le bridge n'est créé qu'au premier démarrage, comme le reste d **Bordures (``evpn-3hv``, #87).** ``bd1`` et ``bd2`` (``192.168.14.21`` et ``.22``) jouent les routeurs de bordure du segment public. Ce sont des nœuds ``host`` sans agent : leur provision -(``test/e2e/topologies/provision/border.sh``) crée ``br-public``, y accroche ``vxlan-66001`` -(VNI 66001, VTEP = adresse de l'underlay, ``nolearning``), et pose sur le bridge la **gateway -anycast** ``240.0.0.1/24`` avec la même MAC sur les deux, ``02:01:00:01:01:d1`` (la MAC anycast -de two pour le VNI 66001), ainsi qu'une destination de test ``240.255.0.1/32`` sur une interface +(``test/e2e/topologies/provision/border.sh``) crée ``br-public``, y accroche ``vxlan-public`` +(VNI 1, VTEP = adresse de l'underlay, ``nolearning``), et pose sur le bridge la **gateway +anycast** ``240.0.0.1/24`` avec la même MAC sur les deux, ``02:01:00:00:00:01`` (la MAC anycast +de two pour le VNI 1), ainsi qu'une destination de test ``240.255.0.1/32`` sur une interface ``dummy`` ``internet``. Leur ``frr.conf`` est celui d'un hyperviseur — iBGP AS 64600 vers les deux route reflectors, ``advertise-all-vni`` — plus ``advertise-default-gw`` : la MAC et l'IP de la gateway sont annoncées en type 2 avec la communauté *Default Gateway* (RFC 7432, §7.8 et diff --git a/scripts/bootstrap_kvm.sh b/scripts/bootstrap_kvm.sh index 7724374..575bb60 100755 --- a/scripts/bootstrap_kvm.sh +++ b/scripts/bootstrap_kvm.sh @@ -77,8 +77,8 @@ kvm_network () { info "réseau" - # Bridge public : créé à vide, réservé pour un usage futur. Aucune adresse, - # aucun esclave, pas référencé dans la config agent. + # Bridge public : sans adresse. Il reçoit le VXLAN du segment public + # (kvm_public_segment) et les veth vp--e des VPC (interfaces.internet). kvm_ensure_bridge "${DRY_RUN}" "${PUBLIC_BRIDGE}" MASTER="" @@ -153,6 +153,49 @@ EOF info " rollback désarmé" } +# VXLAN du segment public, partagé avec les bordures, esclave du bridge public. +# VTEP = IPv4 du bridge principal, comme les VXLAN de l'agent ; sans +# apprentissage, les MAC distantes viennent d'EVPN. Recréé si le VNI ou le VTEP +# a changé. +kvm_public_segment () { + local DRY_RUN="${1}" + local WITH_NETWORK="${2}" + local BRIDGE="${3}" + local PUBLIC_BRIDGE="${4}" + local PUBLIC_VNI="${5}" + local NAME="vxlan-public" + local VTEP CURRENT="" + + [[ ${WITH_NETWORK} -eq ${FLAGS_TRUE} ]] || return 0 + [[ "${PUBLIC_VNI}" =~ ^[0-9]+$ ]] && (( PUBLIC_VNI >= 1 && PUBLIC_VNI <= 16777215 )) \ + || die "VNI du segment public invalide : ${PUBLIC_VNI} (1-16777215)" + + info "segment public : ${NAME}, VNI ${PUBLIC_VNI}, sur ${PUBLIC_BRIDGE}" + + if [[ ${DRY_RUN} -eq ${FLAGS_TRUE} ]] + then + VTEP="" + else + VTEP=$(ip -j addr show dev "${BRIDGE}" | jq -r '[.[0].addr_info[] | select(.family=="inet" and .scope=="global")][0].local // ""') + [[ -n "${VTEP}" ]] || die "aucune adresse IPv4 globale sur ${BRIDGE} pour le VTEP du segment public" + if ip link show dev "${NAME}" >/dev/null 2>&1 + then + CURRENT=$(ip -j -d link show dev "${NAME}" | jq -r '.[0].linkinfo.info_data | "\(.id) \(.local)"') + fi + fi + + if [[ -n "${CURRENT}" && "${CURRENT}" != "${PUBLIC_VNI} ${VTEP}" ]] + then + info " ${NAME} porte ${CURRENT} (VNI VTEP) : recréé" + run "${DRY_RUN}" "ip link del dev '${NAME}'" + CURRENT="" + fi + [[ -n "${CURRENT}" ]] \ + || run "${DRY_RUN}" "ip link add '${NAME}' type vxlan id ${PUBLIC_VNI} local '${VTEP}' dstport 4789 nolearning" + run "${DRY_RUN}" "ip link set dev '${NAME}' mtu 1500 master '${PUBLIC_BRIDGE}'" + run "${DRY_RUN}" "ip link set up dev '${NAME}'" +} + # Point d'entrée appelé par deploy.sh --bootstrap. bootstrap_host () { local DRY_RUN="${1}" @@ -162,8 +205,10 @@ bootstrap_host () { local BRIDGE="${5}" local PUBLIC_BRIDGE="${6}" local ROLLBACK_DELAY="${7}" + local PUBLIC_VNI="${8:-1}" - kvm_packages "${DRY_RUN}" "${WITH_PACKAGES}" - kvm_kernel "${DRY_RUN}" - kvm_network "${DRY_RUN}" "${WITH_NETWORK}" "${UPLINK}" "${BRIDGE}" "${PUBLIC_BRIDGE}" "${ROLLBACK_DELAY}" + kvm_packages "${DRY_RUN}" "${WITH_PACKAGES}" + kvm_kernel "${DRY_RUN}" + kvm_network "${DRY_RUN}" "${WITH_NETWORK}" "${UPLINK}" "${BRIDGE}" "${PUBLIC_BRIDGE}" "${ROLLBACK_DELAY}" + kvm_public_segment "${DRY_RUN}" "${WITH_NETWORK}" "${BRIDGE}" "${PUBLIC_BRIDGE}" "${PUBLIC_VNI}" } diff --git a/scripts/deploy.sh b/scripts/deploy.sh index b654197..c431697 100755 --- a/scripts/deploy.sh +++ b/scripts/deploy.sh @@ -159,7 +159,7 @@ run_bootstrap () { || die "bootstrap_host() introuvable — ni ${SCRIPTS_DIR}/${NAME} ni ${BOOTSTRAP_URL} n'ont pu être chargés" bootstrap_host "${DRY_RUN}" "${FLAGS_packages}" "${FLAGS_network}" \ - "${FLAGS_uplink}" "${FLAGS_bridge}" "${FLAGS_pub_bridge}" "${FLAGS_rollback}" + "${FLAGS_uplink}" "${FLAGS_bridge}" "${FLAGS_pub_bridge}" "${FLAGS_rollback}" "${FLAGS_public_vni}" } resolve_tag () { @@ -335,7 +335,8 @@ main () { DEFINE_boolean 'network' true 'Configure bridges during --bootstrap' 'n' DEFINE_string 'uplink' 'eno1' 'Physical uplink interface' 'u' DEFINE_string 'bridge' 'br-000000' 'Main bridge, uplink is enslaved to it' 'B' - DEFINE_string 'pub_bridge' 'br-public' 'Reserved empty bridge' 'P' + DEFINE_string 'pub_bridge' 'br-public' 'Public bridge, carries vxlan-public' 'P' + DEFINE_integer 'public_vni' 1 'VNI of the public segment (vxlan-public)' 'N' DEFINE_integer 'rollback' 120 'Rollback reboot delay in seconds' 'R' DEFINE_boolean 'verify' true 'Check assets against SHA256SUMS' 'V' diff --git a/test/e2e/build.sh b/test/e2e/build.sh index 786f211..992c7ae 100755 --- a/test/e2e/build.sh +++ b/test/e2e/build.sh @@ -3,33 +3,42 @@ E2E_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)" REPO_DIR="$(cd "${E2E_DIR}/../.." && pwd)" BIN_DIR="${BIN_DIR:-${E2E_DIR}/topologies/bin}" +SCRIPTS_DIR="${SCRIPTS_DIR:-${E2E_DIR}/topologies/scripts}" BINARIES="agent dhcp metadata" +SCRIPTS="bootstrap_kvm.sh" usage () { cat >&2 <&2 (cd "${REPO_DIR}" && CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o "${BIN_DIR}/${binary}" "./cmd/${binary}") || return 1 done + for script in ${SCRIPTS}; do + echo "== ${script}" >&2 + cp "${REPO_DIR}/scripts/${script}" "${SCRIPTS_DIR}/${script}" || return 1 + done (cd "${BIN_DIR}" && sha256sum ${BINARIES} 2>/dev/null || shasum -a 256 ${BINARIES}) } diff --git a/test/e2e/topologies/evpn-2hv.yml b/test/e2e/topologies/evpn-2hv.yml index 8041ab3..c89f668 100644 --- a/test/e2e/topologies/evpn-2hv.yml +++ b/test/e2e/topologies/evpn-2hv.yml @@ -35,11 +35,11 @@ nodes: { role: host, image: debian12, cpus: 4, memory: 16384, segments: [underlay, lan], addresses: { underlay: 192.168.14.11, lan: 10.33.0.11 }, frr: frr/hv1.conf, provision: provision/hypervisor.sh, - post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/two.yml, bin: bin }, + post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/two.yml, bin: bin, scripts: scripts }, services: [agent.service] } hv2: { role: host, image: debian12, cpus: 4, memory: 16384, segments: [underlay, lan], addresses: { underlay: 192.168.14.12, lan: 10.33.0.12 }, frr: frr/hv2.conf, provision: provision/hypervisor.sh, - post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/dnsmasq.yml, bin: bin }, + post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/dnsmasq.yml, bin: bin, scripts: scripts }, services: [agent.service] } diff --git a/test/e2e/topologies/evpn-3hv.yml b/test/e2e/topologies/evpn-3hv.yml index a32ac1c..d3b5d2c 100644 --- a/test/e2e/topologies/evpn-3hv.yml +++ b/test/e2e/topologies/evpn-3hv.yml @@ -35,18 +35,18 @@ nodes: { role: host, image: debian12, cpus: 4, memory: 16384, segments: [underlay, lan], addresses: { underlay: 192.168.14.11, lan: 10.33.0.11 }, frr: frr/hv1.conf, provision: provision/hypervisor.sh, - post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/two.yml, bin: bin }, + post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/two.yml, bin: bin, scripts: scripts }, services: [agent.service] } hv2: { role: host, image: debian12, cpus: 4, memory: 16384, segments: [underlay, lan], addresses: { underlay: 192.168.14.12, lan: 10.33.0.12 }, frr: frr/hv2.conf, provision: provision/hypervisor.sh, - post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/dnsmasq.yml, bin: bin }, + post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/dnsmasq.yml, bin: bin, scripts: scripts }, services: [agent.service] } hv3: { role: host, image: debian12, cpus: 4, memory: 16384, segments: [underlay], addresses: { underlay: 192.168.14.13 }, frr: frr/hv3.conf, provision: provision/hypervisor.sh, - post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/dnsmasq.yml, bin: bin }, + post_provision: provision/hypervisor-post.sh, files: { agent.yml: agent/dnsmasq.yml, bin: bin, scripts: scripts }, services: [agent.service] } bd1: { role: host, image: debian12, cpus: 1, memory: 1024, segments: [underlay], diff --git a/test/e2e/topologies/provision/border.sh b/test/e2e/topologies/provision/border.sh index 524bca2..c72c9b0 100755 --- a/test/e2e/topologies/provision/border.sh +++ b/test/e2e/topologies/provision/border.sh @@ -1,16 +1,16 @@ #!/bin/sh set -eu -VNI=66001 +VNI=1 GATEWAY=240.0.0.1/24 -GATEWAY_MAC=02:01:00:01:01:d1 +GATEWAY_MAC=02:01:00:00:00:01 DESTINATION=240.255.0.1/32 VTEP=$(ip -4 -o addr show dev "${LAB_UPLINK}" scope global | awk 'NR == 1 {sub("/.*", "", $4); print $4}') [ -n "${VTEP}" ] || { echo "border: no IPv4 on ${LAB_UPLINK}" >&2; exit 1; } ip link add br-public type bridge ip link set br-public address "${GATEWAY_MAC}" -ip link add "vxlan-${VNI}" type vxlan id "${VNI}" local "${VTEP}" dstport 4789 nolearning -ip link set "vxlan-${VNI}" mtu 1500 master br-public -ip link set "vxlan-${VNI}" up +ip link add vxlan-public type vxlan id "${VNI}" local "${VTEP}" dstport 4789 nolearning +ip link set vxlan-public mtu 1500 master br-public +ip link set vxlan-public up ip link set br-public up ip addr add "${GATEWAY}" dev br-public ip link add internet type dummy diff --git a/test/e2e/topologies/provision/hypervisor.sh b/test/e2e/topologies/provision/hypervisor.sh index 15ff474..adff075 100755 --- a/test/e2e/topologies/provision/hypervisor.sh +++ b/test/e2e/topologies/provision/hypervisor.sh @@ -1,6 +1,7 @@ #!/bin/sh set -eu RELEASE=0.2.0 +PUBLIC_VNI=1 GIT_SERVER=https://git.g3e.fr/ REPO=syonad/two n=0 @@ -29,6 +30,11 @@ done chmod 0755 deploy.sh bootstrap_kvm.sh bash ./deploy.sh --noup_script -i -u "${LAB_UPLINK}" -t "${RELEASE}" DEBIAN_FRONTEND=noninteractive apt-get install -y --no-install-recommends nftables +if [ -f "${LAB_FILES}/scripts/bootstrap_kvm.sh" ]; then + bash -c 'FLAGS_TRUE=0; FLAGS_FALSE=1; . ./deploy.sh && . "$1" && kvm_public_segment "${FLAGS_FALSE}" "${FLAGS_TRUE}" br-000000 br-public "$2"' \ + lab "${LAB_FILES}/scripts/bootstrap_kvm.sh" "${PUBLIC_VNI}" + echo "lab: segment public posé par le bootstrap_kvm.sh de l'arbre courant (VNI ${PUBLIC_VNI})" +fi for binary in "${LAB_FILES}"/bin/*; do [ -f "${binary}" ] || continue name=$(basename "${binary}") diff --git a/test/e2e/topologies/scripts/.gitkeep b/test/e2e/topologies/scripts/.gitkeep new file mode 100644 index 0000000..e69de29 From 26095062c81efa767b148bd6eee027ca170f2cb3 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 23:36:14 +0100 Subject: [PATCH 4/7] f-87: agent: bridge public = interfaces.internet, watchdog du segment #87 MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Le veth vp--e rejoint cfg.PublicBridge() (interfaces.internet, br-public par défaut, jamais default_interface). Le watchdog signale un bridge public absent, éteint ou sans port VXLAN. config.exemple.yml : internet: br-public. Signed-off-by: GnomeZworc --- conf/agent/config.exemple.yml | 6 +- internal/config/agent/config_test.go | 17 ++++++ internal/config/agent/interfaces.go | 13 ++++ internal/config/agent/interfaces_test.go | 20 ++++++ internal/netif/link.go | 18 ++++++ internal/vpc/create.go | 2 +- internal/watchdog/check_public.go | 39 ++++++++++++ internal/watchdog/check_public_test.go | 77 ++++++++++++++++++++++++ internal/watchdog/watchdog.go | 3 + internal/watchdog/watchdog_test.go | 8 +++ 10 files changed, 200 insertions(+), 3 deletions(-) create mode 100644 internal/config/agent/interfaces.go create mode 100644 internal/config/agent/interfaces_test.go create mode 100644 internal/watchdog/check_public.go create mode 100644 internal/watchdog/check_public_test.go diff --git a/conf/agent/config.exemple.yml b/conf/agent/config.exemple.yml index e03bc6e..09ab413 100644 --- a/conf/agent/config.exemple.yml +++ b/conf/agent/config.exemple.yml @@ -39,10 +39,12 @@ times: # Bridge interface used when the requested iface_type is not found in interfaces default_interface: br-000000 -# Map of logical interface types to physical bridge names on this host +# Map of logical interface types to physical bridge names on this host. +# internet: public bridge, carrying vxlan-public (deploy.sh --public_vni); every VPC +# plugs its vp--e veth into it. br-public when absent, never default_interface. interfaces: vms: br-000000 - internet: br-000000 + internet: br-public admin: br-000000 # MTU, identical on every hypervisor. diff --git a/internal/config/agent/config_test.go b/internal/config/agent/config_test.go index a4d5b22..d99ec7c 100644 --- a/internal/config/agent/config_test.go +++ b/internal/config/agent/config_test.go @@ -145,4 +145,21 @@ func TestLoadConfig_ExempleFourniEstValide(t *testing.T) { if cfg.QEMU.QMPDir == "" { t.Error("config.exemple.yml devrait définir qemu.qmp_dir") } + if got := cfg.PublicBridge(); got != "br-public" { + t.Errorf("config.exemple.yml : bridge public %q, br-public attendu", got) + } +} + +func TestLoadConfig_PublicBridgeWithoutInternetKey(t *testing.T) { + path := filepath.Join(t.TempDir(), "agent.yml") + if err := os.WriteFile(path, []byte("default_interface: br-000000\ninterfaces:\n lan: br-lan\n"), 0o600); err != nil { + t.Fatal(err) + } + cfg, err := LoadConfig(path) + if err != nil { + t.Fatalf("LoadConfig : %v", err) + } + if got := cfg.PublicBridge(); got != "br-public" { + t.Errorf("bridge public %q, br-public attendu (jamais default_interface)", got) + } } diff --git a/internal/config/agent/interfaces.go b/internal/config/agent/interfaces.go new file mode 100644 index 0000000..67e3163 --- /dev/null +++ b/internal/config/agent/interfaces.go @@ -0,0 +1,13 @@ +package configuration + +const ( + InternetInterface = "internet" + DefaultPublicBridge = "br-public" +) + +func (c Config) PublicBridge() string { + if bridge := c.Interfaces[InternetInterface]; bridge != "" { + return bridge + } + return DefaultPublicBridge +} diff --git a/internal/config/agent/interfaces_test.go b/internal/config/agent/interfaces_test.go new file mode 100644 index 0000000..ef5a0a0 --- /dev/null +++ b/internal/config/agent/interfaces_test.go @@ -0,0 +1,20 @@ +package configuration + +import "testing" + +func TestPublicBridge(t *testing.T) { + cases := map[string]struct { + cfg Config + want string + }{ + "clé absente": {Config{DefaultInterface: "br-000000"}, "br-public"}, + "clé vide": {Config{DefaultInterface: "br-000000", Interfaces: map[string]string{"internet": ""}}, "br-public"}, + "clé posée": {Config{Interfaces: map[string]string{"internet": "br-wan"}}, "br-wan"}, + "autres types, sans default_interface en repli": {Config{DefaultInterface: "br-000000", Interfaces: map[string]string{"lan": "br-lan"}}, "br-public"}, + } + for name, c := range cases { + if got := c.cfg.PublicBridge(); got != c.want { + t.Errorf("%s : %q, %q attendu", name, got, c.want) + } + } +} diff --git a/internal/netif/link.go b/internal/netif/link.go index 56fdb87..8c4b2b0 100644 --- a/internal/netif/link.go +++ b/internal/netif/link.go @@ -46,3 +46,21 @@ func LinkMTU(name string) (int, error) { } return link.Attrs().MTU, nil } + +func BridgeVxlanPorts(bridge string) ([]string, error) { + br, err := netlink.LinkByName(bridge) + if err != nil { + return nil, err + } + links, err := netlink.LinkList() + if err != nil { + return nil, err + } + var ports []string + for _, l := range links { + if l.Attrs().MasterIndex == br.Attrs().Index && l.Type() == "vxlan" { + ports = append(ports, l.Attrs().Name) + } + } + return ports, nil +} diff --git a/internal/vpc/create.go b/internal/vpc/create.go index c0377bf..8b31911 100644 --- a/internal/vpc/create.go +++ b/internal/vpc/create.go @@ -32,7 +32,7 @@ func CreateVPC(db *badger.DB, name string, cfg *configuration.Config) error { return err } - if err := netif.BridgeSetMaster("vp-"+vpcID+"-e", "br-public"); err != nil { + if err := netif.BridgeSetMaster("vp-"+vpcID+"-e", cfg.PublicBridge()); err != nil { return err } diff --git a/internal/watchdog/check_public.go b/internal/watchdog/check_public.go new file mode 100644 index 0000000..8752688 --- /dev/null +++ b/internal/watchdog/check_public.go @@ -0,0 +1,39 @@ +package watchdog + +import ( + "fmt" + + configuration "git.g3e.fr/syonad/two/internal/config/agent" + "git.g3e.fr/syonad/two/internal/netif" + "git.g3e.fr/syonad/two/internal/watchdog/notify" +) + +const kindPublic = "public" + +type publicProbe interface { + LinkProblem(name string) string + VxlanPorts(bridge string) ([]string, error) +} + +type systemPublicProbe struct{} + +func (systemPublicProbe) LinkProblem(name string) string { return linkProblem(name) } + +func (systemPublicProbe) VxlanPorts(bridge string) ([]string, error) { + return netif.BridgeVxlanPorts(bridge) +} + +func CheckPublicSegment(cfg *configuration.Config, p publicProbe, n notify.Notifier) { + bridge := cfg.PublicBridge() + if problem := p.LinkProblem(bridge); problem != "" { + n.Notify(kindPublic, bridge, problem+" (public bridge, interfaces.internet): the vpcs of this host have no public segment") + return + } + ports, err := p.VxlanPorts(bridge) + switch { + case err != nil: + n.Notify(kindPublic, bridge, fmt.Sprintf("vxlan ports unreadable: %v", err)) + case len(ports) == 0: + n.Notify(kindPublic, bridge, "no vxlan port: the public segment is unreachable from this host") + } +} diff --git a/internal/watchdog/check_public_test.go b/internal/watchdog/check_public_test.go new file mode 100644 index 0000000..f8c0ea8 --- /dev/null +++ b/internal/watchdog/check_public_test.go @@ -0,0 +1,77 @@ +package watchdog + +import ( + "errors" + "testing" + + configuration "git.g3e.fr/syonad/two/internal/config/agent" +) + +type fakePublicProbe struct { + problems map[string]string + ports []string + err error + asked []string +} + +func (f *fakePublicProbe) LinkProblem(name string) string { + f.asked = append(f.asked, name) + return f.problems[name] +} + +func (f *fakePublicProbe) VxlanPorts(bridge string) ([]string, error) { + f.asked = append(f.asked, "ports:"+bridge) + return f.ports, f.err +} + +func TestCheckPublicSegment_SilentWithAVxlanPort(t *testing.T) { + r := &recorder{} + p := &fakePublicProbe{ports: []string{"vxlan-public"}} + CheckPublicSegment(&configuration.Config{}, p, r) + if len(r.calls) != 0 { + t.Errorf("notifications = %+v, aucune attendue", r.calls) + } + if len(p.asked) != 2 || p.asked[0] != "br-public" || p.asked[1] != "ports:br-public" { + t.Errorf("sondes = %q, br-public attendu par défaut", p.asked) + } +} + +func TestCheckPublicSegment_FollowsInterfacesInternet(t *testing.T) { + r := &recorder{} + p := &fakePublicProbe{ports: []string{"vxlan-public"}} + CheckPublicSegment(&configuration.Config{DefaultInterface: "br-000000", Interfaces: map[string]string{"internet": "br-wan"}}, p, r) + if len(p.asked) != 2 || p.asked[0] != "br-wan" || p.asked[1] != "ports:br-wan" { + t.Errorf("sondes = %q, br-wan attendu", p.asked) + } +} + +func TestCheckPublicSegment_ReportsAMissingBridgeWithoutReadingPorts(t *testing.T) { + r := &recorder{} + p := &fakePublicProbe{problems: map[string]string{"br-public": "interface br-public not found: Link not found"}} + CheckPublicSegment(&configuration.Config{}, p, r) + got := r.forName("br-public") + want := "interface br-public not found: Link not found (public bridge, interfaces.internet): the vpcs of this host have no public segment" + if len(got) != 1 || got[0].kind != "public" || got[0].problem != want { + t.Fatalf("notifications = %+v, une attendue : %q", r.calls, want) + } + if len(p.asked) != 1 { + t.Errorf("ports lus alors que le bridge manque : %q", p.asked) + } +} + +func TestCheckPublicSegment_ReportsABridgeWithoutVxlan(t *testing.T) { + r := &recorder{} + CheckPublicSegment(&configuration.Config{}, &fakePublicProbe{}, r) + got := r.forName("br-public") + if len(got) != 1 || got[0].problem != "no vxlan port: the public segment is unreachable from this host" { + t.Errorf("notifications = %+v", r.calls) + } +} + +func TestCheckPublicSegment_ReportsUnreadablePorts(t *testing.T) { + r := &recorder{} + CheckPublicSegment(&configuration.Config{}, &fakePublicProbe{err: errors.New("netlink: permission denied")}, r) + if !r.hasProblemContaining("vxlan ports unreadable: netlink: permission denied") { + t.Errorf("notifications = %+v", r.calls) + } +} diff --git a/internal/watchdog/watchdog.go b/internal/watchdog/watchdog.go index 7a0101f..b49b12c 100644 --- a/internal/watchdog/watchdog.go +++ b/internal/watchdog/watchdog.go @@ -23,6 +23,7 @@ type Watchdog struct { interval time.Duration dbusDown bool l3 l3Probe + public publicProbe } func New(db *badger.DB, cfg *configuration.Config, n notify.Notifier, logger *slog.Logger, interval time.Duration) *Watchdog { @@ -41,6 +42,7 @@ func New(db *badger.DB, cfg *configuration.Config, n notify.Notifier, logger *sl logger: logger, interval: interval, l3: systemProbe{frr: frr.NewClient()}, + public: systemPublicProbe{}, } } @@ -74,6 +76,7 @@ func (w *Watchdog) tick() { if err := CheckVMs(w.db, w.cfg, u, w.notifier); err != nil { w.logger.Error("watchdog: vm check failed", "err", err) } + CheckPublicSegment(w.cfg, w.public, w.notifier) CheckBGP(w.cfg, w.l3, w.notifier) if err := CheckL3VPCs(w.db, w.cfg, w.l3, w.notifier); err != nil { w.logger.Error("watchdog: l3 vpc check failed", "err", err) diff --git a/internal/watchdog/watchdog_test.go b/internal/watchdog/watchdog_test.go index eb43975..87fcfb6 100644 --- a/internal/watchdog/watchdog_test.go +++ b/internal/watchdog/watchdog_test.go @@ -74,6 +74,13 @@ func TestNew_IntervalleValideConserve(t *testing.T) { } } +func TestNew_ChecksThePublicSegmentOnTheSystem(t *testing.T) { + w := New(newTestDB(t), testCfg(t), &recorder{}, nil, time.Second) + if _, ok := w.public.(systemPublicProbe); !ok { + t.Errorf("sonde du segment public = %T, systemPublicProbe attendue", w.public) + } +} + func TestNew_LoggerNil(t *testing.T) { w := New(newTestDB(t), testCfg(t), &recorder{}, nil, time.Second) if w.logger == nil { @@ -141,6 +148,7 @@ func TestRun_ErreurDeBaseLogueeEtBoucleContinue(t *testing.T) { n := newChanNotifier() l, buf := testLogger() w := New(db, testCfg(t), n, l, 10*time.Millisecond) + w.public = &fakePublicProbe{ports: []string{"vxlan-public"}} ctx, cancel := context.WithTimeout(context.Background(), 300*time.Millisecond) defer cancel() From 2034a4231a1288482d3c2d43d651fd2eed7bf8eb Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 23:39:36 +0100 Subject: [PATCH 5/7] =?UTF-8?q?f-87:=20e2e:=2045-segment-public,=20VNI=201?= =?UTF-8?q?=20de=20l'h=C3=B4te=20jusqu'aux=20bordures=20#87?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit vxlan-public sur br-public (VNI 1, VTEP, nolearning), VNI vu en EVPN des deux côtés, gateway installée vers une seule bordure, gateway et destination joignables sans doublon, L2 entre hyperviseurs, veth des VPC sur le bridge public, alerte du watchdog quand vxlan-public quitte le bridge. Signed-off-by: GnomeZworc --- docs/developpement/lab.rst | 4 ++ test/e2e/suite/45-segment-public.sh | 64 +++++++++++++++++++++++++++++ 2 files changed, 68 insertions(+) create mode 100644 test/e2e/suite/45-segment-public.sh diff --git a/docs/developpement/lab.rst b/docs/developpement/lab.rst index 04cdf9e..a13b80d 100644 --- a/docs/developpement/lab.rst +++ b/docs/developpement/lab.rst @@ -386,6 +386,10 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé - fenêtre ARP de la gateway anycast entre deux hôtes — relais L2 depuis l'adresse d'émission d'un hôte, gateway de la VM inchangée, métadonnées, renouvellement DHCP et TCP local sans perte pendant la fenêtre - hv1 hv2 - #57 + * - ``45-segment-public`` + - segment public de l'hôte — vxlan-public (VNI 1) posé par le bootstrap sur br-public, VNI annoncé en EVPN et vu par les bordures, gateway anycast des bordures installée vers une seule bordure, gateway et destination de test joignables sans doublon, L2 entre hyperviseurs, veth des VPC sur le bridge public, watchdog + - hv1 hv2 hv3 + - #87 * - ``51-l3vni`` - routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé - hv1 hv2 diff --git a/test/e2e/suite/45-segment-public.sh b/test/e2e/suite/45-segment-public.sh new file mode 100644 index 0000000..79d095e --- /dev/null +++ b/test/e2e/suite/45-segment-public.sh @@ -0,0 +1,64 @@ +# fonctionnalité: segment public de l'hôte — vxlan-public (VNI 1) posé par le bootstrap sur br-public, VNI annoncé en EVPN et vu par les bordures, gateway anycast des bordures installée vers une seule bordure, gateway et destination de test joignables sans doublon, L2 entre hyperviseurs, veth des VPC sur le bridge public, watchdog +# hôtes: hv1 hv2 hv3 +# tickets: #87 + +for host in hv1 hv2 hv3; do +case "${host}" in + hv1) pub=240.0.0.11 ;; + hv2) pub=240.0.0.12 ;; + hv3) pub=240.0.0.13 ;; +esac +on "${host}" "HOST=${host}" "PUB=${pub}" <<'NODE' +NS=t45-pub +GW_MAC=02:01:00:00:00:01 +vxlan_info () { ip -j -d link show dev vxlan-public | jq -r '.[0] | "\(.linkinfo.info_data.id) \(.linkinfo.info_data.local) \(.linkinfo.info_data.learning) \(.master) \(.operstate)"'; } +remote_vtep () { vtysh -c 'show evpn vni 1' | grep -qwF "${1}"; } +pings_clean () { + local out + out=$(ip netns exec "${NS}" ping -n -c 5 -i 0.2 -W 1 "${1}" 2>&1) || { echo "${out}" | tail -2; return 1; } + ! grep -q DUP <<<"${out}" || { echo "${out}" | grep -m1 DUP; return 1; } +} +check "${HOST} : vxlan-public, VNI 1, VTEP $(vtep_host), sans apprentissage, esclave de br-public, actif ($(vxlan_info))" test "$(vxlan_info)" = "1 $(vtep_host) false br-public UNKNOWN" +check "${HOST} : VNI 1 de type L2 dans FRR" sh -c "vtysh -c 'show evpn vni 1' | grep -q 'Type: L2'" +for bd in 192.168.14.21 192.168.14.22; do + check "${HOST} : bordure ${bd} parmi les VTEP distants du VNI 1" remote_vtep "${bd}" +done +check "${HOST} : MAC de la gateway ${GW_MAC} installée vers une seule bordure" test "$(bridge fdb show dev vxlan-public | grep -c "^${GW_MAC} .*dst 192\.168\.14\.2[12] ")" -eq 1 +ip netns add "${NS}" +ip link add t45-pub-h type veth peer name t45-pub-n netns "${NS}" +ip link set t45-pub-h master br-public up +ip -n "${NS}" link set t45-pub-n up +ip -n "${NS}" addr add "${PUB}/24" dev t45-pub-n +ip -n "${NS}" route add default via 240.0.0.1 +check "${HOST} : netns de test ${NS} sur br-public, ${PUB}/24" sh -c "ip -n ${NS} -4 -o addr show dev t45-pub-n | grep -q ' ${PUB}/24 '" +check "${HOST} : gateway des bordures 240.0.0.1 joignable, sans doublon" pings_clean 240.0.0.1 +check "${HOST} : destination de test 240.255.0.1 joignable par la gateway, sans doublon" pings_clean 240.255.0.1 +check "${HOST} : ARP de la gateway résolu vers ${GW_MAC}" sh -c "ip -n ${NS} neigh show 240.0.0.1 | grep -q 'lladdr ${GW_MAC}'" +NODE +done + +on bd1 <<'NODE' +for hv in 192.168.14.11 192.168.14.12 192.168.14.13; do + check "bd1 : hyperviseur ${hv} parmi les VTEP distants du VNI 1" sh -c "vtysh -c 'show evpn vni 1' | grep -qwF ${hv}" +done +NODE + +on hv1 <<'NODE' +NS=t45-pub +pings_clean () { + local out + out=$(ip netns exec "${NS}" ping -n -c 5 -i 0.2 -W 1 "${1}" 2>&1) || { echo "${out}" | tail -2; return 1; } + ! grep -q DUP <<<"${out}" || { echo "${out}" | grep -m1 DUP; return 1; } +} +for peer in 240.0.0.12 240.0.0.13; do + check "hv1 : ${peer} (netns de test d'un autre hyperviseur) joignable en L2 sur le VNI 1" pings_clean "${peer}" +done +check "VPC vp-t45 sur hv1" vpc_create vp-t45 10.45.0.0/16 +check "vp-t45 : vp-t45-e esclave du bridge public br-public (interfaces.internet par défaut)" sh -c "ip -o link show vp-t45-e | grep -q 'master br-public'" +ip link set vxlan-public nomaster +check "watchdog : br-public sans port VXLAN signalé" wait_watchdog "no vxlan port: the public segment is unreachable from this host" +check "sans vxlan-public, la gateway des bordures ne répond plus (témoin)" sh -c "! ip netns exec ${NS} ping -n -c 2 -W 1 240.0.0.1 >/dev/null 2>&1" +check "vxlan-public remis sur br-public" ip link set vxlan-public master br-public +check "vxlan-public remis : la gateway des bordures répond de nouveau" sh -c "for i in 1 2 3 4 5 6 7 8 9 10; do ip netns exec ${NS} ping -n -c 1 -W 1 240.0.0.1 >/dev/null 2>&1 && exit 0; sleep 2; done; exit 1" +check "vxlan-public remis : sans doublon" pings_clean 240.0.0.1 +NODE From 1e6424c6e1689d9bef419c55d706f4a225c495ff Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Sun, 25 Oct 2026 23:47:54 +0100 Subject: [PATCH 6/7] f-87: doc: plan de VNI (1 public), -N, interfaces.internet, notes 0.3.0 #87 Signed-off-by: GnomeZworc --- docs/concepts/vpc-subnet-vm.rst | 22 +++++++++++++--------- docs/demarrage/installation.rst | 22 ++++++++++++++++------ docs/deploiement/architecture-cluster.rst | 9 +++++---- docs/exploitation/configuration.rst | 7 ++++++- docs/exploitation/observabilite.rst | 5 ++++- release_notes/0.3.0.md | 20 ++++++++++++++++++++ 6 files changed, 64 insertions(+), 21 deletions(-) diff --git a/docs/concepts/vpc-subnet-vm.rst b/docs/concepts/vpc-subnet-vm.rst index a7d8516..aa82a60 100644 --- a/docs/concepts/vpc-subnet-vm.rst +++ b/docs/concepts/vpc-subnet-vm.rst @@ -18,11 +18,12 @@ VPC Un VPC est un **network namespace** portant un espace d'adressage (``cidr``). C'est l'unité d'isolation : deux VPC ne se voient pas, et peuvent réutiliser les mêmes plages d'adresses. -À la création, l'agent relie le netns au bridge ``br-public`` de l'host par un veth -``vp--e`` (côté host) ↔ ``vp--i`` (côté netns, rattaché à un ``br-public`` propre au -netns). Ce nom de bridge est **en dur** : l'host doit porter un bridge ``br-public``, celui que -crée ``deploy.sh -i`` avec la valeur par défaut de ``-P`` (:doc:`/demarrage/installation`) ; -sans lui, toute création de VPC échoue. +À la création, l'agent relie le netns au **bridge public** de l'host par un veth ``vp--e`` +(côté host) ↔ ``vp--i`` (côté netns, rattaché à un ``br-public`` propre au netns). Le bridge +public est celui de ``interfaces.internet``, ``br-public`` si la clé est absente, jamais +``default_interface`` (:doc:`/exploitation/configuration`). ``deploy.sh -i`` le crée et y +accroche ``vxlan-public``, le VXLAN du segment public partagé avec les bordures +(:doc:`/demarrage/installation`) ; sans ce bridge, toute création de VPC échoue. Un VPC ne peut être supprimé que si tous ses subnets le sont déjà — sinon 409. @@ -35,10 +36,13 @@ plus besoin de porter un subnet pour joindre ses VM. Sans ``l3vni``, le VPC se c avant. Le champ exige la section ``bgp`` de l'agent (:doc:`/exploitation/configuration`) et ne se change pas après création. -**Plan de VNI.** L3VNI et ``vxlan_id`` des subnets partagent l'espace des VNI VXLAN : la plage -**1–65535** (sauf 253–255, tables du noyau) est réservée aux L3VNI des VPC, **65536–16777215** aux -subnets. L'agent n'impose que la première borne (le RD ``:`` porte un numéro sur -16 bits) ; le respect du plan revient à l'appelant, qui alloue les deux. +**Plan de VNI.** Segment public, L3VNI et ``vxlan_id`` des subnets partagent l'espace des VNI +VXLAN : le VNI **1** est celui du segment public (``deploy.sh --public_vni``, 1 par défaut), la +plage **2–65535** (sauf 253–255, tables du noyau) est réservée aux L3VNI des VPC, +**65536–16777215** aux subnets. L'agent n'impose que la borne haute des L3VNI (le RD +``:`` porte un numéro sur 16 bits) ; le respect du plan revient à l'appelant, qui +alloue les L3VNI et les ``vxlan_id``. Un VPC créé avec le VNI du segment public pour ``l3vni`` +passe en ``error`` : ce VNI est déjà porté par ``vxlan-public``. À la création, l'agent pose sur l'hyperviseur, pour un VPC ``vp-`` : diff --git a/docs/demarrage/installation.rst b/docs/demarrage/installation.rst index edc64dc..140e7e9 100644 --- a/docs/demarrage/installation.rst +++ b/docs/demarrage/installation.rst @@ -50,9 +50,12 @@ depuis la release, et les vérifie contre le manifeste ``SHA256SUMS``. - bridge principal, auquel l'uplink est rattaché - ``br-000000`` * - ``-P `` - - bridge supplémentaire, créé vide et réservé ; garder ``br-public``, nom attendu par - l'agent (voir ci-dessous) + - bridge public, sans adresse : il porte ``vxlan-public`` et les veth des VPC ; à + reporter dans ``interfaces.internet`` s'il change (voir ci-dessous) - ``br-public`` + * - ``-N `` + - VNI du segment public, partagé avec les bordures (``vxlan-public``) + - ``1`` * - ``-R `` - délai avant le redémarrage de secours pendant la migration réseau - ``120`` @@ -89,12 +92,19 @@ en arrière. Voir :doc:`/exploitation/configuration`. le serveur de metadata : sans elle, iptables ne voit pas le trafic bridgé des VM et cloud-init ne se provisionne pas. Contrepartie assumée : tout le trafic inter-VM traverse les tables NAT. -**Réseau** — création du bridge réservé, puis rattachement de l'uplink au bridge principal, +**Réseau** — création du bridge public, puis rattachement de l'uplink au bridge principal, l'adresse et la route par défaut étant déplacées de l'interface physique vers le bridge. -Le nom ``br-public`` est **en dur dans l'agent** : chaque VPC ``vp-`` y raccorde un veth -``vp--e`` côté host, dont l'autre extrémité ``vp--i`` rejoint un ``br-public`` créé dans -le netns du VPC. Avec un autre nom passé à ``-P``, toute création de VPC échoue. +**Segment public** — ``vxlan-public`` est créé avec le VNI de ``-N``, l'adresse IPv4 du bridge +principal pour VTEP (comme les VXLAN de l'agent), le port 4789, sans apprentissage (les MAC +distantes viennent d'EVPN) et un MTU de 1500, puis rattaché au bridge public. FRR l'annonce de +lui-même (``advertise-all-vni``). Relancer ``-i`` ne change rien ; le VXLAN est recréé si son VNI +ou son VTEP a changé. + +Chaque VPC ``vp-`` raccorde au bridge public un veth ``vp--e`` côté host, dont l'autre +extrémité ``vp--i`` rejoint un ``br-public`` créé dans le netns du VPC. L'agent lit le nom +du bridge public dans ``interfaces.internet`` (``br-public`` par défaut) : avec un autre nom +passé à ``-P`` sans le reporter dans cette clé, toute création de VPC échoue. .. danger:: diff --git a/docs/deploiement/architecture-cluster.rst b/docs/deploiement/architecture-cluster.rst index d0898dd..cea5769 100644 --- a/docs/deploiement/architecture-cluster.rst +++ b/docs/deploiement/architecture-cluster.rst @@ -30,8 +30,9 @@ encore est décrit sur son ticket : * **Internet** (`#31 `_, `#42 `_). Les bordures partagent avec les hyperviseurs - un VXLAN public (VNI 66001) et portent toutes la même IP et la même MAC de gateway. Elles restent - sans état : tout NAT vit sur un hyperviseur. Trois façons de sortir : + un VXLAN public (VNI 1, ``vxlan-public`` sur ``br-public``, #87) et portent toutes la même IP et + la même MAC de gateway. Elles restent sans état : tout NAT vit sur un hyperviseur. Trois façons + de sortir : * une VM qui porte une IP publique a une NIC sur un subnet public de son VPC, relié au subnet public de l'hôte ; @@ -43,7 +44,8 @@ encore est décrit sur son ticket : l'orchestrateur sont des VM du VNI 66000, partagé entre clusters. Les agents s'y connectent **en sortie**, par leur passerelle ; les routeurs de chaque cluster les traduisent (NAT) vers le VNI 66000. - L'orchestrateur a aussi une patte dans le VNI 66001 : son API est joignable depuis Internet. + L'orchestrateur a aussi une patte dans le segment public (VNI 1) : son API est joignable + depuis Internet. * **Route reflectors.** Au moins un ; deux sont prévus dans l'architecture et dans les exemples (plages d'adresses de :doc:`route-reflector`), placés ici dans deux clusters différents pour @@ -172,5 +174,4 @@ Adressage * la plage utilisée pour les adresses d'hyperviseurs, et son rapport avec ``br-000000`` ; * l'allocation des VNI VXLAN : qui la tient, et comment on évite les collisions, puisque l'agent ne valide pas ``vxlan_id`` ; - * l'usage prévu de ``br-public``, créé vide et réservé par le bootstrap ; * le plan d'adressage des VPC, et ce qui garantit qu'ils ne se recouvrent pas entre clients. diff --git a/docs/exploitation/configuration.rst b/docs/exploitation/configuration.rst index fcbdc61..9b13092 100644 --- a/docs/exploitation/configuration.rst +++ b/docs/exploitation/configuration.rst @@ -125,13 +125,18 @@ Correspondance des interfaces interfaces: vms: br-000000 - internet: br-000000 + internet: br-public admin: br-000000 Traduit les clés logiques ``iface_type`` de l'API vers les bridges physiques de l'host. Une clé inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur, mais c'est une source de subnets branchés au mauvais endroit sans le dire. +``internet`` désigne aussi le **bridge public**, celui qui porte ``vxlan-public`` et où chaque +VPC raccorde son veth ``vp--e`` (:doc:`/concepts/vpc-subnet-vm`). Pour lui, une clé absente +ou vide vaut ``br-public``, **jamais** ``default_interface`` : le segment public ne doit pas +tomber sur l'underlay. À garder égal au ``-P`` de ``deploy.sh``. + MTU --- diff --git a/docs/exploitation/observabilite.rst b/docs/exploitation/observabilite.rst index 34c1197..8f336be 100644 --- a/docs/exploitation/observabilite.rst +++ b/docs/exploitation/observabilite.rst @@ -37,7 +37,10 @@ défaut** (``enabled: false``) ; l'activer explicitement : interval_seconds: 60 Il contrôle notamment l'existence des network namespaces, des liens réseau des subnets, des taps -de VM et la réponse des units systemd associées. +de VM et la réponse des units systemd associées, ainsi que le **segment public** : le bridge +public (``interfaces.internet``) doit exister, être actif et porter un port VXLAN +(``vxlan-public``), sinon les VPC de l'hôte n'ont pas de segment public. Il ne vérifie pas le +numéro du VNI. Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de contrôle : diff --git a/release_notes/0.3.0.md b/release_notes/0.3.0.md index e994f0d..2070f40 100644 --- a/release_notes/0.3.0.md +++ b/release_notes/0.3.0.md @@ -28,6 +28,18 @@ - Les règles sont posées avant la création du tap et retirées après sa suppression ; le watchdog signale une interface d'une VM `running` dont les règles manquent ou ont été modifiées +**Segment public de l'hôte (#87)** + +- `deploy.sh -i` crée `vxlan-public`, VXLAN du segment public partagé avec les bordures, sur le + bridge public (`-P`, `br-public`) : VNI de la nouvelle option `-N`/`--public_vni` (1 par + défaut), VTEP = IPv4 du bridge principal, sans apprentissage ; recréé si le VNI ou le VTEP + change. FRR l'annonce par `advertise-all-vni` +- Plan de VNI : 1 pour le segment public, 2–65535 pour les L3VNI, 65536 et au-delà pour les + subnets. L'agent ne vérifie pas : l'appelant n'alloue jamais le VNI du segment public +- L'agent raccorde le veth `vp--e` de chaque VPC au bridge de `interfaces.internet` + (`br-public` par défaut, jamais `default_interface`), au lieu d'un nom en dur +- Le watchdog signale un bridge public absent, éteint ou sans port VXLAN + ## Correctifs - **Chaque VRF de VPC porte une route `unreachable default` (#81).** Une recherche qui échouait @@ -62,6 +74,14 @@ - **Une VM ne peut plus émettre depuis une adresse qui n'est pas la sienne (#76)** : une VM qui route pour d'autres machines, porte une adresse supplémentaire ou sert le DHCP perd ce trafic. Pour un serveur DHCP, créer l'interface avec `dhcp_server: true` + +- **Relancer `deploy.sh -i` (#87)** sur chaque hyperviseur pour créer `vxlan-public` ; sans lui, + le watchdog signale un bridge public sans port VXLAN à chaque tick. Un VPC routé dont le + `l3vni` vaut 1 doit être recréé avec un autre L3VNI avant : sinon la création de + `vxlan-public` échoue sur ce VNI déjà porté +- **`interfaces.internet` désigne désormais le bridge public (#87)** : une valeur héritée de + l'ancien exemple (`internet: br-000000`) raccorderait les VPC à l'underlay. La retirer, ou la + mettre à `br-public` - **`default_route: true` exige une `gateway` hors mode `bridge`** : un appel qui l'omettait en `vxlan` reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils annonçaient jusqu'à leur recréation From c5529140fbec98664a164904b92366eb61595969 Mon Sep 17 00:00:00 2001 From: GnomeZworc Date: Mon, 26 Oct 2026 14:08:07 +0100 Subject: [PATCH 7/7] f-87: e2e: 62, vxlan-public exclu des interfaces de subnet #87 Signed-off-by: GnomeZworc --- test/e2e/suite/62-nettoyage-global.sh | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/test/e2e/suite/62-nettoyage-global.sh b/test/e2e/suite/62-nettoyage-global.sh index 293053e..5bea382 100644 --- a/test/e2e/suite/62-nettoyage-global.sh +++ b/test/e2e/suite/62-nettoyage-global.sh @@ -11,7 +11,7 @@ for kind in vms subnets vpcs; do done check "${HOST} : aucun netns de VPC" none sh -c "ip netns list | awk '{print \$1}' | grep '^vp-'" check "${HOST} : aucun tap" none sh -c "ip -o link show | awk -F': ' '{print \$2}' | grep '^tap'" -check "${HOST} : aucune interface de subnet (v-*, vxlan-*)" none sh -c "ip -o link show | awk -F': ' '{print \$2}' | cut -d@ -f1 | grep -E '^(v-|vxlan-)'" +check "${HOST} : aucune interface de subnet (v-*, vxlan-*)" none sh -c "ip -o link show | awk -F': ' '{print \$2}' | cut -d@ -f1 | grep -E '^(v-|vxlan-[0-9])'" check "${HOST} : aucune VRF de VPC (vrf-*)" none sh -c "ip -o link show type vrf | awk -F': ' '{print \$2}' | grep '^vrf-'" check "${HOST} : aucune unité two-vm-*" none systemctl list-units --all --plain --no-legend 'two-vm-*' check "${HOST} : aucune instance DHCP (dhcp@, dnsmasq@) ni de métadonnées (metadata@) active" none sh -c "systemctl list-units --plain --no-legend 'dhcp@*' 'dnsmasq@*' 'metadata@*' | grep -w active"