Compare commits
No commits in common. "7d79ba1a5e665d2f531e854f62b726417acf48ea" and "0841b6de908966127319bfef68b8ebb334e3e262" have entirely different histories.
7d79ba1a5e
...
0841b6de90
8 changed files with 21 additions and 131 deletions
|
|
@ -18,12 +18,11 @@ VPC
|
|||
Un VPC est un **network namespace** portant un espace d'adressage (``cidr``). C'est l'unité
|
||||
d'isolation : deux VPC ne se voient pas, et peuvent réutiliser les mêmes plages d'adresses.
|
||||
|
||||
À la création, l'agent relie le netns au **bridge public** de l'host par un veth ``vp-<id>-e``
|
||||
(côté host) ↔ ``vp-<id>-i`` (côté netns, rattaché à un ``br-public`` propre au netns). Le bridge
|
||||
public est celui de ``interfaces.internet``, ``br-public`` si la clé est absente, jamais
|
||||
``default_interface`` (:doc:`/exploitation/configuration`). ``deploy.sh -i`` le crée et y
|
||||
accroche ``vxlan-public``, le VXLAN du segment public partagé avec les bordures
|
||||
(:doc:`/demarrage/installation`) ; sans ce bridge, toute création de VPC échoue.
|
||||
À la création, l'agent relie le netns au bridge ``br-public`` de l'host par un veth
|
||||
``vp-<id>-e`` (côté host) ↔ ``vp-<id>-i`` (côté netns, rattaché à un ``br-public`` propre au
|
||||
netns). Ce nom de bridge est **en dur** : l'host doit porter un bridge ``br-public``, celui que
|
||||
crée ``deploy.sh -i`` avec la valeur par défaut de ``-P`` (:doc:`/demarrage/installation`) ;
|
||||
sans lui, toute création de VPC échoue.
|
||||
|
||||
Un VPC ne peut être supprimé que si tous ses subnets le sont déjà — sinon 409.
|
||||
|
||||
|
|
@ -36,13 +35,10 @@ plus besoin de porter un subnet pour joindre ses VM. Sans ``l3vni``, le VPC se c
|
|||
avant. Le champ exige la section ``bgp`` de l'agent (:doc:`/exploitation/configuration`) et ne
|
||||
se change pas après création.
|
||||
|
||||
**Plan de VNI.** Segment public, L3VNI et ``vxlan_id`` des subnets partagent l'espace des VNI
|
||||
VXLAN : le VNI **1** est celui du segment public (``deploy.sh --public_vni``, 1 par défaut), la
|
||||
plage **2–65535** (sauf 253–255, tables du noyau) est réservée aux L3VNI des VPC,
|
||||
**65536–16777215** aux subnets. L'agent n'impose que la borne haute des L3VNI (le RD
|
||||
``<VTEP>:<l3vni>`` porte un numéro sur 16 bits) ; le respect du plan revient à l'appelant, qui
|
||||
alloue les L3VNI et les ``vxlan_id``. Un VPC créé avec le VNI du segment public pour ``l3vni``
|
||||
passe en ``error`` : ce VNI est déjà porté par ``vxlan-public``.
|
||||
**Plan de VNI.** L3VNI et ``vxlan_id`` des subnets partagent l'espace des VNI VXLAN : la plage
|
||||
**1–65535** (sauf 253–255, tables du noyau) est réservée aux L3VNI des VPC, **65536–16777215** aux
|
||||
subnets. L'agent n'impose que la première borne (le RD ``<VTEP>:<l3vni>`` porte un numéro sur
|
||||
16 bits) ; le respect du plan revient à l'appelant, qui alloue les deux.
|
||||
|
||||
À la création, l'agent pose sur l'hyperviseur, pour un VPC ``vp-<id>`` :
|
||||
|
||||
|
|
|
|||
|
|
@ -50,12 +50,9 @@ depuis la release, et les vérifie contre le manifeste ``SHA256SUMS``.
|
|||
- bridge principal, auquel l'uplink est rattaché
|
||||
- ``br-000000``
|
||||
* - ``-P <bridge>``
|
||||
- bridge public, sans adresse : il porte ``vxlan-public`` et les veth des VPC ; à
|
||||
reporter dans ``interfaces.internet`` s'il change (voir ci-dessous)
|
||||
- bridge supplémentaire, créé vide et réservé ; garder ``br-public``, nom attendu par
|
||||
l'agent (voir ci-dessous)
|
||||
- ``br-public``
|
||||
* - ``-N <vni>``
|
||||
- VNI du segment public, partagé avec les bordures (``vxlan-public``)
|
||||
- ``1``
|
||||
* - ``-R <secondes>``
|
||||
- délai avant le redémarrage de secours pendant la migration réseau
|
||||
- ``120``
|
||||
|
|
@ -92,19 +89,12 @@ en arrière. Voir :doc:`/exploitation/configuration`.
|
|||
le serveur de metadata : sans elle, iptables ne voit pas le trafic bridgé des VM et cloud-init
|
||||
ne se provisionne pas. Contrepartie assumée : tout le trafic inter-VM traverse les tables NAT.
|
||||
|
||||
**Réseau** — création du bridge public, puis rattachement de l'uplink au bridge principal,
|
||||
**Réseau** — création du bridge réservé, puis rattachement de l'uplink au bridge principal,
|
||||
l'adresse et la route par défaut étant déplacées de l'interface physique vers le bridge.
|
||||
|
||||
**Segment public** — ``vxlan-public`` est créé avec le VNI de ``-N``, l'adresse IPv4 du bridge
|
||||
principal pour VTEP (comme les VXLAN de l'agent), le port 4789, sans apprentissage (les MAC
|
||||
distantes viennent d'EVPN) et un MTU de 1500, puis rattaché au bridge public. FRR l'annonce de
|
||||
lui-même (``advertise-all-vni``). Relancer ``-i`` ne change rien ; le VXLAN est recréé si son VNI
|
||||
ou son VTEP a changé.
|
||||
|
||||
Chaque VPC ``vp-<id>`` raccorde au bridge public un veth ``vp-<id>-e`` côté host, dont l'autre
|
||||
extrémité ``vp-<id>-i`` rejoint un ``br-public`` créé dans le netns du VPC. L'agent lit le nom
|
||||
du bridge public dans ``interfaces.internet`` (``br-public`` par défaut) : avec un autre nom
|
||||
passé à ``-P`` sans le reporter dans cette clé, toute création de VPC échoue.
|
||||
Le nom ``br-public`` est **en dur dans l'agent** : chaque VPC ``vp-<id>`` y raccorde un veth
|
||||
``vp-<id>-e`` côté host, dont l'autre extrémité ``vp-<id>-i`` rejoint un ``br-public`` créé dans
|
||||
le netns du VPC. Avec un autre nom passé à ``-P``, toute création de VPC échoue.
|
||||
|
||||
.. danger::
|
||||
|
||||
|
|
|
|||
|
|
@ -30,9 +30,8 @@ encore est décrit sur son ticket :
|
|||
|
||||
* **Internet** (`#31 <https://git.g3e.fr/syonad/two/issues/31>`_,
|
||||
`#42 <https://git.g3e.fr/syonad/two/issues/42>`_). Les bordures partagent avec les hyperviseurs
|
||||
un VXLAN public (VNI 1, ``vxlan-public`` sur ``br-public``, #87) et portent toutes la même IP et
|
||||
la même MAC de gateway. Elles restent sans état : tout NAT vit sur un hyperviseur. Trois façons
|
||||
de sortir :
|
||||
un VXLAN public (VNI 66001) et portent toutes la même IP et la même MAC de gateway. Elles restent
|
||||
sans état : tout NAT vit sur un hyperviseur. Trois façons de sortir :
|
||||
|
||||
* une VM qui porte une IP publique a une NIC sur un subnet public de son VPC, relié au subnet
|
||||
public de l'hôte ;
|
||||
|
|
@ -44,8 +43,7 @@ encore est décrit sur son ticket :
|
|||
l'orchestrateur sont des VM du VNI 66000, partagé entre clusters. Les agents s'y connectent
|
||||
**en sortie**, par leur passerelle ; les routeurs de chaque cluster les traduisent (NAT) vers le
|
||||
VNI 66000.
|
||||
L'orchestrateur a aussi une patte dans le segment public (VNI 1) : son API est joignable
|
||||
depuis Internet.
|
||||
L'orchestrateur a aussi une patte dans le VNI 66001 : son API est joignable depuis Internet.
|
||||
|
||||
* **Route reflectors.** Au moins un ; deux sont prévus dans l'architecture et dans les exemples
|
||||
(plages d'adresses de :doc:`route-reflector`), placés ici dans deux clusters différents pour
|
||||
|
|
@ -174,4 +172,5 @@ Adressage
|
|||
* la plage utilisée pour les adresses d'hyperviseurs, et son rapport avec ``br-000000`` ;
|
||||
* l'allocation des VNI VXLAN : qui la tient, et comment on évite les collisions, puisque
|
||||
l'agent ne valide pas ``vxlan_id`` ;
|
||||
* l'usage prévu de ``br-public``, créé vide et réservé par le bootstrap ;
|
||||
* le plan d'adressage des VPC, et ce qui garantit qu'ils ne se recouvrent pas entre clients.
|
||||
|
|
|
|||
|
|
@ -386,10 +386,6 @@ Générée par ``test/e2e/run.sh --matrice`` à partir des en-têtes ; à régé
|
|||
- fenêtre ARP de la gateway anycast entre deux hôtes — relais L2 depuis l'adresse d'émission d'un hôte, gateway de la VM inchangée, métadonnées, renouvellement DHCP et TCP local sans perte pendant la fenêtre
|
||||
- hv1 hv2
|
||||
- #57
|
||||
* - ``45-segment-public``
|
||||
- segment public de l'hôte — vxlan-public (VNI 1) posé par le bootstrap sur br-public, VNI annoncé en EVPN et vu par les bordures, gateway anycast des bordures installée vers une seule bordure, gateway et destination de test joignables sans doublon, L2 entre hyperviseurs, veth des VPC sur le bridge public, watchdog
|
||||
- hv1 hv2 hv3
|
||||
- #87
|
||||
* - ``51-l3vni``
|
||||
- routage inter-subnet entre hôtes par L3VNI (IRB symétrique) — VRF, RMAC, exports /24 et /32, RT-5 réfléchies, TTL, isolation par RT, unreachable default dans la VRF, démontage d'un VPC routé
|
||||
- hv1 hv2
|
||||
|
|
|
|||
|
|
@ -125,18 +125,13 @@ Correspondance des interfaces
|
|||
|
||||
interfaces:
|
||||
vms: br-000000
|
||||
internet: br-public
|
||||
internet: br-000000
|
||||
admin: br-000000
|
||||
|
||||
Traduit les clés logiques ``iface_type`` de l'API vers les bridges physiques de l'host. Une clé
|
||||
inconnue ou omise retombe silencieusement sur ``default_interface`` — ce n'est pas une erreur,
|
||||
mais c'est une source de subnets branchés au mauvais endroit sans le dire.
|
||||
|
||||
``internet`` désigne aussi le **bridge public**, celui qui porte ``vxlan-public`` et où chaque
|
||||
VPC raccorde son veth ``vp-<id>-e`` (:doc:`/concepts/vpc-subnet-vm`). Pour lui, une clé absente
|
||||
ou vide vaut ``br-public``, **jamais** ``default_interface`` : le segment public ne doit pas
|
||||
tomber sur l'underlay. À garder égal au ``-P`` de ``deploy.sh``.
|
||||
|
||||
MTU
|
||||
---
|
||||
|
||||
|
|
|
|||
|
|
@ -37,10 +37,7 @@ défaut** (``enabled: false``) ; l'activer explicitement :
|
|||
interval_seconds: 60
|
||||
|
||||
Il contrôle notamment l'existence des network namespaces, des liens réseau des subnets, des taps
|
||||
de VM et la réponse des units systemd associées, ainsi que le **segment public** : le bridge
|
||||
public (``interfaces.internet``) doit exister, être actif et porter un port VXLAN
|
||||
(``vxlan-public``), sinon les VPC de l'hôte n'ont pas de segment public. Il ne vérifie pas le
|
||||
numéro du VNI.
|
||||
de VM et la réponse des units systemd associées.
|
||||
|
||||
Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de contrôle :
|
||||
|
||||
|
|
|
|||
|
|
@ -14,18 +14,6 @@
|
|||
quand ses VM sont en `deleting`, et attend leur suppression jusqu'à `timeout_subnet_stop`. Le
|
||||
409 reste pour une VM ni supprimée ni en `deleting`
|
||||
|
||||
**Segment public de l'hôte (#87)**
|
||||
|
||||
- `deploy.sh -i` crée `vxlan-public`, VXLAN du segment public partagé avec les bordures, sur le
|
||||
bridge public (`-P`, `br-public`) : VNI de la nouvelle option `-N`/`--public_vni` (1 par
|
||||
défaut), VTEP = IPv4 du bridge principal, sans apprentissage ; recréé si le VNI ou le VTEP
|
||||
change. FRR l'annonce par `advertise-all-vni`
|
||||
- Plan de VNI : 1 pour le segment public, 2–65535 pour les L3VNI, 65536 et au-delà pour les
|
||||
subnets. L'agent ne vérifie pas : l'appelant n'alloue jamais le VNI du segment public
|
||||
- L'agent raccorde le veth `vp-<id>-e` de chaque VPC au bridge de `interfaces.internet`
|
||||
(`br-public` par défaut, jamais `default_interface`), au lieu d'un nom en dur
|
||||
- Le watchdog signale un bridge public absent, éteint ou sans port VXLAN
|
||||
|
||||
## Correctifs
|
||||
|
||||
- **Chaque VRF de VPC porte une route `unreachable default` (#81).** Une recherche qui échouait
|
||||
|
|
@ -52,13 +40,6 @@
|
|||
|
||||
## Mise à jour depuis la 0.2.0
|
||||
|
||||
- **Relancer `deploy.sh -i` (#87)** sur chaque hyperviseur pour créer `vxlan-public` ; sans lui,
|
||||
le watchdog signale un bridge public sans port VXLAN à chaque tick. Un VPC routé dont le
|
||||
`l3vni` vaut 1 doit être recréé avec un autre L3VNI avant : sinon la création de
|
||||
`vxlan-public` échoue sur ce VNI déjà porté
|
||||
- **`interfaces.internet` désigne désormais le bridge public (#87)** : une valeur héritée de
|
||||
l'ancien exemple (`internet: br-000000`) raccorderait les VPC à l'underlay. La retirer, ou la
|
||||
mettre à `br-public`
|
||||
- **`default_route: true` exige une `gateway` hors mode `bridge`** : un appel qui l'omettait en
|
||||
`vxlan` reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils
|
||||
annonçaient jusqu'à leur recréation
|
||||
|
|
|
|||
|
|
@ -1,64 +0,0 @@
|
|||
# fonctionnalité: segment public de l'hôte — vxlan-public (VNI 1) posé par le bootstrap sur br-public, VNI annoncé en EVPN et vu par les bordures, gateway anycast des bordures installée vers une seule bordure, gateway et destination de test joignables sans doublon, L2 entre hyperviseurs, veth des VPC sur le bridge public, watchdog
|
||||
# hôtes: hv1 hv2 hv3
|
||||
# tickets: #87
|
||||
|
||||
for host in hv1 hv2 hv3; do
|
||||
case "${host}" in
|
||||
hv1) pub=240.0.0.11 ;;
|
||||
hv2) pub=240.0.0.12 ;;
|
||||
hv3) pub=240.0.0.13 ;;
|
||||
esac
|
||||
on "${host}" "HOST=${host}" "PUB=${pub}" <<'NODE'
|
||||
NS=t45-pub
|
||||
GW_MAC=02:01:00:00:00:01
|
||||
vxlan_info () { ip -j -d link show dev vxlan-public | jq -r '.[0] | "\(.linkinfo.info_data.id) \(.linkinfo.info_data.local) \(.linkinfo.info_data.learning) \(.master) \(.operstate)"'; }
|
||||
remote_vtep () { vtysh -c 'show evpn vni 1' | grep -qwF "${1}"; }
|
||||
pings_clean () {
|
||||
local out
|
||||
out=$(ip netns exec "${NS}" ping -n -c 5 -i 0.2 -W 1 "${1}" 2>&1) || { echo "${out}" | tail -2; return 1; }
|
||||
! grep -q DUP <<<"${out}" || { echo "${out}" | grep -m1 DUP; return 1; }
|
||||
}
|
||||
check "${HOST} : vxlan-public, VNI 1, VTEP $(vtep_host), sans apprentissage, esclave de br-public, actif ($(vxlan_info))" test "$(vxlan_info)" = "1 $(vtep_host) false br-public UNKNOWN"
|
||||
check "${HOST} : VNI 1 de type L2 dans FRR" sh -c "vtysh -c 'show evpn vni 1' | grep -q 'Type: L2'"
|
||||
for bd in 192.168.14.21 192.168.14.22; do
|
||||
check "${HOST} : bordure ${bd} parmi les VTEP distants du VNI 1" remote_vtep "${bd}"
|
||||
done
|
||||
check "${HOST} : MAC de la gateway ${GW_MAC} installée vers une seule bordure" test "$(bridge fdb show dev vxlan-public | grep -c "^${GW_MAC} .*dst 192\.168\.14\.2[12] ")" -eq 1
|
||||
ip netns add "${NS}"
|
||||
ip link add t45-pub-h type veth peer name t45-pub-n netns "${NS}"
|
||||
ip link set t45-pub-h master br-public up
|
||||
ip -n "${NS}" link set t45-pub-n up
|
||||
ip -n "${NS}" addr add "${PUB}/24" dev t45-pub-n
|
||||
ip -n "${NS}" route add default via 240.0.0.1
|
||||
check "${HOST} : netns de test ${NS} sur br-public, ${PUB}/24" sh -c "ip -n ${NS} -4 -o addr show dev t45-pub-n | grep -q ' ${PUB}/24 '"
|
||||
check "${HOST} : gateway des bordures 240.0.0.1 joignable, sans doublon" pings_clean 240.0.0.1
|
||||
check "${HOST} : destination de test 240.255.0.1 joignable par la gateway, sans doublon" pings_clean 240.255.0.1
|
||||
check "${HOST} : ARP de la gateway résolu vers ${GW_MAC}" sh -c "ip -n ${NS} neigh show 240.0.0.1 | grep -q 'lladdr ${GW_MAC}'"
|
||||
NODE
|
||||
done
|
||||
|
||||
on bd1 <<'NODE'
|
||||
for hv in 192.168.14.11 192.168.14.12 192.168.14.13; do
|
||||
check "bd1 : hyperviseur ${hv} parmi les VTEP distants du VNI 1" sh -c "vtysh -c 'show evpn vni 1' | grep -qwF ${hv}"
|
||||
done
|
||||
NODE
|
||||
|
||||
on hv1 <<'NODE'
|
||||
NS=t45-pub
|
||||
pings_clean () {
|
||||
local out
|
||||
out=$(ip netns exec "${NS}" ping -n -c 5 -i 0.2 -W 1 "${1}" 2>&1) || { echo "${out}" | tail -2; return 1; }
|
||||
! grep -q DUP <<<"${out}" || { echo "${out}" | grep -m1 DUP; return 1; }
|
||||
}
|
||||
for peer in 240.0.0.12 240.0.0.13; do
|
||||
check "hv1 : ${peer} (netns de test d'un autre hyperviseur) joignable en L2 sur le VNI 1" pings_clean "${peer}"
|
||||
done
|
||||
check "VPC vp-t45 sur hv1" vpc_create vp-t45 10.45.0.0/16
|
||||
check "vp-t45 : vp-t45-e esclave du bridge public br-public (interfaces.internet par défaut)" sh -c "ip -o link show vp-t45-e | grep -q 'master br-public'"
|
||||
ip link set vxlan-public nomaster
|
||||
check "watchdog : br-public sans port VXLAN signalé" wait_watchdog "no vxlan port: the public segment is unreachable from this host"
|
||||
check "sans vxlan-public, la gateway des bordures ne répond plus (témoin)" sh -c "! ip netns exec ${NS} ping -n -c 2 -W 1 240.0.0.1 >/dev/null 2>&1"
|
||||
check "vxlan-public remis sur br-public" ip link set vxlan-public master br-public
|
||||
check "vxlan-public remis : la gateway des bordures répond de nouveau" sh -c "for i in 1 2 3 4 5 6 7 8 9 10; do ip netns exec ${NS} ping -n -c 1 -W 1 240.0.0.1 >/dev/null 2>&1 && exit 0; sleep 2; done; exit 1"
|
||||
check "vxlan-public remis : sans doublon" pings_clean 240.0.0.1
|
||||
NODE
|
||||
Loading…
Add table
Add a link
Reference in a new issue