Compare commits
No commits in common. "2ce5024d91c3c3b1e3e48355ec1df8fe4b2e4205" and "12d69798fbc7f7af466323d837ff3354617c8c9d" have entirely different histories.
2ce5024d91
...
12d69798fb
28 changed files with 88 additions and 677 deletions
|
|
@ -146,10 +146,7 @@ paths:
|
|||
schema:
|
||||
$ref: "#/components/schemas/Error"
|
||||
"422":
|
||||
description: >
|
||||
Subnet not found, or not in creating/running state; or an interface IP outside the
|
||||
subnet CIDR, equal to its network or broadcast address, or reserved by the subnet
|
||||
(interface_ip, relay_ip, gateway)
|
||||
description: Subnet not found, or not in creating/running state
|
||||
content:
|
||||
application/json:
|
||||
schema:
|
||||
|
|
@ -232,9 +229,7 @@ paths:
|
|||
schema:
|
||||
$ref: "#/components/schemas/Subnet"
|
||||
"400":
|
||||
description: >
|
||||
Missing required field; interface_ip missing on a bridge or public_ip subnet, or
|
||||
supplied on a vxlan subnet (it is computed)
|
||||
description: Missing required field or unknown iface_type
|
||||
content:
|
||||
application/json:
|
||||
schema:
|
||||
|
|
@ -246,9 +241,7 @@ paths:
|
|||
schema:
|
||||
$ref: "#/components/schemas/Error"
|
||||
"422":
|
||||
description: >
|
||||
Unknown mode; parent VPC does not exist or is not ready; invalid CIDR, or a vxlan
|
||||
CIDR smaller than /29
|
||||
description: Parent VPC does not exist or is not ready
|
||||
content:
|
||||
application/json:
|
||||
schema:
|
||||
|
|
@ -356,7 +349,7 @@ components:
|
|||
|
||||
SubnetCreateRequest:
|
||||
type: object
|
||||
required: [name, vpc, cidr]
|
||||
required: [name, vpc, interface_ip, cidr]
|
||||
properties:
|
||||
name:
|
||||
type: string
|
||||
|
|
@ -388,16 +381,11 @@ components:
|
|||
interface_ip:
|
||||
type: string
|
||||
format: ipv4
|
||||
description: >
|
||||
Gateway IP for the subnet. Required in bridge and public_ip modes. Rejected in vxlan
|
||||
mode (400): the agent computes it as the last usable address of the CIDR
|
||||
(broadcast - 1), carried by an anycast gateway identical on every host.
|
||||
description: Gateway IP for the subnet
|
||||
example: "10.10.10.1"
|
||||
cidr:
|
||||
type: string
|
||||
description: >
|
||||
Subnet CIDR block. In vxlan mode, without host bits and at most /29: the last two
|
||||
usable addresses are reserved for the gateway and the relay address.
|
||||
description: Subnet CIDR block
|
||||
example: "10.10.10.0/24"
|
||||
default_route:
|
||||
type: boolean
|
||||
|
|
@ -415,7 +403,7 @@ components:
|
|||
Optional next-hop for the default route. Only used when default_route is true;
|
||||
supplied with default_route false, it is ignored. Not validated by the agent:
|
||||
reachability and coherence with the subnet CIDR are the caller's responsibility.
|
||||
example: "10.10.10.1"
|
||||
example: "10.10.10.254"
|
||||
|
||||
Subnet:
|
||||
type: object
|
||||
|
|
@ -444,14 +432,7 @@ components:
|
|||
example: br-000000
|
||||
interface_ip:
|
||||
type: string
|
||||
description: Subnet gateway. In vxlan mode, computed by the agent (broadcast - 1).
|
||||
example: "10.10.10.254"
|
||||
relay_ip:
|
||||
type: string
|
||||
description: >
|
||||
vxlan mode only (broadcast - 2): address the subnet uses to reach guests on other
|
||||
hosts, carried by the bridge of each host. Absent on subnets created before it existed.
|
||||
example: "10.10.10.253"
|
||||
example: "10.10.10.1"
|
||||
cidr:
|
||||
type: string
|
||||
example: "10.10.10.0/24"
|
||||
|
|
@ -460,7 +441,7 @@ components:
|
|||
example: false
|
||||
gateway:
|
||||
type: string
|
||||
example: "10.10.10.1"
|
||||
example: "10.10.10.254"
|
||||
|
||||
VMCreateRequest:
|
||||
type: object
|
||||
|
|
|
|||
|
|
@ -23,17 +23,6 @@ Réseau
|
|||
* **La route vers le CIDR du VPC garde ``interface_ip`` comme next-hop** dans tous les modes sauf
|
||||
``bridge`` : sur un subnet à IP publique, le trafic interne ne doit pas sortir par la gateway
|
||||
publique.
|
||||
* **La MAC anycast d'une gateway ``vxlan`` ne sort jamais du netns** : règles ebtables sur le veth
|
||||
du subnet (source anycast rejetée en entrée et en sortie) **et** entrée FDB locale dans le bridge
|
||||
du netns. Sans l'entrée FDB, que le macvlan ne crée pas, toute trame d'une VM vers sa gateway est
|
||||
inondée vers le fabric et traitée par la gateway de chaque hôte.
|
||||
* **La gateway ``vxlan`` n'est jamais sur le bridge** : ``arp_ignore=1`` sur ``br-<subnet>``, la
|
||||
gateway en ``/32`` sur ``gw-<subnet>``, l'adresse d'émission seule sur le bridge. Posée sur le
|
||||
bridge, la gateway répondrait aux VM avec la MAC de l'hôte et l'anycast serait contourné sans
|
||||
autre symptôme.
|
||||
* **La route du subnet garde la gateway pour source** (``src``) : le netns parle à ses VM depuis
|
||||
la gateway, leurs réponses reviennent à l'hôte local. Depuis l'adresse d'émission, partagée par
|
||||
tous les hôtes, une réponse peut partir vers un autre hôte.
|
||||
* ``169.254.169.254`` est centralisé dans ``metadata.ServiceIP`` — ne pas le réécrire en dur.
|
||||
|
||||
QEMU et VM
|
||||
|
|
|
|||
|
|
@ -36,85 +36,22 @@ vxlan
|
|||
.. mermaid::
|
||||
|
||||
graph LR
|
||||
VM --- TAP[tap] --- BR["br-<subnet><br/>adresse d'émission"]
|
||||
GW["gw-<subnet><br/>gateway, MAC anycast"] -. macvlan .- BR
|
||||
BR --- VETH["v-<subnet>-i / -e"] --- VX["vxlan-<vni>"] --- UP[uplink]
|
||||
VM --- TAP[tap] --- BR["br-<subnet><br/>interface_ip"]
|
||||
BR --- VX["vxlan<vni>"] --- HBR["bridge host<br/>(iface_type)"] --- UP[uplink]
|
||||
|
||||
Le subnet vit dans le netns du VPC. La VM n'est donc **pas joignable depuis l'host** sans route
|
||||
explicite — point à connaître avant de câbler un outil externe dessus.
|
||||
|
||||
Adressage
|
||||
~~~~~~~~~
|
||||
Le bridge du subnet, qui porte ``interface_ip``, a une **MAC de gateway propre à l'hôte**, calculée
|
||||
depuis son VTEP — l'IPv4 primaire du ``local_iface`` : ``02:03`` suivi des quatre octets de
|
||||
l'adresse (VTEP ``192.168.14.12`` → ``02:03:c0:a8:0e:0c``). Unique dans le fabric, elle est la
|
||||
même pour tous les subnets d'un hôte, chacun étant un domaine L2 distinct. Elle n'est posée qu'à la
|
||||
création du subnet — un subnet créé avant garde la MAC choisie par le noyau jusqu'à sa recréation.
|
||||
|
||||
L'agent calcule deux adresses à partir du ``cidr`` ; ``interface_ip`` n'est pas fourni par
|
||||
l'appelant (refusé en 400) :
|
||||
|
||||
* la **gateway**, avant-dernière adresse du préfixe (``.254`` en ``/24``), exposée comme
|
||||
``interface_ip`` ;
|
||||
* l'**adresse d'émission**, juste avant (``.253``), exposée comme ``relay_ip``.
|
||||
|
||||
Le ``cidr`` doit être sans bits d'hôte et faire au plus ``/29``. Une VM ne peut prendre ni l'une
|
||||
ni l'autre de ces adresses, ni l'adresse de réseau, de broadcast ou la ``gateway`` explicite du
|
||||
subnet (422).
|
||||
|
||||
Gateway anycast
|
||||
~~~~~~~~~~~~~~~
|
||||
|
||||
La gateway est portée par un macvlan ``gw-<subnet>`` posé sur le bridge du netns. Sa MAC est
|
||||
**identique sur tous les hôtes qui portent le subnet** : ``02:01:00`` suivi de la VNI sur 24 bits
|
||||
(VNI ``2911`` → ``02:01:00:00:0b:5f``). Où qu'elle tourne, une VM résout sa gateway vers l'hôte
|
||||
qui l'héberge, et une entrée ARP restée en cache reste valable si la VM change d'hôte.
|
||||
|
||||
Le bridge ``br-<subnet>`` garde une **MAC propre à l'hôte**, ``02:03`` suivi des quatre octets du
|
||||
VTEP — l'IPv4 primaire du ``local_iface`` (``192.168.14.12`` → ``02:03:c0:a8:0e:0c``) — et porte
|
||||
l'adresse d'émission :
|
||||
|
||||
* le netns émet ses requêtes ARP depuis l'adresse d'émission (``arp_announce=2``) et le bridge ne
|
||||
répond pas pour la gateway (``arp_ignore=1``). Quand un hôte relaie en L2 vers une VM d'un autre
|
||||
hôte — trafic routé vers un subnet présent sur plusieurs hôtes, filet du ``/24`` d'un VPC
|
||||
routé —, la VM répond à la MAC de cet hôte, sans que sa gateway change ;
|
||||
* la route du subnet a la gateway pour source : le netns parle à **ses** VM depuis la gateway, et
|
||||
leurs réponses reviennent à la MAC anycast, donc à l'hôte local ;
|
||||
* le DHCP écoute sur ``gw-<subnet>`` et s'annonce avec la gateway comme identifiant de serveur :
|
||||
un renouvellement unicast reste servi par l'hôte de la VM.
|
||||
|
||||
L'adresse d'émission est la même sur tous les hôtes : une VM qui reçoit la requête ARP d'un autre
|
||||
hôte associe ``.253`` à la MAC de celui-ci. C'est sans effet — la VM ne parle jamais d'elle-même à
|
||||
``.253`` et le netns lui parle depuis la gateway. Mesuré en lab (``s11-fenetre-arp``) : pendant
|
||||
cette fenêtre, métadonnées, renouvellement DHCP et connexions depuis le netns passent sans perte.
|
||||
|
||||
.. note::
|
||||
|
||||
Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission
|
||||
(``ping -I <relay_ip>``) : à la gateway, sa réponse repartirait vers son propre hôte. Le
|
||||
trafic routé entre VM n'est pas concerné, il garde sa source.
|
||||
|
||||
Confinement de la MAC anycast
|
||||
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
|
||||
|
||||
La MAC anycast ne doit **jamais** sortir du netns : vue depuis le fabric, elle serait annoncée en
|
||||
EVPN par chaque hôte, détectée en double, et déplacerait l'apprentissage des bridges. Trois
|
||||
mécanismes la confinent :
|
||||
|
||||
* ebtables, sur le veth du subnet : toute trame de **source** anycast est rejetée à l'entrée
|
||||
(``nat PREROUTING``) et à la sortie (``FORWARD`` et ``OUTPUT``) ;
|
||||
* une **entrée FDB locale** pour la MAC anycast dans le bridge du netns. Le macvlan ne la crée pas
|
||||
lui-même : sans elle, toute trame d'une VM vers sa gateway est inondée vers le fabric et les
|
||||
autres VM, et traitée par la gateway de chaque hôte ;
|
||||
* les requêtes ARP vers la gateway ou l'adresse d'émission, et les réponses DHCP qui en viennent,
|
||||
sont bloquées vers le veth, comme avant.
|
||||
|
||||
IPv6 n'est pas désactivé sur le macvlan : ses trames (DAD, ND) sont arrêtées par le confinement.
|
||||
Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l'entrée FDB ; il ne relit pas les
|
||||
règles ebtables.
|
||||
|
||||
Subnets créés avant la gateway anycast
|
||||
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Un subnet ``vxlan`` sans ``relay_ip`` garde le modèle précédent jusqu'à sa recréation :
|
||||
``interface_ip`` choisie à la création, portée par le bridge, avec la MAC propre à l'hôte. Une VM
|
||||
qui reçoit alors la requête ARP d'un autre hôte associe **sa gateway** à cet hôte pendant
|
||||
quelques secondes (#57).
|
||||
Une MAC de gateway **identique sur tous les hôtes** (anycast) a été essayée puis retirée : apprise
|
||||
sur le veth du subnet, elle était annoncée en EVPN par chaque hôte et détectée en double ; et une
|
||||
gateway ne pouvait plus joindre en L2 une VM d'un autre hôte, la réponse revenant à la gateway
|
||||
locale de la VM. Le cache ARP d'une VM migrée à chaud est un sujet de la migration, pas du subnet.
|
||||
|
||||
bridge
|
||||
------
|
||||
|
|
@ -144,7 +81,7 @@ Une route par défaut est **toujours** annoncée. Le champ ``default_route`` ne
|
|||
next-hop :
|
||||
|
||||
``default_route: false`` (défaut)
|
||||
next-hop = ``interface_ip`` du subnet, la gateway calculée en ``vxlan``.
|
||||
next-hop = ``interface_ip`` du subnet.
|
||||
|
||||
``default_route: true``
|
||||
next-hop = le champ ``gateway`` s'il est fourni, sinon la gateway lue dans la table de routage
|
||||
|
|
@ -163,8 +100,7 @@ Pourquoi la route ``/32`` vers le serveur de metadata est indispensable
|
|||
Elle paraît redondante avec la route par défaut. Elle ne l'est pas.
|
||||
|
||||
La DNAT vers le serveur de metadata est posée dans le netns du VPC, en ``PREROUTING``. Le paquet
|
||||
n'y est traité en L3 que si son next-hop est ``interface_ip``, locale au netns — sur le macvlan de
|
||||
la gateway en ``vxlan``, sur le bridge dans les autres modes.
|
||||
n'y est traité en L3 que si son next-hop est ``interface_ip``, portée par le bridge du netns.
|
||||
Avec un autre next-hop, la trame est commutée en **L2** sans traverser ``PREROUTING`` : le
|
||||
serveur de metadata devient injoignable et tout le provisionnement cloud-init échoue,
|
||||
silencieusement.
|
||||
|
|
|
|||
|
|
@ -6,7 +6,7 @@ Trois types de ressources, une hiérarchie stricte.
|
|||
.. mermaid::
|
||||
|
||||
graph TD
|
||||
VPC["VPC<br/><i>network namespace</i><br/>cidr"] --> SN1["Subnet<br/><i>bridge + VXLAN</i><br/>cidr, gateway"]
|
||||
VPC["VPC<br/><i>network namespace</i><br/>cidr"] --> SN1["Subnet<br/><i>bridge + VXLAN</i><br/>interface_ip, cidr"]
|
||||
VPC --> SN2["Subnet"]
|
||||
SN1 --> VM1["VM<br/><i>QEMU/KVM</i>"]
|
||||
SN1 --> VM2["VM"]
|
||||
|
|
@ -57,9 +57,8 @@ configurée fait planter ``bgpd`` (FRR 10.7.1).
|
|||
Subnet
|
||||
------
|
||||
|
||||
Un subnet appartient à un VPC et pose, dans son netns, un bridge et la gateway vue par les VM,
|
||||
``interface_ip`` — calculée par l'agent et portée par un macvlan à MAC anycast en mode ``vxlan``,
|
||||
fournie par l'appelant et portée par le bridge dans les autres modes. Il fournit aussi le DHCP — dnsmasq ou le serveur intégré selon
|
||||
Un subnet appartient à un VPC et pose, dans son netns, un bridge qui porte ``interface_ip`` — la
|
||||
gateway vue par les VM. Il fournit aussi le DHCP — dnsmasq ou le serveur intégré selon
|
||||
``dhcp.backend`` — et les routes annoncées aux guests.
|
||||
|
||||
``iface_type`` est une clé **logique** (``vms``, ``internet``, ``admin``…), traduite en nom de
|
||||
|
|
|
|||
|
|
@ -217,14 +217,12 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**.
|
|||
- backend DHCP ``two``, une VPC et deux subnets : chaque VM reçoit l'adresse de **son**
|
||||
subnet, démarrée seule ou en même temps qu'une autre ; le bail est tenu par
|
||||
systemd-networkd ; route par défaut, route vers la VPC et ``/32`` vers les métadonnées
|
||||
via la gateway calculée (``.254``) ; l'état de chaque serveur DHCP ne connaît que les MAC de
|
||||
son subnet (#46)
|
||||
via ``interface_ip`` ; l'état de chaque serveur DHCP ne connaît que les MAC de son subnet
|
||||
(#46)
|
||||
- hv1
|
||||
* - ``s2-gateway``
|
||||
- gateway (``.254``) et adresse d'émission (``.253``) calculées par l'agent, refusées pour
|
||||
une VM ; ``interface_ip`` refusé sur un subnet ``vxlan`` (#57) ; route par défaut via la
|
||||
gateway, ou via ``gateway`` avec ``default_route`` ; route vers la VPC toujours via la
|
||||
gateway du subnet ; macvlan retiré à la suppression, même résultat après recréation (#31)
|
||||
- route par défaut via ``interface_ip``, ou via ``gateway`` avec ``default_route`` ; route
|
||||
vers la VPC toujours via ``interface_ip`` ; même résultat après recréation du subnet (#31)
|
||||
- hv1
|
||||
* - ``s3-isolation-local``
|
||||
- deux VPC sur le même hyperviseur ne se joignent pas, en ICMP comme en TCP ; chaque VM
|
||||
|
|
@ -259,16 +257,15 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**.
|
|||
- suite de ``s7``, topologie ``evpn-3hv.yml`` : migration d'une VM de hv1 vers hv2 par l'API,
|
||||
observée depuis hv3 qui n'a pas le subnet : migration simple (VM supprimée puis recréée,
|
||||
``/24`` comme filet), séquence orchestrée (deux VM de même IP, deux ``/32`` en ECMP, 40
|
||||
sources sur 40) ; l'ancien « pire cas » devient un refus (409) ; MAC anycast de la gateway
|
||||
absente d'EVPN (aucune route de type 2 sur rr1, absente de la table de hv1), sans doublon
|
||||
(#57) ; watchdog : ``/32`` orphelin signalé comme trou noir, ``/32`` manquant
|
||||
sources sur 40) ; l'ancien « pire cas » devient un refus (409) ; MAC de gateway propre à
|
||||
chaque hôte, sans doublon EVPN ; watchdog : ``/32`` orphelin signalé comme trou noir, ``/32`` manquant
|
||||
signalé
|
||||
- hv1, hv2, hv3, rr1
|
||||
* - ``s9-subnets-partages``
|
||||
- deux VPC, avec et sans ``l3vni``, chacune avec deux subnets présents sur **les deux**
|
||||
hyperviseurs et une VM par subnet et par hôte : ping entre toutes les paires (même subnet ou
|
||||
non, même hôte ou non) ; chaque VM voit la MAC anycast de sa gateway ; aucune MAC en
|
||||
double et aucune MAC anycast dans EVPN sur les quatre VNI (#57)
|
||||
non, même hôte ou non) ; chaque VM voit la MAC de gateway de son propre hôte ; aucune MAC en
|
||||
double sur les quatre VNI
|
||||
- hv2, hv3, rr1
|
||||
* - ``s10-switch-loss``
|
||||
- un seul switch maître VRRP de la passerelle (lu par ``show vrrp``, pas supposé) ; interface
|
||||
|
|
@ -278,14 +275,6 @@ sortie vaut 1 si une vérification échoue **ou si aucune n'a été faite**.
|
|||
silence sous 5 s ; interface rétablie : ses sessions eBGP reviennent et il **reste en
|
||||
attente**, sans reprendre la passerelle (#54)
|
||||
- hv1, sw1, sw2
|
||||
* - ``s11-fenetre-arp``
|
||||
- fenêtre ARP de #57 : sur hv1, entrées ARP du netns retirées, puis une VM de hv1 joint une VM
|
||||
de hv2 dans l'autre subnet (relais L2 depuis l'adresse d'émission de hv1). La VM de hv2
|
||||
associe alors ``.253`` à la MAC de hv1 (fenêtre ouverte, vérifiée), mais sa gateway reste
|
||||
la MAC anycast ; pendant la fenêtre, métadonnées servies, bail DHCP renouvelé auprès de
|
||||
``.254``, et **aucune** des 80 connexions TCP du netns de hv2 vers sa VM n'est perdue ; MAC
|
||||
anycast inscrite dans la FDB du bridge du netns
|
||||
- hv1, hv2
|
||||
|
||||
``s6`` réutilise les VM de ``s4`` : le lancer après.
|
||||
|
||||
|
|
|
|||
|
|
@ -63,38 +63,6 @@ diverges``. Regarder ses notifications avant de sonder à la main.
|
|||
Si le serveur ne voit passer aucune requête, le problème est en amont : tap absent, bridge non
|
||||
raccordé, VM dans le mauvais netns.
|
||||
|
||||
La VM ne joint pas sa gateway (subnet ``vxlan``)
|
||||
------------------------------------------------
|
||||
|
||||
La gateway d'un subnet ``vxlan`` est un macvlan ``gw-<subnet>`` à MAC anycast
|
||||
(:doc:`/concepts/modes-reseau`). Le watchdog contrôle sa présence, sa MAC, les adresses et l'entrée
|
||||
FDB : ses notifications (``interface gw-…``, ``lacks the gateway address``, ``no local fdb
|
||||
entry``…) disent déjà ce qui manque. À la main, dans le netns du VPC :
|
||||
|
||||
.. code-block:: bash
|
||||
|
||||
# macvlan actif, MAC 02:01:00:<VNI>, gateway en /32 ; adresse d'émission seule sur le bridge
|
||||
ip -n <vpc> -br addr show gw-<subnet>
|
||||
ip -n <vpc> -br addr show br-<subnet>
|
||||
|
||||
# entrée locale de la MAC anycast dans le bridge (« master br-<subnet> permanent »)
|
||||
ip netns exec <vpc> bridge fdb show br br-<subnet> | grep 02:01:00
|
||||
|
||||
# route du subnet émise depuis la gateway
|
||||
ip -n <vpc> -4 route show dev br-<subnet>
|
||||
|
||||
# confinement : source anycast rejetée sur le veth du subnet
|
||||
ip netns exec <vpc> ebtables -t nat -L PREROUTING
|
||||
ip netns exec <vpc> ebtables -L FORWARD
|
||||
|
||||
Dans le guest, ``ip neigh show <gateway>`` doit montrer la MAC ``02:01:00:<VNI>``. Une autre MAC —
|
||||
celle d'un hôte, ``02:03:…`` — signale un subnet de l'ancien modèle (sans ``relay_ip``) ou une
|
||||
gateway posée sur le bridge.
|
||||
|
||||
Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission :
|
||||
``ip netns exec <vpc> ping -I <relay_ip> <ip>``. Un ping sans ``-I`` part de la gateway et la
|
||||
réponse revient à l'hôte de la VM — ce n'est pas une panne.
|
||||
|
||||
La VM a une adresse mais cloud-init n'applique rien
|
||||
---------------------------------------------------
|
||||
|
||||
|
|
|
|||
|
|
@ -1,51 +0,0 @@
|
|||
//go:build linux
|
||||
|
||||
package netif
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"net"
|
||||
"syscall"
|
||||
|
||||
"github.com/vishvananda/netlink"
|
||||
)
|
||||
|
||||
func bridgeLocalEntry(bridgeIndex int, mac net.HardwareAddr) *netlink.Neigh {
|
||||
return &netlink.Neigh{
|
||||
LinkIndex: bridgeIndex,
|
||||
Family: syscall.AF_BRIDGE,
|
||||
State: netlink.NUD_PERMANENT,
|
||||
Flags: netlink.NTF_SELF,
|
||||
HardwareAddr: mac,
|
||||
}
|
||||
}
|
||||
|
||||
func hasBridgeLocalMAC(entries []netlink.Neigh, bridgeIndex int, mac net.HardwareAddr) bool {
|
||||
for _, e := range entries {
|
||||
if e.LinkIndex == bridgeIndex && e.MasterIndex == bridgeIndex &&
|
||||
e.State&netlink.NUD_PERMANENT != 0 && bytes.Equal(e.HardwareAddr, mac) {
|
||||
return true
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
func BridgeAddLocalMAC(bridge string, mac net.HardwareAddr) error {
|
||||
link, err := netlink.LinkByName(bridge)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
return netlink.NeighAdd(bridgeLocalEntry(link.Attrs().Index, mac))
|
||||
}
|
||||
|
||||
func BridgeHasLocalMAC(bridge string, mac net.HardwareAddr) (bool, error) {
|
||||
link, err := netlink.LinkByName(bridge)
|
||||
if err != nil {
|
||||
return false, err
|
||||
}
|
||||
entries, err := netlink.NeighList(link.Attrs().Index, syscall.AF_BRIDGE)
|
||||
if err != nil {
|
||||
return false, err
|
||||
}
|
||||
return hasBridgeLocalMAC(entries, link.Attrs().Index, mac), nil
|
||||
}
|
||||
|
|
@ -1,43 +0,0 @@
|
|||
//go:build linux
|
||||
|
||||
package netif
|
||||
|
||||
import (
|
||||
"syscall"
|
||||
"testing"
|
||||
|
||||
"github.com/vishvananda/netlink"
|
||||
)
|
||||
|
||||
func TestBridgeLocalEntry(t *testing.T) {
|
||||
mac, _ := AnycastMAC(2911)
|
||||
e := bridgeLocalEntry(7, mac)
|
||||
if e.LinkIndex != 7 || e.Family != syscall.AF_BRIDGE {
|
||||
t.Errorf("index ou famille inattendus : %d, %d", e.LinkIndex, e.Family)
|
||||
}
|
||||
if e.State != netlink.NUD_PERMANENT || e.Flags != netlink.NTF_SELF {
|
||||
t.Errorf("état %#x et drapeaux %#x, entrée permanente du bridge attendue", e.State, e.Flags)
|
||||
}
|
||||
}
|
||||
|
||||
func TestHasBridgeLocalMAC(t *testing.T) {
|
||||
mac, _ := AnycastMAC(2911)
|
||||
other, _ := AnycastMAC(2912)
|
||||
local := netlink.Neigh{LinkIndex: 7, MasterIndex: 7, State: netlink.NUD_PERMANENT, HardwareAddr: mac}
|
||||
cases := []struct {
|
||||
label string
|
||||
entries []netlink.Neigh
|
||||
want bool
|
||||
}{
|
||||
{"entrée locale du bridge", []netlink.Neigh{local}, true},
|
||||
{"seulement la liste unicast du bridge (macvlan)", []netlink.Neigh{{LinkIndex: 7, State: netlink.NUD_PERMANENT, Flags: netlink.NTF_SELF, HardwareAddr: mac}}, false},
|
||||
{"apprise sur un port", []netlink.Neigh{{LinkIndex: 9, MasterIndex: 7, State: netlink.NUD_REACHABLE, HardwareAddr: mac}}, false},
|
||||
{"autre MAC", []netlink.Neigh{{LinkIndex: 7, MasterIndex: 7, State: netlink.NUD_PERMANENT, HardwareAddr: other}}, false},
|
||||
{"aucune entrée", nil, false},
|
||||
}
|
||||
for _, c := range cases {
|
||||
if got := hasBridgeLocalMAC(c.entries, 7, mac); got != c.want {
|
||||
t.Errorf("%s : %v, %v attendu", c.label, got, c.want)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
|
@ -1,16 +0,0 @@
|
|||
//go:build !linux
|
||||
|
||||
package netif
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"net"
|
||||
)
|
||||
|
||||
func BridgeAddLocalMAC(_ string, _ net.HardwareAddr) error {
|
||||
return errors.New("not supported on this platform")
|
||||
}
|
||||
|
||||
func BridgeHasLocalMAC(_ string, _ net.HardwareAddr) (bool, error) {
|
||||
return false, errors.New("not supported on this platform")
|
||||
}
|
||||
|
|
@ -2,7 +2,6 @@ package netif
|
|||
|
||||
import (
|
||||
"net"
|
||||
"syscall"
|
||||
|
||||
"github.com/vishvananda/netlink"
|
||||
)
|
||||
|
|
@ -14,27 +13,3 @@ func LinkIsUp(name string) (bool, error) {
|
|||
}
|
||||
return link.Attrs().Flags&net.FlagUp != 0, nil
|
||||
}
|
||||
|
||||
func LinkMAC(name string) (net.HardwareAddr, error) {
|
||||
link, err := netlink.LinkByName(name)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return link.Attrs().HardwareAddr, nil
|
||||
}
|
||||
|
||||
func LinkIPv4(name string) ([]net.IP, error) {
|
||||
link, err := netlink.LinkByName(name)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
addrs, err := netlink.AddrList(link, syscall.AF_INET)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
ips := make([]net.IP, 0, len(addrs))
|
||||
for _, a := range addrs {
|
||||
ips = append(ips, a.IP)
|
||||
}
|
||||
return ips, nil
|
||||
}
|
||||
|
|
|
|||
|
|
@ -9,10 +9,6 @@ import (
|
|||
)
|
||||
|
||||
func RouteAdd(iface string, subnet *net.IPNet) error {
|
||||
return RouteAddFrom(iface, subnet, nil)
|
||||
}
|
||||
|
||||
func RouteAddFrom(iface string, subnet *net.IPNet, src net.IP) error {
|
||||
link, err := netlink.LinkByName(iface)
|
||||
if err != nil {
|
||||
return err
|
||||
|
|
@ -20,7 +16,6 @@ func RouteAddFrom(iface string, subnet *net.IPNet, src net.IP) error {
|
|||
return netlink.RouteAdd(&netlink.Route{
|
||||
LinkIndex: link.Attrs().Index,
|
||||
Dst: subnet,
|
||||
Src: src,
|
||||
Scope: netlink.SCOPE_LINK,
|
||||
})
|
||||
}
|
||||
|
|
|
|||
|
|
@ -11,10 +11,6 @@ func RouteAdd(_ string, _ *net.IPNet) error {
|
|||
return errors.New("not supported on this platform")
|
||||
}
|
||||
|
||||
func RouteAddFrom(_ string, _ *net.IPNet, _ net.IP) error {
|
||||
return errors.New("not supported on this platform")
|
||||
}
|
||||
|
||||
func TableRoutesVia(_ int, _ string) ([]*net.IPNet, error) {
|
||||
return nil, errors.New("route listing is only implemented on linux")
|
||||
}
|
||||
|
|
|
|||
|
|
@ -35,11 +35,10 @@ func setupAnycastGateway(d subnetData, vethI string) error {
|
|||
{"confine " + mac.String(), func() error { return ebtables.ConfineMAC(vethI, mac.String()) }},
|
||||
{"arp sysctls on " + d.bridge, func() error { return setSysctls(arpSysctls(d.bridge)) }},
|
||||
{"relay address on " + d.bridge, func() error { return netif.AddrAdd(d.bridge, d.relayIP) }},
|
||||
{"route " + d.cidr.String(), func() error { return netif.RouteAdd(d.bridge, d.cidr) }},
|
||||
{"create " + gw, func() error { return netif.CreateMacvlan(gw, d.bridge, mac) }},
|
||||
{"local fdb entry " + mac.String(), func() error { return netif.BridgeAddLocalMAC(d.bridge, mac) }},
|
||||
{"arp sysctls on " + gw, func() error { return setSysctls(arpSysctls(gw)) }},
|
||||
{"gateway address on " + gw, func() error { return netif.AddrAdd(gw, d.interfaceIP) }},
|
||||
{"route " + d.cidr.String(), func() error { return netif.RouteAddFrom(d.bridge, d.cidr, d.interfaceIP) }},
|
||||
{"set up " + gw, func() error { return netif.LinkSetUp(gw) }},
|
||||
{"drop arp to gateway", func() error { return ebtables.DropARPToGateway(vethI, d.interfaceIP.String()) }},
|
||||
{"drop arp to relay", func() error { return ebtables.DropARPToGateway(vethI, d.relayIP.String()) }},
|
||||
|
|
|
|||
|
|
@ -1,128 +0,0 @@
|
|||
package watchdog
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"net"
|
||||
"strconv"
|
||||
"strings"
|
||||
|
||||
"git.g3e.fr/syonad/two/internal/netif"
|
||||
"git.g3e.fr/syonad/two/internal/netns"
|
||||
"git.g3e.fr/syonad/two/internal/watchdog/notify"
|
||||
"git.g3e.fr/syonad/two/pkg/db/kv"
|
||||
|
||||
"github.com/dgraph-io/badger/v4"
|
||||
)
|
||||
|
||||
type gatewayState struct {
|
||||
MAC string
|
||||
LocalFDB bool
|
||||
GatewayAddrs []string
|
||||
BridgeAddrs []string
|
||||
}
|
||||
|
||||
func hasAddr(addrs []string, ip string) bool {
|
||||
for _, a := range addrs {
|
||||
if a == ip {
|
||||
return true
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
func gatewayProblems(gw, bridge string, got gatewayState, wantMAC, gatewayIP, relayIP string) []string {
|
||||
var problems []string
|
||||
if got.MAC != wantMAC {
|
||||
problems = append(problems, fmt.Sprintf("interface %s has mac %q, expected anycast %s", gw, got.MAC, wantMAC))
|
||||
}
|
||||
if !got.LocalFDB {
|
||||
problems = append(problems, fmt.Sprintf("bridge %s has no local fdb entry for %s, frames to the gateway are flooded", bridge, wantMAC))
|
||||
}
|
||||
if !hasAddr(got.GatewayAddrs, gatewayIP) {
|
||||
problems = append(problems, fmt.Sprintf("interface %s lacks the gateway address %s", gw, gatewayIP))
|
||||
}
|
||||
if !hasAddr(got.BridgeAddrs, relayIP) {
|
||||
problems = append(problems, fmt.Sprintf("interface %s lacks the relay address %s", bridge, relayIP))
|
||||
}
|
||||
if hasAddr(got.BridgeAddrs, gatewayIP) {
|
||||
problems = append(problems, fmt.Sprintf("interface %s carries the gateway address %s, guests would bypass the anycast mac", bridge, gatewayIP))
|
||||
}
|
||||
return problems
|
||||
}
|
||||
|
||||
func readGatewayState(gw, bridge string, anycast net.HardwareAddr) (gatewayState, error) {
|
||||
var st gatewayState
|
||||
mac, err := netif.LinkMAC(gw)
|
||||
if err != nil {
|
||||
return st, err
|
||||
}
|
||||
st.MAC = mac.String()
|
||||
if st.LocalFDB, err = netif.BridgeHasLocalMAC(bridge, anycast); err != nil {
|
||||
return st, err
|
||||
}
|
||||
for _, side := range []struct {
|
||||
iface string
|
||||
dst *[]string
|
||||
}{{gw, &st.GatewayAddrs}, {bridge, &st.BridgeAddrs}} {
|
||||
ips, err := netif.LinkIPv4(side.iface)
|
||||
if err != nil {
|
||||
return st, err
|
||||
}
|
||||
*side.dst = ipStrings(ips)
|
||||
}
|
||||
return st, nil
|
||||
}
|
||||
|
||||
func ipStrings(ips []net.IP) []string {
|
||||
out := make([]string, 0, len(ips))
|
||||
for _, ip := range ips {
|
||||
out = append(out, ip.String())
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
func checkAnycastGateway(db *badger.DB, name, vpc, bridge string, n notify.Notifier) {
|
||||
relayIP, err := kv.GetFromDB(db, prefixSubnet+name+"/relay_ip")
|
||||
if err != nil || relayIP == "" {
|
||||
return
|
||||
}
|
||||
gatewayIP, err := kv.GetFromDB(db, prefixSubnet+name+"/interface_ip")
|
||||
if err != nil {
|
||||
n.Notify(kindSubnet, name, fmt.Sprintf("interface_ip unreadable in database: %v", err))
|
||||
return
|
||||
}
|
||||
raw, err := kv.GetFromDB(db, prefixSubnet+name+"/vxlan_id")
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
vni, err := strconv.Atoi(raw)
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
wantMAC, err := netif.AnycastMAC(vni)
|
||||
if err != nil {
|
||||
n.Notify(kindSubnet, name, err.Error())
|
||||
return
|
||||
}
|
||||
if !netns.Exist(vpc) {
|
||||
return
|
||||
}
|
||||
gw := "gw-" + strings.TrimPrefix(bridge, "br-")
|
||||
if err := netns.Call(vpc, func() error {
|
||||
if p := linkProblem(gw); p != "" {
|
||||
n.Notify(kindSubnet, name, p+" (in netns "+vpc+")")
|
||||
return nil
|
||||
}
|
||||
st, err := readGatewayState(gw, bridge, wantMAC)
|
||||
if err != nil {
|
||||
n.Notify(kindSubnet, name, fmt.Sprintf("anycast gateway unreadable in netns %s: %v", vpc, err))
|
||||
return nil
|
||||
}
|
||||
for _, p := range gatewayProblems(gw, bridge, st, wantMAC.String(), gatewayIP, relayIP) {
|
||||
n.Notify(kindSubnet, name, p+" (in netns "+vpc+")")
|
||||
}
|
||||
return nil
|
||||
}); err != nil {
|
||||
n.Notify(kindSubnet, name, fmt.Sprintf("cannot enter netns %s: %v", vpc, err))
|
||||
}
|
||||
}
|
||||
|
|
@ -1,64 +0,0 @@
|
|||
package watchdog
|
||||
|
||||
import (
|
||||
"strings"
|
||||
"testing"
|
||||
)
|
||||
|
||||
func TestGatewayProblems_Healthy(t *testing.T) {
|
||||
st := gatewayState{
|
||||
MAC: "02:01:00:00:0b:5f",
|
||||
LocalFDB: true,
|
||||
GatewayAddrs: []string{"10.0.0.254"},
|
||||
BridgeAddrs: []string{"10.0.0.253"},
|
||||
}
|
||||
if p := gatewayProblems("gw-x", "br-x", st, "02:01:00:00:0b:5f", "10.0.0.254", "10.0.0.253"); len(p) != 0 {
|
||||
t.Errorf("aucun problème attendu, obtenu %v", p)
|
||||
}
|
||||
}
|
||||
|
||||
func TestGatewayProblems_EachDefectIsReported(t *testing.T) {
|
||||
healthy := func() gatewayState {
|
||||
return gatewayState{
|
||||
MAC: "02:01:00:00:0b:5f",
|
||||
LocalFDB: true,
|
||||
GatewayAddrs: []string{"10.0.0.254"},
|
||||
BridgeAddrs: []string{"10.0.0.253"},
|
||||
}
|
||||
}
|
||||
cases := []struct {
|
||||
label string
|
||||
mutate func(*gatewayState)
|
||||
want string
|
||||
}{
|
||||
{"MAC du macvlan changée", func(s *gatewayState) { s.MAC = "02:03:c0:a8:0e:0b" }, "expected anycast 02:01:00:00:0b:5f"},
|
||||
{"entrée FDB locale absente du bridge", func(s *gatewayState) { s.LocalFDB = false }, "no local fdb entry for 02:01:00:00:0b:5f"},
|
||||
{"gateway absente du macvlan", func(s *gatewayState) { s.GatewayAddrs = nil }, "lacks the gateway address 10.0.0.254"},
|
||||
{"adresse d'émission absente du bridge", func(s *gatewayState) { s.BridgeAddrs = nil }, "lacks the relay address 10.0.0.253"},
|
||||
{"gateway posée sur le bridge", func(s *gatewayState) { s.BridgeAddrs = append(s.BridgeAddrs, "10.0.0.254") }, "bypass the anycast mac"},
|
||||
}
|
||||
for _, c := range cases {
|
||||
st := healthy()
|
||||
c.mutate(&st)
|
||||
p := gatewayProblems("gw-x", "br-x", st, "02:01:00:00:0b:5f", "10.0.0.254", "10.0.0.253")
|
||||
if len(p) != 1 || !strings.Contains(p[0], c.want) {
|
||||
t.Errorf("%s : un problème contenant %q attendu, obtenu %v", c.label, c.want, p)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestCheckSubnets_LegacyVxlanHasNoAnycastCheck(t *testing.T) {
|
||||
db := newTestDB(t)
|
||||
seedSubnet(t, db, "br-000042", "vp-admin", modeVxlan)
|
||||
seedKV(t, db, prefixSubnet+"br-000042/vxlan_id", "42")
|
||||
r := &recorder{}
|
||||
|
||||
if err := CheckSubnets(db, dnsmasqConfig(), newFakeUnits(), r); err != nil {
|
||||
t.Fatalf("erreur inattendue: %v", err)
|
||||
}
|
||||
for _, c := range r.calls {
|
||||
if strings.Contains(c.problem, "gw-") || strings.Contains(c.problem, "anycast") {
|
||||
t.Errorf("un subnet sans relay_ip ne doit rien signaler sur la gateway anycast : %q", c.problem)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
|
@ -89,9 +89,6 @@ func checkSubnet(db *badger.DB, name string, backend dhcpbackend.Backend, u unit
|
|||
}
|
||||
|
||||
checkSubnetNetns(name, vpc, nsVeth, bridge, n)
|
||||
if mode == modeVxlan {
|
||||
checkAnycastGateway(db, name, vpc, bridge, n)
|
||||
}
|
||||
|
||||
checkDHCP(db, name, dhcpbackend.Subnet{Name: name, VPC: vpc, Bridge: bridge}, backend, u, n)
|
||||
}
|
||||
|
|
|
|||
|
|
@ -58,25 +58,12 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
|
|||
- Le démarrage échoue si la section est incomplète, si FRR tourne déjà sous un autre AS ou si
|
||||
`vtysh` ne répond pas
|
||||
|
||||
**Gateway anycast des subnets `vxlan` (#57)**
|
||||
**Gateway des subnets `vxlan`**
|
||||
|
||||
- La gateway et l'adresse d'émission sont **calculées** par l'agent : avant-dernière adresse du
|
||||
`cidr` (`.254` en `/24`) pour la gateway, exposée comme `interface_ip`, et celle d'avant
|
||||
(`.253`) pour l'adresse d'émission, exposée comme nouveau champ `relay_ip`. Le `cidr` doit
|
||||
être sans bits d'hôte et faire au plus `/29`
|
||||
- La gateway est portée par un macvlan `gw-<subnet>` à **MAC anycast** `02:01:00:<VNI sur 24 bits>`,
|
||||
identique sur tous les hôtes qui portent le subnet : une VM résout toujours sa gateway vers son
|
||||
hôte. Le bridge garde une MAC propre à l'hôte, `02:03:<IPv4 du VTEP>`, et porte l'adresse
|
||||
d'émission, d'où partent les requêtes ARP du netns
|
||||
- Une VM qui reçoit la requête ARP d'un autre hôte ne change plus de gateway : jusqu'ici, elle
|
||||
envoyait pendant quelques secondes son trafic à cet hôte, coupant métadonnées, renouvellement
|
||||
DHCP et sessions depuis le netns. Mesuré en lab : aucune perte pendant cette fenêtre
|
||||
- La MAC anycast est confinée au netns — règles ebtables sur le veth du subnet et entrée FDB
|
||||
locale dans le bridge — et n'apparaît jamais en EVPN. Le DHCP écoute sur `gw-<subnet>` ; la
|
||||
route du subnet a la gateway pour source
|
||||
- Une VM ne peut prendre ni la gateway, ni l'adresse d'émission, ni la `gateway` explicite, ni
|
||||
l'adresse de réseau ou de broadcast du subnet, ni une adresse hors de son `cidr` (422)
|
||||
- Le watchdog contrôle le macvlan, sa MAC, les deux adresses et l'entrée FDB
|
||||
- Le bridge du subnet porte une **MAC propre à l'hôte**, `02:03:<IPv4 du VTEP>`, posée à la
|
||||
création du subnet. Une MAC identique sur tous les hôtes (anycast) a été essayée puis retirée :
|
||||
annoncée en double en EVPN, elle empêchait aussi une gateway de joindre en L2 une VM d'un autre
|
||||
hôte (#57)
|
||||
|
||||
**Exploitation**
|
||||
|
||||
|
|
@ -122,8 +109,9 @@ L3VNI, avec une configuration BGP pilotée par l'agent ; documentation du projet
|
|||
|
||||
Celles de la 0.1.0 restent valables, sauf mention contraire ci-dessus. S'y ajoutent :
|
||||
|
||||
- **L3VNI** : pas de migration à chaud ; la gateway anycast (#57) la prépare côté réseau. MTU
|
||||
1500 de bout en bout (#56). Le transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
|
||||
- **L3VNI** : pas de migration à chaud ; le cache ARP d'une VM qui changerait d'hôte reste à
|
||||
traiter (#57). MTU 1500 de bout en bout (#56). Un seul route reflector qualifié (#54). Le
|
||||
transit `169.254.0.0/30` étant identique sur tous les hôtes, les ICMP des sauts distants sont
|
||||
rejetés comme « martiens » (traceroute partiel)
|
||||
- Avec une section `bgp`, l'agent ne démarre pas sans FRR et `agent.service` ne le relance pas :
|
||||
au démarrage, l'ordre est migration réseau, puis FRR, puis l'agent (#52)
|
||||
|
|
@ -148,16 +136,10 @@ curl -O https://git.g3e.fr/syonad/two/raw/branch/main/scripts/deploy.sh
|
|||
bash ./deploy.sh -t 0.2.0
|
||||
```
|
||||
|
||||
Sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le comportement est celui de la 0.1.0, à
|
||||
deux exceptions près, qui touchent les appelants de l'API :
|
||||
|
||||
- **`interface_ip` ne se fournit plus pour un subnet `vxlan`** : il est refusé (400), l'agent le
|
||||
calcule. Le retirer des appels de création, et ne plus placer de VM sur les deux dernières
|
||||
adresses utilisables du subnet. Il reste obligatoire en `bridge` et `public_ip`
|
||||
- **un subnet encore utilisé par une VM ne se supprime plus** : supprimer les VM d'abord
|
||||
|
||||
Les subnets `vxlan` existants gardent leur adressage et le modèle précédent (gateway sur le
|
||||
bridge) jusqu'à leur recréation.
|
||||
Aucune action n'est requise : sans `dhcp.backend` ni `bgp` dans `/etc/two/agent.yml`, le
|
||||
comportement est celui de la 0.1.0, à une exception près — **un subnet encore utilisé par une VM
|
||||
ne se supprime plus** : supprimer les VM d'abord. Les subnets `vxlan` existants gardent leur MAC
|
||||
de gateway jusqu'à leur recréation.
|
||||
|
||||
Pour router entre hyperviseurs : ajouter la section `bgp`, réduire `frr.conf` à `hostname` et
|
||||
`log` (l'agent pose le reste), puis créer les VPC avec `l3vni`. Pour passer au serveur intégré, suivre la procédure de bascule dans la
|
||||
|
|
|
|||
|
|
@ -54,16 +54,12 @@ vpc_create () {
|
|||
}
|
||||
|
||||
subnet_create () {
|
||||
local name="${1}" vpc="${2}" vni="${3}" cidr="${4}" extra="${5:-}"
|
||||
local name="${1}" vpc="${2}" vni="${3}" gw="${4}" cidr="${5}" extra="${6:-}"
|
||||
api_state "subnets/${name}" | grep -qx running && return 0
|
||||
api_post subnets "{\"name\":\"${name}\",\"vpc\":\"${vpc}\",\"mode\":\"vxlan\",\"vxlan_id\":${vni},\"iface_type\":\"vms\",\"cidr\":\"${cidr}\"${extra}}" \
|
||||
api_post subnets "{\"name\":\"${name}\",\"vpc\":\"${vpc}\",\"mode\":\"vxlan\",\"vxlan_id\":${vni},\"iface_type\":\"vms\",\"interface_ip\":\"${gw}\",\"cidr\":\"${cidr}\"${extra}}" \
|
||||
&& wait_state "subnets/${name}" running
|
||||
}
|
||||
|
||||
anycast_mac () {
|
||||
printf '02:01:00:%02x:%02x:%02x\n' $(( ${1} >> 16 & 255 )) $(( ${1} >> 8 & 255 )) $(( ${1} & 255 ))
|
||||
}
|
||||
|
||||
two_image () {
|
||||
[ -f "${TWO_IMAGE}" ] && return 0
|
||||
local work
|
||||
|
|
|
|||
|
|
@ -193,23 +193,6 @@ test_vpc_create_sends_the_l3vni_only_when_given () {
|
|||
teardown
|
||||
}
|
||||
|
||||
test_subnet_create_lets_the_agent_compute_the_gateway () {
|
||||
setup "subnet_create : vxlan sans interface_ip, champs supplémentaires ajoutés"
|
||||
local stub='api_state () { echo; }; wait_state () { :; }; api_post () { echo "$1 $2"; }; '
|
||||
[[ $(node "${stub}subnet_create sn-s1a vp-s1 2101 10.210.1.0/24") == 'subnets {"name":"sn-s1a","vpc":"vp-s1","mode":"vxlan","vxlan_id":2101,"iface_type":"vms","cidr":"10.210.1.0/24"}' ]] \
|
||||
|| fail "sans extra : $(node "${stub}subnet_create sn-s1a vp-s1 2101 10.210.1.0/24")"
|
||||
[[ $(node "${stub}subnet_create sn-s2b vp-s2 2202 10.220.2.0/24 ',\"default_route\":true'") == 'subnets {"name":"sn-s2b","vpc":"vp-s2","mode":"vxlan","vxlan_id":2202,"iface_type":"vms","cidr":"10.220.2.0/24","default_route":true}' ]] \
|
||||
|| fail "avec extra : $(node "${stub}subnet_create sn-s2b vp-s2 2202 10.220.2.0/24 ',\"default_route\":true'")"
|
||||
teardown
|
||||
}
|
||||
|
||||
test_anycast_mac_encodes_the_vni_on_24_bits () {
|
||||
setup "anycast_mac : 02:01:00 suivi de la VNI sur 24 bits"
|
||||
[[ $(node 'anycast_mac 2911') == 02:01:00:00:0b:5f ]] || fail "2911 : $(node 'anycast_mac 2911')"
|
||||
[[ $(node 'anycast_mac 16777215') == 02:01:00:ff:ff:ff ]] || fail "VNI max : $(node 'anycast_mac 16777215')"
|
||||
teardown
|
||||
}
|
||||
|
||||
test_api_code_returns_the_http_status () {
|
||||
setup "api_code : méthode, chemin et code HTTP"
|
||||
[[ $(node 'curl () { echo "$*" >&2; echo 409; }; api_code DELETE subnets/sn-a 2>/dev/null') == 409 ]] || fail "code"
|
||||
|
|
|
|||
|
|
@ -2,8 +2,8 @@ on hv1 <<'NODE'
|
|||
two_image || { echo "ÉCHOUÉ: image compatible two"; exit 0; }
|
||||
KEY=$(vm_key)
|
||||
check "VPC vp-s1" vpc_create vp-s1 10.210.0.0/16
|
||||
check "subnet sn-s1a" subnet_create sn-s1a vp-s1 2101 10.210.1.0/24
|
||||
check "subnet sn-s1b" subnet_create sn-s1b vp-s1 2102 10.210.2.0/24
|
||||
check "subnet sn-s1a" subnet_create sn-s1a vp-s1 2101 10.210.1.1 10.210.1.0/24
|
||||
check "subnet sn-s1b" subnet_create sn-s1b vp-s1 2102 10.210.2.1 10.210.2.0/24
|
||||
check "backend two : socket de contrôle de sn-s1a" test -S /run/two/dhcp/vp-s1_br-s1a.sock
|
||||
check "backend two : socket de contrôle de sn-s1b" test -S /run/two/dhcp/vp-s1_br-s1b.sock
|
||||
check "VM s1-a1, démarrée seule" vm_create s1-a1 sn-s1a 10.210.1.10 "${KEY}"
|
||||
|
|
@ -16,7 +16,7 @@ wait "${A}"; RA=$?
|
|||
wait "${B}"; RB=$?
|
||||
check "VM s1-a2, démarrée en même temps que s1-b2" test "${RA}" -eq 0
|
||||
check "VM s1-b2, démarrée en même temps que s1-a2" test "${RB}" -eq 0
|
||||
for vm in 10.210.1.10:10.210.1.254 10.210.1.11:10.210.1.254 10.210.2.10:10.210.2.254 10.210.2.11:10.210.2.254; do
|
||||
for vm in 10.210.1.10:10.210.1.1 10.210.1.11:10.210.1.1 10.210.2.10:10.210.2.1 10.210.2.11:10.210.2.1; do
|
||||
ip=${vm%%:*}; gw=${vm#*:}
|
||||
check "${ip} joignable" vm_wait vp-s1 "${ip}"
|
||||
check "${ip} : adresse de son propre subnet" has_addr vp-s1 "${ip}"
|
||||
|
|
|
|||
|
|
@ -1,53 +0,0 @@
|
|||
for host in hv1 hv2; do
|
||||
on "${host}" "HOST=${host}" <<'NODE'
|
||||
two_image || { echo "ÉCHOUÉ: image compatible two (${HOST})"; exit 0; }
|
||||
KEY=$(vm_key)
|
||||
case "${HOST}" in hv1) n=1 ;; hv2) n=2 ;; esac
|
||||
check "${HOST} : VPC vp-s11, sans l3vni" vpc_create vp-s11 10.252.0.0/16
|
||||
check "${HOST} : subnet sn-s11a (VNI 3111)" subnet_create sn-s11a vp-s11 3111 10.252.1.0/24
|
||||
check "${HOST} : subnet sn-s11b (VNI 3112)" subnet_create sn-s11b vp-s11 3112 10.252.2.0/24
|
||||
check "${HOST} : VM s11-a${n} 10.252.1.1${n}" vm_create "s11-a${n}" sn-s11a "10.252.1.1${n}" "${KEY}"
|
||||
check "${HOST} : VM s11-b${n} 10.252.2.1${n}" vm_create "s11-b${n}" sn-s11b "10.252.2.1${n}" "${KEY}"
|
||||
check "${HOST} : s11-a${n} joignable" vm_wait vp-s11 "10.252.1.1${n}"
|
||||
check "${HOST} : s11-b${n} joignable" vm_wait vp-s11 "10.252.2.1${n}"
|
||||
check "${HOST} : MAC anycast inscrite dans la FDB du bridge de sn-s11a" sh -c 'ip netns exec vp-s11 bridge fdb show br br-s11a | grep -qi "^$1 dev br-s11a master br-s11a permanent"' _ "$(anycast_mac 3111)"
|
||||
check "${HOST} : le netns émet vers sn-s11a depuis la gateway 10.252.1.254" sh -c "ip -n vp-s11 -4 route get 10.252.1.1${n} | grep -q 'src 10.252.1.254 '"
|
||||
NODE
|
||||
done
|
||||
|
||||
on hv2 <<'NODE'
|
||||
check "prérequis : s11-a2 résout sa gateway vers la MAC anycast" vm_grep vp-s11 10.252.1.12 'ping -n -c 1 -W 2 10.252.1.254 >/dev/null; ip neigh show 10.252.1.254' "lladdr $(anycast_mac 3111) "
|
||||
rm -f /tmp/s11.log
|
||||
nohup ip netns exec vp-s11 bash -c 'for i in $(seq 1 80); do if timeout 1 bash -c "</dev/tcp/10.252.1.12/22" 2>/dev/null; then echo "$(date +%T.%N) ok"; else echo "$(date +%T.%N) KO"; fi; sleep 0.5; done' > /tmp/s11.log 2>&1 &
|
||||
sleep 3
|
||||
NODE
|
||||
|
||||
on hv1 <<'NODE'
|
||||
check "hv1 : entrées ARP du netns retirées sur sn-s11a" ip -n vp-s11 neigh flush dev br-s11a
|
||||
check "s11-b1 (hv1) joint s11-a2 (hv2), autre subnet : relais L2 depuis l'adresse d'émission de hv1" vm_ssh vp-s11 10.252.2.11 'ping -n -c 3 -W 2 10.252.1.12'
|
||||
NODE
|
||||
|
||||
on hv2 <<'NODE'
|
||||
MAC=$(anycast_mac 3111)
|
||||
check "fenêtre ouverte : s11-a2 associe l'adresse d'émission 10.252.1.253 à la MAC de hv1" vm_grep vp-s11 10.252.1.12 'ip neigh show 10.252.1.253' 'lladdr 02:03:c0:a8:0e:0b '
|
||||
check "pendant la fenêtre : la gateway de s11-a2 reste la MAC anycast ${MAC}" vm_grep vp-s11 10.252.1.12 'ip neigh show 10.252.1.254' "lladdr ${MAC} "
|
||||
check "pendant la fenêtre : métadonnées servies à s11-a2" vm_grep vp-s11 10.252.1.12 "python3 -c \"import urllib.request; print(urllib.request.urlopen('http://169.254.169.254/meta-data', timeout=5).read().decode())\"" 'instance-id: s11-a2'
|
||||
BEFORE=$(vm_ssh vp-s11 10.252.1.12 'stat -c %Y /run/systemd/netif/leases/*')
|
||||
sleep 2
|
||||
check "pendant la fenêtre : renouvellement DHCP demandé" vm_ssh vp-s11 10.252.1.12 'sudo networkctl renew ens3'
|
||||
renewed () {
|
||||
local i
|
||||
for i in $(seq 1 15); do
|
||||
[ "$(vm_ssh vp-s11 10.252.1.12 'stat -c %Y /run/systemd/netif/leases/*')" != "${BEFORE}" ] && return 0
|
||||
sleep 1
|
||||
done
|
||||
echo "bail non réécrit" >&2
|
||||
return 1
|
||||
}
|
||||
check "pendant la fenêtre : bail renouvelé" renewed
|
||||
check "bail tenu par la gateway 10.252.1.254" vm_grep vp-s11 10.252.1.12 'cat /run/systemd/netif/leases/*' 'SERVER_ADDRESS=10.252.1.254'
|
||||
check "s11-a2 garde son adresse après le renouvellement" has_addr vp-s11 10.252.1.12
|
||||
for i in $(seq 1 60); do [ "$(wc -l < /tmp/s11.log)" -ge 80 ] && break; sleep 1; done
|
||||
info "connexions TCP du netns de hv2 vers s11-a2:22 : $(grep -c ' ok$' /tmp/s11.log) réussies, $(grep -c ' KO$' /tmp/s11.log) perdues ; $(grep ' KO$' /tmp/s11.log | head -3 | tr '\n' ' ')"
|
||||
check "aucune connexion TCP du netns de hv2 vers sa VM perdue pendant la fenêtre (80/80)" test "$(grep -c ' ok$' /tmp/s11.log)" -eq 80
|
||||
NODE
|
||||
|
|
@ -2,35 +2,25 @@ on hv1 <<'NODE'
|
|||
two_image || { echo "ÉCHOUÉ: image compatible two"; exit 0; }
|
||||
KEY=$(vm_key)
|
||||
check "VPC vp-s2" vpc_create vp-s2 10.220.0.0/16
|
||||
check "subnet sn-s2a, default_route absent" subnet_create sn-s2a vp-s2 2201 10.220.1.0/24
|
||||
check "subnet sn-s2b, default_route et gateway 10.220.2.1" subnet_create sn-s2b vp-s2 2202 10.220.2.0/24 ',"default_route":true,"gateway":"10.220.2.1"'
|
||||
check "sn-s2a : gateway calculée 10.220.1.254 et adresse d'émission 10.220.1.253" sh -c "curl -fsS ${API}/subnets/sn-s2a | jq -e '.interface_ip == \"10.220.1.254\" and .relay_ip == \"10.220.1.253\"'"
|
||||
vm_refused () {
|
||||
curl -s -X POST -H 'Content-Type: application/json' "${API}/vms" \
|
||||
-d "{\"name\":\"s2-x\",\"memory\":512,\"cpus\":1,\"interfaces\":[{\"subnet\":\"sn-s2a\",\"ip\":\"${1}\",\"primary\":true}],\"storage\":[{\"path\":\"/nonexistent\",\"dev\":\"vda\"}]}" |
|
||||
grep -q 'reserved by the subnet'
|
||||
}
|
||||
check "VM refusée sur la gateway calculée" vm_refused 10.220.1.254
|
||||
check "VM refusée sur l'adresse d'émission" vm_refused 10.220.1.253
|
||||
check "interface_ip fourni sur un subnet vxlan refusé" sh -c "curl -s -X POST -H 'Content-Type: application/json' -d '{\"name\":\"sn-s2x\",\"vpc\":\"vp-s2\",\"mode\":\"vxlan\",\"vxlan_id\":2203,\"iface_type\":\"vms\",\"interface_ip\":\"10.220.3.1\",\"cidr\":\"10.220.3.0/24\"}' ${API}/subnets | grep -q 'computed for vxlan'"
|
||||
check "subnet sn-s2a, default_route absent" subnet_create sn-s2a vp-s2 2201 10.220.1.1 10.220.1.0/24
|
||||
check "subnet sn-s2b, default_route et gateway 10.220.2.254" subnet_create sn-s2b vp-s2 2202 10.220.2.1 10.220.2.0/24 ',"default_route":true,"gateway":"10.220.2.254"'
|
||||
check "VM s2-a" vm_create s2-a sn-s2a 10.220.1.10 "${KEY}"
|
||||
check "VM s2-b" vm_create s2-b sn-s2b 10.220.2.10 "${KEY}"
|
||||
check "s2-a joignable" vm_wait vp-s2 10.220.1.10
|
||||
check "s2-b joignable" vm_wait vp-s2 10.220.2.10
|
||||
check "sn-s2a : route par défaut via la gateway 10.220.1.254" route_via vp-s2 10.220.1.10 default 10.220.1.254
|
||||
check "sn-s2a : route vers la VPC via la gateway" route_via vp-s2 10.220.1.10 10.220.0.0/16 10.220.1.254
|
||||
check "sn-s2a : route /32 vers les métadonnées via la gateway" route_via vp-s2 10.220.1.10 169.254.169.254 10.220.1.254
|
||||
check "sn-s2b : route par défaut via la gateway explicite 10.220.2.1" route_via vp-s2 10.220.2.10 default 10.220.2.1
|
||||
check "sn-s2b : route vers la VPC via la gateway du subnet, pas via la gateway explicite" route_via vp-s2 10.220.2.10 10.220.0.0/16 10.220.2.254
|
||||
check "sn-s2b : route /32 vers les métadonnées via la gateway du subnet" route_via vp-s2 10.220.2.10 169.254.169.254 10.220.2.254
|
||||
check "sn-s2a : route par défaut via interface_ip 10.220.1.1" route_via vp-s2 10.220.1.10 default 10.220.1.1
|
||||
check "sn-s2a : route vers la VPC via interface_ip" route_via vp-s2 10.220.1.10 10.220.0.0/16 10.220.1.1
|
||||
check "sn-s2a : route /32 vers les métadonnées via interface_ip" route_via vp-s2 10.220.1.10 169.254.169.254 10.220.1.1
|
||||
check "sn-s2b : route par défaut via la gateway 10.220.2.254" route_via vp-s2 10.220.2.10 default 10.220.2.254
|
||||
check "sn-s2b : route vers la VPC via interface_ip, pas via la gateway" route_via vp-s2 10.220.2.10 10.220.0.0/16 10.220.2.1
|
||||
check "sn-s2b : route /32 vers les métadonnées via interface_ip" route_via vp-s2 10.220.2.10 169.254.169.254 10.220.2.1
|
||||
check "suppression de s2-a" vm_delete s2-a
|
||||
check "suppression de sn-s2a" api_delete subnets/sn-s2a
|
||||
check "sn-s2a supprimé" wait_state subnets/sn-s2a deleted
|
||||
check "sn-s2a : plus de macvlan gw-s2a dans le netns" sh -c "! ip -n vp-s2 link show gw-s2a >/dev/null 2>&1"
|
||||
check "sn-s2a recréé" subnet_create sn-s2a vp-s2 2201 10.220.1.0/24
|
||||
check "sn-s2a recréé" subnet_create sn-s2a vp-s2 2201 10.220.1.1 10.220.1.0/24
|
||||
check "VM s2-a2 sur le subnet recréé" vm_create s2-a2 sn-s2a 10.220.1.11 "${KEY}"
|
||||
check "s2-a2 joignable" vm_wait vp-s2 10.220.1.11
|
||||
check "après recréation : route par défaut via la gateway 10.220.1.254" route_via vp-s2 10.220.1.11 default 10.220.1.254
|
||||
check "après recréation : route vers la VPC via la gateway" route_via vp-s2 10.220.1.11 10.220.0.0/16 10.220.1.254
|
||||
check "après recréation : route /32 vers les métadonnées" route_via vp-s2 10.220.1.11 169.254.169.254 10.220.1.254
|
||||
check "après recréation : route par défaut via interface_ip 10.220.1.1" route_via vp-s2 10.220.1.11 default 10.220.1.1
|
||||
check "après recréation : route vers la VPC via interface_ip" route_via vp-s2 10.220.1.11 10.220.0.0/16 10.220.1.1
|
||||
check "après recréation : route /32 vers les métadonnées" route_via vp-s2 10.220.1.11 169.254.169.254 10.220.1.1
|
||||
NODE
|
||||
|
|
|
|||
|
|
@ -3,13 +3,13 @@ two_image || { echo "ÉCHOUÉ: image compatible two"; exit 0; }
|
|||
KEY=$(vm_key)
|
||||
check "VPC vp-s3a" vpc_create vp-s3a 10.230.0.0/16
|
||||
check "VPC vp-s3b" vpc_create vp-s3b 10.231.0.0/16
|
||||
check "subnet sn-s3a" subnet_create sn-s3a vp-s3a 2301 10.230.1.0/24
|
||||
check "subnet sn-s3b" subnet_create sn-s3b vp-s3b 2302 10.231.1.0/24
|
||||
check "subnet sn-s3a" subnet_create sn-s3a vp-s3a 2301 10.230.1.1 10.230.1.0/24
|
||||
check "subnet sn-s3b" subnet_create sn-s3b vp-s3b 2302 10.231.1.1 10.231.1.0/24
|
||||
check "VM s3-x dans vp-s3a" vm_create s3-x sn-s3a 10.230.1.10 "${KEY}"
|
||||
check "VM s3-y dans vp-s3b" vm_create s3-y sn-s3b 10.231.1.10 "${KEY}"
|
||||
check "s3-x joignable depuis sa VPC" vm_wait vp-s3a 10.230.1.10
|
||||
check "s3-y joignable depuis sa VPC (témoin : la cible est vivante)" vm_wait vp-s3b 10.231.1.10
|
||||
check "s3-x joint sa passerelle (témoin)" vm_ssh vp-s3a 10.230.1.10 'ping -c 2 -W 2 10.230.1.254'
|
||||
check "s3-x joint sa passerelle (témoin)" vm_ssh vp-s3a 10.230.1.10 'ping -c 2 -W 2 10.230.1.1'
|
||||
check "s3-x ne joint pas s3-y en ICMP" vm_fails vp-s3a 10.230.1.10 'ping -c 2 -W 2 10.231.1.10'
|
||||
check "s3-x n'ouvre pas de connexion TCP vers s3-y:22" vm_fails vp-s3a 10.230.1.10 'timeout 5 bash -c "</dev/tcp/10.231.1.10/22"'
|
||||
check "s3-y ne joint pas s3-x en ICMP" vm_fails vp-s3b 10.231.1.10 'ping -c 2 -W 2 10.230.1.10'
|
||||
|
|
|
|||
|
|
@ -2,14 +2,14 @@ on hv1 <<'NODE'
|
|||
two_image || { echo "ÉCHOUÉ: image compatible two (hv1)"; exit 0; }
|
||||
KEY=$(vm_key)
|
||||
check "hv1 : VPC vp-s4" vpc_create vp-s4 10.240.0.0/16
|
||||
check "hv1 : subnet sn-s4" subnet_create sn-s4 vp-s4 2401 10.240.1.0/24
|
||||
check "hv1 : subnet sn-s4" subnet_create sn-s4 vp-s4 2401 10.240.1.1 10.240.1.0/24
|
||||
check "hv1 : vxlan-2401 porte l'adresse VTEP locale 192.168.14.11" sh -c "ip -d link show vxlan-2401 | grep -q 'local 192.168.14.11 '"
|
||||
check "hv1 : VM s4-p" vm_create s4-p sn-s4 10.240.1.10 "${KEY}"
|
||||
NODE
|
||||
on hv2 <<'NODE'
|
||||
two_image || { echo "ÉCHOUÉ: image compatible two (hv2)"; exit 0; }
|
||||
check "hv2 : VPC vp-s4" vpc_create vp-s4 10.240.0.0/16
|
||||
check "hv2 : subnet sn-s4" subnet_create sn-s4 vp-s4 2401 10.240.1.0/24
|
||||
check "hv2 : subnet sn-s4" subnet_create sn-s4 vp-s4 2401 10.240.1.1 10.240.1.0/24
|
||||
check "hv2 : vxlan-2401 porte l'adresse VTEP locale 192.168.14.12" sh -c "ip -d link show vxlan-2401 | grep -q 'local 192.168.14.12 '"
|
||||
check "hv2 : VM s4-q" vm_create s4-q sn-s4 10.240.1.11
|
||||
NODE
|
||||
|
|
|
|||
|
|
@ -2,16 +2,16 @@ on hv1 <<'NODE'
|
|||
two_image || { echo "ÉCHOUÉ: image compatible two (hv1)"; exit 0; }
|
||||
KEY=$(vm_key)
|
||||
check "hv1 : VPC vp-s5a" vpc_create vp-s5a 10.245.0.0/16
|
||||
check "hv1 : subnet sn-s5a (VNI 2501)" subnet_create sn-s5a vp-s5a 2501 10.245.1.0/24
|
||||
check "hv1 : subnet sn-s5a (VNI 2501)" subnet_create sn-s5a vp-s5a 2501 10.245.1.1 10.245.1.0/24
|
||||
check "hv1 : VM s5-r dans vp-s5a" vm_create s5-r sn-s5a 10.245.1.10 "${KEY}"
|
||||
NODE
|
||||
on hv2 <<'NODE'
|
||||
two_image || { echo "ÉCHOUÉ: image compatible two (hv2)"; exit 0; }
|
||||
check "hv2 : VPC vp-s5a" vpc_create vp-s5a 10.245.0.0/16
|
||||
check "hv2 : subnet sn-s5a (VNI 2501)" subnet_create sn-s5a vp-s5a 2501 10.245.1.0/24
|
||||
check "hv2 : subnet sn-s5a (VNI 2501)" subnet_create sn-s5a vp-s5a 2501 10.245.1.1 10.245.1.0/24
|
||||
check "hv2 : VM s5-t dans vp-s5a (témoin)" vm_create s5-t sn-s5a 10.245.1.12
|
||||
check "hv2 : VPC vp-s5b, même plage" vpc_create vp-s5b 10.245.0.0/16
|
||||
check "hv2 : subnet sn-s5b (VNI 2502), même plage" subnet_create sn-s5b vp-s5b 2502 10.245.1.0/24
|
||||
check "hv2 : subnet sn-s5b (VNI 2502), même plage" subnet_create sn-s5b vp-s5b 2502 10.245.1.1 10.245.1.0/24
|
||||
check "hv2 : VM s5-s dans vp-s5b" vm_create s5-s sn-s5b 10.245.1.11
|
||||
NODE
|
||||
on hv1 <<'NODE'
|
||||
|
|
|
|||
|
|
@ -3,22 +3,22 @@ two_image || { echo "ÉCHOUÉ: image compatible two (hv1)"; exit 0; }
|
|||
KEY=$(vm_key)
|
||||
check "hv1 : base BGP posée par l'agent et enregistrée dans frr.conf" grep -qx ' neighbor 10.255.255.1 peer-group fabric' /etc/frr/frr.conf
|
||||
check "hv1 : VPC vp-s7, l3vni 2700" vpc_create vp-s7 10.241.0.0/16 2700
|
||||
check "hv1 : subnet sn-s7d (VNI 2711), seulement sur hv1" subnet_create sn-s7d vp-s7 2711 10.241.1.0/24
|
||||
check "hv1 : subnet sn-s7d (VNI 2711), seulement sur hv1" subnet_create sn-s7d vp-s7 2711 10.241.1.1 10.241.1.0/24
|
||||
check "hv1 : VM s7-a" vm_create s7-a sn-s7d 10.241.1.10 "${KEY}"
|
||||
NODE
|
||||
on hv2 <<'NODE'
|
||||
two_image || { echo "ÉCHOUÉ: image compatible two (hv2)"; exit 0; }
|
||||
check "hv2 : VPC vp-s7, l3vni 2700" vpc_create vp-s7 10.241.0.0/16 2700
|
||||
check "hv2 : subnet sn-s7e (VNI 2712), seulement sur hv2" subnet_create sn-s7e vp-s7 2712 10.241.2.0/24
|
||||
check "hv2 : subnet sn-s7e (VNI 2712), seulement sur hv2" subnet_create sn-s7e vp-s7 2712 10.241.2.1 10.241.2.0/24
|
||||
check "hv2 : VM s7-b" vm_create s7-b sn-s7e 10.241.2.10
|
||||
check "hv2 : VPC vp-s7b, même plage, l3vni 2701" vpc_create vp-s7b 10.241.0.0/16 2701
|
||||
check "hv2 : subnet sn-s7x (VNI 2713), même plage que sn-s7e" subnet_create sn-s7x vp-s7b 2713 10.241.2.0/24
|
||||
check "hv2 : subnet sn-s7x (VNI 2713), même plage que sn-s7e" subnet_create sn-s7x vp-s7b 2713 10.241.2.1 10.241.2.0/24
|
||||
check "hv2 : VM s7-x dans vp-s7b" vm_create s7-x sn-s7x 10.241.2.20
|
||||
check "hv2 : l3vni 2700 déjà prise par vp-s7, refusée (409)" test "$(curl -s -o /dev/null -w '%{http_code}' -X POST -H 'Content-Type: application/json' -d '{"name":"vp-s7c","cidr":"10.249.0.0/16","l3vni":2700}' "${API}/vpcs")" = 409
|
||||
NODE
|
||||
on hv1 <<'NODE'
|
||||
check "s7-a joignable" vm_wait vp-s7 10.241.1.10
|
||||
check "s7-a : route vers la VPC 10.241.0.0/16 via la gateway (DHCP)" route_via vp-s7 10.241.1.10 10.241.0.0/16 10.241.1.254
|
||||
check "s7-a : route vers la VPC 10.241.0.0/16 via interface_ip (DHCP)" route_via vp-s7 10.241.1.10 10.241.0.0/16 10.241.1.1
|
||||
check "hv1 : vrf-s7 contient exactement brl3-s7 et l3-s7-o" sh -c "[ \"\$1\" = 'brl3-s7 l3-s7-o' ]" _ "$(vrf_members vp-s7)"
|
||||
check "hv1 : brl3-s7 sans adresse IPv4" sh -c "! ip -4 -o addr show dev brl3-s7 | grep -q inet"
|
||||
check "hv1 : RMAC de brl3-s7 dérivée du VTEP 192.168.14.11" sh -c "ip -o link show brl3-s7 | grep -q 'link/ether 02:02:c0:a8:0e:0b '"
|
||||
|
|
@ -51,7 +51,7 @@ for i in $(seq 1 24); do vm_ssh vp-s7 10.241.1.10 'ping -c 1 -W 2 10.241.2.10' >
|
|||
check "s7-a (sn-s7d, hv1) joint s7-b (sn-s7e, hv2) par le L3VNI, forwarding par interface" vm_ssh vp-s7 10.241.1.10 'ping -c 3 -W 2 10.241.2.10'
|
||||
check "trame pleine taille : 1472 octets en -M do" vm_ssh vp-s7 10.241.1.10 'ping -M do -s 1472 -c 2 -W 2 10.241.2.10'
|
||||
check "1473 octets refusés localement (MTU 1500)" vm_grep vp-s7 10.241.1.10 'ping -M do -s 1473 -c 1 -W 2 10.241.2.10' 'message too long'
|
||||
check "TTL 1 : expire à la gateway du subnet, netns de hv1 (10.241.1.254)" vm_grep vp-s7 10.241.1.10 'ping -n -c 3 -i 1.2 -W 2 -t 1 10.241.2.10' 'From 10.241.1.254 .*exceeded'
|
||||
check "TTL 1 : expire à la gateway du subnet, netns de hv1 (10.241.1.1)" vm_grep vp-s7 10.241.1.10 'ping -n -c 3 -i 1.2 -W 2 -t 1 10.241.2.10' 'From 10.241.1.1 .*exceeded'
|
||||
check "TTL 2 : expire dans la VRF de hv1 (169.254.0.1)" vm_grep vp-s7 10.241.1.10 'ping -n -c 3 -i 1.2 -W 2 -t 2 10.241.2.10' 'From 169.254.0.1 .*exceeded'
|
||||
check "TTL 5 : atteint s7-b — quatre routeurs : gateway hv1, VRF hv1, VRF hv2, netns hv2" vm_ssh vp-s7 10.241.1.10 'ping -n -c 1 -W 2 -t 5 10.241.2.10'
|
||||
check "hv1 : vrf-s7 n'importe pas 10.241.2.20/32 de vp-s7b (RT 64600:2701)" sh -c "[ -z \"\$(ip -4 route show vrf vrf-s7 10.241.2.20)\" ]"
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
on hv1 <<'NODE'
|
||||
two_image || { echo "ÉCHOUÉ: image compatible two (hv1)"; exit 0; }
|
||||
check "hv1 : VPC vp-s8, l3vni 2800" vpc_create vp-s8 10.242.0.0/16 2800
|
||||
check "hv1 : subnet sn-s8s (VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.0/24
|
||||
check "hv1 : subnet sn-s8s (VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.1 10.242.1.0/24
|
||||
check "hv1 : VM s8-m1 10.242.1.50" vm_create s8-m1 sn-s8s 10.242.1.50
|
||||
check "hv1 : s8-m1 répond depuis son netns" netns_ping_wait vp-s8 10.242.1.50
|
||||
check "hv1 : /24 et /32 exportés par l'agent" sh -c "ip -4 route show vrf vrf-s8 | grep -q '^10.242.1.0/24 via 169.254.0.2' && ip -4 route show vrf vrf-s8 | grep -q '^10.242.1.50 via 169.254.0.2'"
|
||||
|
|
@ -15,7 +15,7 @@ on hv3 <<'NODE'
|
|||
two_image || { echo "ÉCHOUÉ: image compatible two (hv3)"; exit 0; }
|
||||
KEY=$(vm_key)
|
||||
check "hv3 : VPC vp-s8, l3vni 2800" vpc_create vp-s8 10.242.0.0/16 2800
|
||||
check "hv3 : subnet sn-s8t (VNI 2812), seulement sur hv3" subnet_create sn-s8t vp-s8 2812 10.242.2.0/24
|
||||
check "hv3 : subnet sn-s8t (VNI 2812), seulement sur hv3" subnet_create sn-s8t vp-s8 2812 10.242.2.1 10.242.2.0/24
|
||||
check "hv3 : VM observatrice s8-o 10.242.2.10" vm_create s8-o sn-s8t 10.242.2.10 "${KEY}"
|
||||
check "s8-o joignable" vm_wait vp-s8 10.242.2.10
|
||||
check "hv3 : aucun VXLAN de sn-s8s sur l'observateur" sh -c "! ip link show vxlan-2811 >/dev/null 2>&1"
|
||||
|
|
@ -33,7 +33,7 @@ check "hv3 : plus aucun /32 pour 10.242.1.50" wait_vrf_nexthops vp-s8 10.242.1.5
|
|||
check "hv3 : le /24 de sn-s8s reste annoncé par hv1 (filet)" wait_vrf_nexthops vp-s8 10.242.1.0/24 192.168.14.11
|
||||
NODE
|
||||
on hv2 <<'NODE'
|
||||
check "migration simple, 2 — sn-s8s créé sur hv2 (même VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.0/24
|
||||
check "migration simple, 2 — sn-s8s créé sur hv2 (même VNI 2811)" subnet_create sn-s8s vp-s8 2811 10.242.1.1 10.242.1.0/24
|
||||
check "migration simple, 3 — VM s8-m2 10.242.1.50 sur hv2" vm_create s8-m2 sn-s8s 10.242.1.50
|
||||
check "hv2 : s8-m2 répond depuis son netns" netns_ping_wait vp-s8 10.242.1.50
|
||||
NODE
|
||||
|
|
@ -52,16 +52,10 @@ check "orchestrée, 2 — VM s8-m3 10.242.1.50 sur hv1 pendant que s8-m2 tourne
|
|||
check "hv1 : s8-m3 répond depuis son netns" netns_ping_wait vp-s8 10.242.1.50
|
||||
NODE
|
||||
on rr1 <<'NODE'
|
||||
MAC=$(anycast_mac 2811)
|
||||
R=$(vtysh -c 'show bgp l2vpn evpn route type macip')
|
||||
check "rr1 : routes EVPN de type 2 reçues (témoin)" sh -c 'echo "$1" | grep -q "\[2\]:"' _ "${R}"
|
||||
check "rr1 : aucune route de type 2 pour la MAC anycast de sn-s8s (${MAC}), présente sur hv1 et hv2" sh -c '! echo "$1" | grep -qi "$2"' _ "${R}" "${MAC}"
|
||||
check "rr1 : MAC de gateway de sn-s8s propre à chaque hôte, hv1 (02:03:c0:a8:0e:0b) et hv2 (02:03:c0:a8:0e:0c)" sh -c "r=\$(vtysh -c 'show bgp l2vpn evpn route type macip'); echo \"\$r\" | grep -qi '02:03:c0:a8:0e:0b' && echo \"\$r\" | grep -qi '02:03:c0:a8:0e:0c'"
|
||||
NODE
|
||||
on hv1 <<'NODE'
|
||||
MAC=$(anycast_mac 2811)
|
||||
check "hv1 : aucune MAC en double sur la VNI 2811" sh -c "! vtysh -c 'show evpn mac vni 2811 duplicate' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'"
|
||||
check "hv1 : table EVPN de la VNI 2811 non vide (témoin)" sh -c "vtysh -c 'show evpn mac vni 2811' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'"
|
||||
check "hv1 : MAC anycast ${MAC} absente de la table EVPN de la VNI 2811" sh -c '! vtysh -c "show evpn mac vni 2811" | grep -qi "$1"' _ "${MAC}"
|
||||
NODE
|
||||
on hv3 <<'NODE'
|
||||
for i in $(seq 1 30); do [ "$(bgp_paths vp-s8 10.242.1.50/32)" -ge 2 ] && break; sleep 2; done
|
||||
|
|
|
|||
|
|
@ -4,13 +4,13 @@ two_image || { echo "ÉCHOUÉ: image compatible two (${HOST})"; exit 0; }
|
|||
KEY=$(vm_key)
|
||||
case "${HOST}" in hv2) n=1 ;; hv3) n=2 ;; esac
|
||||
check "${HOST} : VPC vp-s9r, l3vni 2900" vpc_create vp-s9r 10.250.0.0/16 2900
|
||||
check "${HOST} : subnet sn-s9r1 (VNI 2911)" subnet_create sn-s9r1 vp-s9r 2911 10.250.1.0/24
|
||||
check "${HOST} : subnet sn-s9r2 (VNI 2912)" subnet_create sn-s9r2 vp-s9r 2912 10.250.2.0/24
|
||||
check "${HOST} : subnet sn-s9r1 (VNI 2911)" subnet_create sn-s9r1 vp-s9r 2911 10.250.1.1 10.250.1.0/24
|
||||
check "${HOST} : subnet sn-s9r2 (VNI 2912)" subnet_create sn-s9r2 vp-s9r 2912 10.250.2.1 10.250.2.0/24
|
||||
check "${HOST} : VM s9-r1-${n} 10.250.1.1${n}" vm_create "s9-r1-${n}" sn-s9r1 "10.250.1.1${n}" "${KEY}"
|
||||
check "${HOST} : VM s9-r2-${n} 10.250.2.1${n}" vm_create "s9-r2-${n}" sn-s9r2 "10.250.2.1${n}" "${KEY}"
|
||||
check "${HOST} : VPC vp-s9n, sans l3vni" vpc_create vp-s9n 10.251.0.0/16
|
||||
check "${HOST} : subnet sn-s9n1 (VNI 2921)" subnet_create sn-s9n1 vp-s9n 2921 10.251.1.0/24
|
||||
check "${HOST} : subnet sn-s9n2 (VNI 2922)" subnet_create sn-s9n2 vp-s9n 2922 10.251.2.0/24
|
||||
check "${HOST} : subnet sn-s9n1 (VNI 2921)" subnet_create sn-s9n1 vp-s9n 2921 10.251.1.1 10.251.1.0/24
|
||||
check "${HOST} : subnet sn-s9n2 (VNI 2922)" subnet_create sn-s9n2 vp-s9n 2922 10.251.2.1 10.251.2.0/24
|
||||
check "${HOST} : VM s9-n1-${n} 10.251.1.1${n}" vm_create "s9-n1-${n}" sn-s9n1 "10.251.1.1${n}" "${KEY}"
|
||||
check "${HOST} : VM s9-n2-${n} 10.251.2.1${n}" vm_create "s9-n2-${n}" sn-s9n2 "10.251.2.1${n}" "${KEY}"
|
||||
NODE
|
||||
|
|
@ -18,17 +18,15 @@ done
|
|||
|
||||
for host in hv2 hv3; do
|
||||
on "${host}" "HOST=${host}" <<'NODE'
|
||||
case "${HOST}" in hv2) n=1 ;; hv3) n=2 ;; esac
|
||||
case "${HOST}" in hv2) n=1; mac=02:03:c0:a8:0e:0c ;; hv3) n=2; mac=02:03:c0:a8:0e:0d ;; esac
|
||||
for v in r n; do
|
||||
vpc="vp-s9${v}"
|
||||
net="10.25$([ "${v}" = r ] && echo 0 || echo 1)"
|
||||
for s in 1 2; do
|
||||
src="${net}.${s}.1${n}"
|
||||
gw="${net}.${s}.254"
|
||||
mac=$(anycast_mac "29$([ "${v}" = r ] && echo 1 || echo 2)${s}")
|
||||
check "${HOST} : ${src} joignable" vm_wait "${vpc}" "${src}"
|
||||
check "${HOST} : ${src} joint sa gateway ${gw}" vm_ssh "${vpc}" "${src}" "ping -n -c 2 -W 2 ${gw}"
|
||||
check "${HOST} : ${src} voit la MAC anycast de la gateway (${mac})" vm_grep "${vpc}" "${src}" "ip neigh show ${gw}" "lladdr ${mac} "
|
||||
check "${HOST} : ${src} joint sa gateway ${net}.${s}.1" vm_ssh "${vpc}" "${src}" "ping -n -c 2 -W 2 ${net}.${s}.1"
|
||||
check "${HOST} : ${src} voit la MAC de gateway de son hôte (${mac})" vm_grep "${vpc}" "${src}" "ip neigh show ${net}.${s}.1" "lladdr ${mac} "
|
||||
for d in 1 2; do
|
||||
for m in 1 2; do
|
||||
dst="${net}.${d}.1${m}"
|
||||
|
|
@ -42,7 +40,6 @@ for v in r n; do
|
|||
done
|
||||
for vni in 2911 2912 2921 2922; do
|
||||
check "${HOST} : aucune MAC en double sur la VNI ${vni}" sh -c "! vtysh -c 'show evpn mac vni ${vni} duplicate' | grep -qiE '([0-9a-f]{2}:){5}[0-9a-f]{2}'"
|
||||
check "${HOST} : MAC anycast $(anycast_mac "${vni}") absente de la table EVPN de la VNI ${vni}" sh -c '! vtysh -c "show evpn mac vni $1" | grep -qi "$2"' _ "${vni}" "$(anycast_mac "${vni}")"
|
||||
done
|
||||
NODE
|
||||
done
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue