VM route reflector#

Le route reflector est le point de rendez-vous du plan de contrôle : plutôt que de maintenir une session entre chaque paire d’hyperviseurs, chaque hyperviseur ouvre une session vers le route reflector, qui redistribue. Un cluster en compte au moins un ; l’architecture et les exemples de cette page en prévoient deux (rr1 et rr2, d’où les plages d’adresses ci-dessous), configurés à l’identique hormis leurs adresses : chaque hyperviseur ouvre une session vers chacun, et la perte de l’un n’interrompt pas le plan de contrôle (#54, fermé).

Il tourne lui-même en machine virtuelle, ce qui crée une dépendance circulaire à traiter explicitement : la VM qui porte le plan de contrôle du cluster est hébergée par le cluster.

Adressage#

Chaque route reflector est sur le même segment L2 que les hyperviseurs, avec trois adresses :

Adresse

Interface

Rôle

une adresse de 192.168.14.0/24

interface principale

celle de n’importe quelle machine du segment ; les réponses aux hyperviseurs en partent

169.254.0.3/28 (rr1), 169.254.0.4/28 (rr2)

interface principale, adresse secondaire

le lien avec les routeurs de cluster (169.254.0.1 et .2), sur le même L2

10.255.255.1/32 (rr1), 10.255.255.2/32 (rr2)

lo1, interface dummy

router-id, cluster-id et source des sessions EVPN ; seule route annoncée aux routeurs

Les hyperviseurs ne connaissent que les loopbacks : ils ouvrent leurs sessions vers 10.255.255.1 et 10.255.255.2 par leur passerelle (192.168.14.1), les routeurs les ayant apprises des route reflectors en eBGP. Aucune adresse d’hyperviseur n’est déclarée côté route reflector : il accepte toute session venant du segment (bgp listen range).

L’adresse du lien est une adresse secondaire de l’interface principale, pas une interface à part : même L2, même MAC sur le fil, une interface de moins qu’avec un ipvlan. Elle doit survivre aux renouvellements DHCP de l’adresse principale : la déclarer dans la configuration réseau du système, pas la poser à la main.

Note

Non vérifié sur l’image de production. Avec NetworkManager, la forme attendue est :

nmcli connection modify <connexion> +ipv4.addresses 169.254.0.3/28
nmcli connection add type dummy ifname lo1 con-name lo1 \
    ipv4.method manual ipv4.addresses 10.255.255.1/32 ipv6.method disabled

Ces commandes restent à valider sur l’image golden.

Configuration de FRR#

bgpd et bfdd activés dans /etc/frr/daemons.

frr defaults traditional
hostname rr1
log syslog informational
!
ip prefix-list RR-LOOPBACK-OUT seq 10 permit 10.255.255.1/32
!
route-map NO-IN deny 999
 description deny
exit
!
router bgp 65000
 no bgp default ipv4-unicast
 bgp router-id 10.255.255.1
 bgp cluster-id 10.255.255.1
 neighbor CLUSTER peer-group
 neighbor CLUSTER remote-as 65100
 neighbor CLUSTER bfd
 neighbor 169.254.0.1 peer-group CLUSTER
 neighbor 169.254.0.1 description router-1
 neighbor 169.254.0.2 peer-group CLUSTER
 neighbor 169.254.0.2 description router-2
 neighbor fabric peer-group
 neighbor fabric remote-as 64600
 neighbor fabric local-as 64600 no-prepend replace-as
 neighbor fabric capability extended-nexthop
 neighbor fabric update-source 10.255.255.1
 bgp listen range 192.168.14.0/24 peer-group fabric
 bgp listen limit 200
 !
 address-family ipv4 unicast
  network 10.255.255.1/32
  neighbor CLUSTER activate
  neighbor CLUSTER prefix-list RR-LOOPBACK-OUT out
  neighbor CLUSTER route-map NO-IN in
 exit-address-family
 !
 address-family l2vpn evpn
  neighbor fabric activate
  neighbor fabric route-reflector-client
 exit-address-family
 !
exit
!

Celle de rr2 (test/e2e/topologies/frr/rr2.conf) ne diffère que par hostname et l’adresse de sa loopback, partout où elle apparaît : router-id, cluster-id, update-source, network et RR-LOOPBACK-OUT.

Ce qu’elle établit :

  • Routeurs de cluster (groupe CLUSTER) : eBGP vers l’AS 65100, avec BFD, en IPv4 unicast. Le route reflector n’annonce que sa loopback (RR-LOOPBACK-OUT) et n’accepte rien (NO-IN) : il ne reçoit aucune route des routeurs.

  • Hyperviseurs (groupe fabric) : voisins dynamiques, toute session venant de 192.168.14.0/24 étant acceptée, jusqu’à 200. local-as 64600 no-prepend replace-as fait que, du point de vue des hyperviseurs, la session est en iBGP dans l’AS 64600 — celui de leur configuration — alors que le route reflector est en AS 65000 face aux routeurs.

  • EVPN : seule famille activée vers les hyperviseurs, qui sont ses clients (route-reflector-client) : il réfléchit les routes EVPN de chacun vers tous les autres.

  • Un cluster-id propre à chaque route reflector (sa loopback), et aucune session entre eux : chaque hyperviseur étant client des deux, chacun reçoit chaque route en double, une fois par route reflector ; si l’un tombe, les routes reçues de l’autre restent en place.

Avertissement

Les tunnels ne survivent pas à la perte de tous les route reflectors. Sans graceful-restart, quand plus aucun route reflector ne répond, les sessions EVPN des hyperviseurs tombent, FRR retire les routes apprises et, avec elles, le VTEP distant et l’entrée d’inondation du VXLAN : plus aucun paquet ne passe entre hyperviseurs, jusqu’au retour d’un route reflector et à la reconvergence des sessions. Le trafic entre VM d’un même hyperviseur n’est pas concerné. Avec deux route reflectors, la perte de l’un est sans effet sur le trafic, à condition qu’ils ne tombent jamais ensemble : jamais deux route reflectors sur le même hyperviseur. Les mesures du lab sont dans Lab de test multi-nœud.

Note

À rédiger. Reste à documenter :

  • la création de la VM : ressources, subnet et mode utilisés (bridge, pour pouvoir la lancer sur n’importe quel hyperviseur), et s’il s’agit d’une VM créée par l’agent comme les autres ou d’un cas particulier — l’image, elle, est l’image golden de Construction de l’image qcow2 ;

  • le placement des deux VM : jamais sur le même hyperviseur, et de préférence pas sur un hyperviseur dont la perte isolerait l’autre ;

  • la procédure de reconstruction — l’état du cluster pendant l’absence de tous les route reflectors est décrit ci-dessus : plus de trafic entre hyperviseurs ;

  • la procédure d’amorçage : ce qui fonctionne, et dans quel ordre, quand on démarre un cluster entier depuis zéro — le premier hyperviseur n’a pas de session FRR établie tant que cette VM n’existe pas, cf. Premier hyperviseur.

Points de vigilance#

Avertissement

L’agent ne réattache pas les VM existantes à son démarrage, et les processus QEMU ne survivent pas à un redémarrage de l’hyperviseur. Le redémarrage de l’hyperviseur qui héberge le route reflector est donc un événement à part entière : la procédure de remise en service doit être écrite, et testée.

Avertissement

instance-id valant le nom de la VM, recréer la VM route reflector sous le même nom sur le même disque fait que cloud-init ne rejoue pas le user-data. Cf. Metadata et cloud-init.