VM route reflector ================== Le route reflector est le point de rendez-vous du plan de contrôle : plutôt que de maintenir une session entre chaque paire d'hyperviseurs, chaque hyperviseur ouvre une session vers le route reflector, qui redistribue. Un cluster en compte **au moins un** ; l'architecture et les exemples de cette page en prévoient **deux** (rr1 et rr2, d'où les plages d'adresses ci-dessous), configurés à l'identique hormis leurs adresses : chaque hyperviseur ouvre une session vers chacun, et la perte de l'un n'interrompt pas le plan de contrôle (`#54 `_, fermé). Il tourne lui-même en machine virtuelle, ce qui crée une dépendance circulaire à traiter explicitement : la VM qui porte le plan de contrôle du cluster est hébergée par le cluster. Adressage --------- Chaque route reflector est **sur le même segment L2 que les hyperviseurs**, avec trois adresses : .. list-table:: :header-rows: 1 :widths: 30 25 45 * - Adresse - Interface - Rôle * - une adresse de ``192.168.14.0/24`` - interface principale - celle de n'importe quelle machine du segment ; les réponses aux hyperviseurs en partent * - ``169.254.0.3/28`` (rr1), ``169.254.0.4/28`` (rr2) - interface principale, **adresse secondaire** - le lien avec les routeurs de cluster (``169.254.0.1`` et ``.2``), sur le même L2 * - ``10.255.255.1/32`` (rr1), ``10.255.255.2/32`` (rr2) - ``lo1``, interface ``dummy`` - ``router-id``, ``cluster-id`` et source des sessions EVPN ; seule route annoncée aux routeurs Les hyperviseurs ne connaissent que les loopbacks : ils ouvrent leurs sessions vers ``10.255.255.1`` et ``10.255.255.2`` par leur passerelle (``192.168.14.1``), les routeurs les ayant apprises des route reflectors en eBGP. Aucune adresse d'hyperviseur n'est déclarée côté route reflector : il accepte toute session venant du segment (``bgp listen range``). L'adresse du lien est une **adresse secondaire** de l'interface principale, pas une interface à part : même L2, même MAC sur le fil, une interface de moins qu'avec un ``ipvlan``. Elle doit survivre aux renouvellements DHCP de l'adresse principale : la déclarer dans la configuration réseau du système, pas la poser à la main. .. note:: **Non vérifié sur l'image de production.** Avec NetworkManager, la forme attendue est : .. code-block:: bash nmcli connection modify +ipv4.addresses 169.254.0.3/28 nmcli connection add type dummy ifname lo1 con-name lo1 \ ipv4.method manual ipv4.addresses 10.255.255.1/32 ipv6.method disabled Ces commandes restent à valider sur l'image golden. Configuration de FRR -------------------- ``bgpd`` et ``bfdd`` activés dans ``/etc/frr/daemons``. .. literalinclude:: ../../test/e2e/topologies/frr/rr1.conf :language: text Celle de rr2 (``test/e2e/topologies/frr/rr2.conf``) ne diffère que par ``hostname`` et l'adresse de sa loopback, partout où elle apparaît : ``router-id``, ``cluster-id``, ``update-source``, ``network`` et ``RR-LOOPBACK-OUT``. Ce qu'elle établit : * **Routeurs de cluster** (groupe ``CLUSTER``) : eBGP vers l'AS 65100, avec BFD, en IPv4 unicast. Le route reflector n'annonce que sa loopback (``RR-LOOPBACK-OUT``) et **n'accepte rien** (``NO-IN``) : il ne reçoit aucune route des routeurs. * **Hyperviseurs** (groupe ``fabric``) : voisins dynamiques, toute session venant de ``192.168.14.0/24`` étant acceptée, jusqu'à 200. ``local-as 64600 no-prepend replace-as`` fait que, du point de vue des hyperviseurs, la session est en iBGP dans l'AS 64600 — celui de leur configuration — alors que le route reflector est en AS 65000 face aux routeurs. * **EVPN** : seule famille activée vers les hyperviseurs, qui sont ses clients (``route-reflector-client``) : il réfléchit les routes EVPN de chacun vers tous les autres. * **Un** ``cluster-id`` **propre à chaque route reflector** (sa loopback), et aucune session entre eux : chaque hyperviseur étant client des deux, chacun reçoit chaque route en double, une fois par route reflector ; si l'un tombe, les routes reçues de l'autre restent en place. .. warning:: **Les tunnels ne survivent pas à la perte de tous les route reflectors.** Sans ``graceful-restart``, quand plus aucun route reflector ne répond, les sessions EVPN des hyperviseurs tombent, FRR retire les routes apprises et, avec elles, le VTEP distant et l'entrée d'inondation du VXLAN : **plus aucun paquet ne passe** entre hyperviseurs, jusqu'au retour d'un route reflector et à la reconvergence des sessions. Le trafic entre VM d'un même hyperviseur n'est pas concerné. Avec deux route reflectors, la perte de l'un est sans effet sur le trafic, à condition qu'ils ne tombent jamais ensemble : **jamais deux route reflectors sur le même hyperviseur**. Les mesures du lab sont dans :doc:`/developpement/lab`. .. note:: **À rédiger.** Reste à documenter : * la création de la VM : ressources, subnet et mode utilisés (``bridge``, pour pouvoir la lancer sur n'importe quel hyperviseur), et s'il s'agit d'une VM créée par l'agent comme les autres ou d'un cas particulier — l'image, elle, est l'image golden de :doc:`image-qcow2` ; * le placement des deux VM : jamais sur le même hyperviseur, et de préférence pas sur un hyperviseur dont la perte isolerait l'autre ; * la procédure de reconstruction — l'état du cluster pendant l'absence de tous les route reflectors est décrit ci-dessus : plus de trafic entre hyperviseurs ; * la procédure d'amorçage : ce qui fonctionne, et dans quel ordre, quand on démarre un cluster entier depuis zéro — le premier hyperviseur n'a pas de session FRR établie tant que cette VM n'existe pas, cf. :doc:`premier-hyperviseur`. Points de vigilance ------------------- .. warning:: L'agent **ne réattache pas** les VM existantes à son démarrage, et les processus QEMU ne survivent pas à un redémarrage de l'hyperviseur. Le redémarrage de l'hyperviseur qui héberge le route reflector est donc un événement à part entière : la procédure de remise en service doit être écrite, et testée. .. warning:: ``instance-id`` valant le nom de la VM, recréer la VM route reflector sous le même nom sur le même disque fait que cloud-init **ne rejoue pas** le user-data. Cf. :doc:`/concepts/metadata-cloud-init`.