This commit is contained in:
forgejo-actions 2026-10-24 14:45:23 +00:00
commit b20e16ee62
28 changed files with 289 additions and 180 deletions

View file

@ -382,9 +382,9 @@
élément à venir, avec son ticket.</span><a class="headerlink" href="#id5" title="Lien vers cette image">#</a></p>
</figcaption>
</figure>
<p>Plusieurs clusters, chacun avec son underlay, ses deux routeurs et un route reflector, sont reliés
en eBGP entre eux et aux <strong>routeurs de bordure</strong>. Ce qui n’existe pas encore est décrit sur son
ticket :</p>
<p>Plusieurs clusters, chacun avec son underlay et ses deux routeurs, sont reliés en eBGP entre eux
et aux <strong>routeurs de bordure</strong> ; les route reflectors sont décrits plus bas. Ce qui n’existe pas
encore est décrit sur son ticket :</p>
<ul class="simple">
<li><p><strong>Internet</strong> (<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/31">#31</a>,
<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/42">#42</a>). Les bordures partagent avec les hyperviseurs
@ -400,11 +400,17 @@ par défaut de type 5, si le VPC autorise Internet.</p></li>
</li>
<li><p><strong>Orchestration</strong> (<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/72">#72</a>). Le broker et
l’orchestrateur sont des VM du VNI 66000, partagé entre clusters. Les agents s’y connectent
<strong>en sortie</strong>, par leur passerelle ; les routeurs de chaque cluster les NAT vers le VNI 66000.
<strong>en sortie</strong>, par leur passerelle ; les routeurs de chaque cluster les traduisent (NAT) vers le
VNI 66000.
L’orchestrateur a aussi une patte dans le VNI 66001 : son API est joignable depuis Internet.</p></li>
<li><p><strong>Route reflectors.</strong> Un par cluster, pour qu’un incident sur un cluster ne coupe pas les deux
sessions EVPN. Chaque lien entre routeurs et route reflector est en <code class="docutils literal notranslate"><span class="pre">169.254.0.0/28</span></code>, propre
à son cluster.</p></li>
<li><p><strong>Route reflectors.</strong> Au moins un ; deux sont prévus dans l’architecture et dans les exemples
(plages d’adresses de <a class="reference internal" href="route-reflector.html"><span class="doc">VM route reflector</span></a>), placés ici dans deux clusters différents pour
qu’un incident sur un cluster ne coupe pas les deux sessions EVPN. Chaque lien entre routeurs
et route reflector est en <code class="docutils literal notranslate"><span class="pre">169.254.0.0/28</span></code>, propre à son cluster. Le <code class="docutils literal notranslate"><span class="pre">bgp</span> <span class="pre">listen</span> <span class="pre">range</span></code> de
chaque route reflector doit alors couvrir l’underlay de <strong>tous</strong> les clusters qu’il sert —
l’exemple <code class="docutils literal notranslate"><span class="pre">rr1.conf</span></code> n’accepte que <code class="docutils literal notranslate"><span class="pre">192.168.14.0/24</span></code>.</p></li>
<li><p><strong>ASN.</strong> Les routeurs de deux clusters étant voisins eBGP, chaque cluster a son propre ASN de
routeurs : l’AS 65100 des exemples est la valeur d”<strong>un</strong> cluster.</p></li>
</ul>
<p>Le lab (<a class="reference internal" href="../developpement/lab.html"><span class="doc">Lab de test multi-nœud</span></a>) simplifie : un seul cluster, qui porte les deux route
reflectors.</p>
@ -432,7 +438,7 @@ violets : plan de contrôle (sessions BGP). Pointillé gris : créé par l’age
<dt>Plan de données</dt><dd><p>les tunnels VXLAN entre hyperviseurs, encapsulés sur le réseau qui les relie.</p>
</dd>
<dt>Plan de contrôle</dt><dd><p>ce qui dit à chaque hyperviseur où se trouvent les adresses MAC des autres. C’est le rôle de
FRR et du route reflector.</p>
FRR et des route reflectors.</p>
</dd>
</dl>
</section>
@ -463,8 +469,8 @@ qu’un composant externe n’a pas peuplé la table de transfert (FDB) du VXLAN
isolé le trafic reste sur le bridge local et cette absence ne se voit pas ; elle apparaît dès
le deuxième nœud.</p>
</div>
<p>C’est exactement le rôle que remplissent FRR sur chaque hyperviseur et le route reflector qui
les fait converger.</p>
<p>C’est exactement le rôle que remplissent FRR sur chaque hyperviseur et les route reflectors qui
les font converger.</p>
</section>
<section id="mtu">
<h2>MTU<a class="headerlink" href="#mtu" title="Lien vers cette rubrique">#</a></h2>

View file

@ -1082,6 +1082,21 @@ toutes les interfaces <code class="docutils literal notranslate"><span class="pr
négative sert à laisser la première interface au profil écrit par cloud-init. Le fichier est en <code class="docutils literal notranslate"><span class="pre">0600</span></code>,
comme les profils de NetworkManager. Vérifié sous Rocky 10.2 : la seconde interface obtient
son bail au premier démarrage et après redémarrage (<code class="docutils literal notranslate"><span class="pre">nmcli</span></code> : connexion <code class="docutils literal notranslate"><span class="pre">two-all-en</span></code>).</p>
<p><strong>Réappliquer le network-config à chaque démarrage</strong></p>
<div class="highlight-bash notranslate"><div class="highlight"><pre><span></span>cat<span class="w"> </span><span class="s">&lt;&lt; 'ENDFILE' &gt; /mnt/etc/cloud/cloud.cfg.d/98_network_updates.cfg</span>
<span class="s">updates:</span>
<span class="s"> network:</span>
<span class="s"> when: [boot-new-instance, boot, boot-legacy]</span>
<span class="s">ENDFILE</span>
</pre></div>
</div>
<p>La source de metadata n’étant trouvée qu’à l’étape réseau de cloud-init, l’étape locale
applique à chaque démarrage une configuration de repli limitée à la première interface. Au
redémarrage, l’étape réseau émet l’événement <code class="docutils literal notranslate"><span class="pre">boot-legacy</span></code>, refusé par défaut : ce réglage
l’autorise, et cloud-init réapplique alors le <code class="docutils literal notranslate"><span class="pre">network-config</span></code> servi par l’agent, qui vise
chaque interface par sa MAC. Le <code class="docutils literal notranslate"><span class="pre">user_data</span></code> n’est pas rejoué. Sans effet sur un cloud-init
qui ne lit pas le <code class="docutils literal notranslate"><span class="pre">network-config</span></code> (22.4, Debian 12) : la règle de DHCP ci-dessus reste
nécessaire.</p>
<p><strong>Noms stables des disques additionnels</strong></p>
<div class="highlight-bash notranslate"><div class="highlight"><pre><span></span>cat<span class="w"> </span><span class="s">&lt;&lt; 'ENDFILE' &gt; /mnt/etc/udev/rules.d/90-two-xvd.rules</span>
<span class="s">SUBSYSTEM=="block", ENV{DEVTYPE}=="disk", ENV{ID_SERIAL_SHORT}=="xvd[a-z]", SYMLINK+="$env{ID_SERIAL_SHORT}"</span>

View file

@ -361,7 +361,7 @@ même nœud. Cette section couvre la mise en place d’un <strong>cluster</stron
étapes se font.</p>
<p>Cet ordre n’est pas indifférent : chaque étape a besoin de la précédente. L’image doit exister
avant qu’on puisse démarrer quoi que ce soit ; le réseau doit être en place avant le premier
hyperviseur ; le route reflector est lui-même une VM, il lui faut donc un hyperviseur qui
hyperviseur ; chaque route reflector est lui-même une VM, il lui faut donc un hyperviseur qui
fonctionne.</p>
<section id="etapes">
<h2>Étapes<a class="headerlink" href="#etapes" title="Lien vers cette rubrique">#</a></h2>

View file

@ -414,13 +414,13 @@ exit
<p>Avec une section <code class="docutils literal notranslate"><span class="pre">bgp</span></code>, l’agent <strong>refuse de démarrer</strong> si <code class="docutils literal notranslate"><span class="pre">vtysh</span></code> ne répond pas, et
<code class="docutils literal notranslate"><span class="pre">agent.service</span></code> ne le relance pas. L’ordre au démarrage est donc : migration réseau vers
<code class="docutils literal notranslate"><span class="pre">br-000000</span></code>, <strong>puis</strong> FRR, <strong>puis</strong> l’agent. FRR démarré avant la migration peut perdre la
route par défaut quand elle change d’interface, et ne plus joindre le route reflector.</p>
route par défaut quand elle change d’interface, et ne plus joindre les route reflectors.</p>
</div>
<p>Ce qu’elle établit :</p>
<ul class="simple">
<li><p><strong>Une session par route reflector</strong>, en iBGP dans l’AS 64600, vers sa loopback
(<code class="docutils literal notranslate"><span class="pre">10.255.255.1</span></code>, <code class="docutils literal notranslate"><span class="pre">10.255.255.2</span></code>), jointe par la passerelle par défaut — le routeur de
cluster l’a apprise du route reflector (<a class="reference internal" href="routeurs.html"><span class="doc">Routeurs</span></a>). Aucune adresse d’un autre hyperviseur n’est écrite : ajouter
cluster l’a apprise de ce route reflector (<a class="reference internal" href="routeurs.html"><span class="doc">Routeurs</span></a>). Aucune adresse d’un autre hyperviseur n’est écrite : ajouter
un nœud ne touche pas la configuration des autres.</p></li>
<li><p><strong>EVPN seulement</strong> : l’IPv4 unicast n’est pas activé (<code class="docutils literal notranslate"><span class="pre">no</span> <span class="pre">bgp</span> <span class="pre">default</span> <span class="pre">ipv4-unicast</span></code>).
<code class="docutils literal notranslate"><span class="pre">advertise-all-vni</span></code> annonce les VNI de toutes les interfaces VXLAN que FRR voit, et donc
@ -433,9 +433,9 @@ celles que l’agent crée.</p></li>
<p>Rien à configurer à la création d’un subnet : la VXLAN apparaît, FRR la voit et l’annonce, sans
action ni redémarrage. Il faut en revanche que la VXLAN porte une <strong>adresse VTEP locale</strong> : sans
elle, FRR voit la VNI mais n’annonce rien, et deux hyperviseurs gérés par two ne se joignent pas.
L’agent la pose à partir de la release <code class="docutils literal notranslate"><span class="pre">0.2.0rc003</span></code>
(<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/51">#51</a>) : l’adresse IPv4 primaire du <code class="docutils literal notranslate"><span class="pre">local_iface</span></code>
du subnet.</p>
L’agent la pose depuis la version 0.2.0 (préversions comprises à partir de <code class="docutils literal notranslate"><span class="pre">0.2.0rc003</span></code>,
<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/51">#51</a>, fermé) : l’adresse IPv4 primaire du
<code class="docutils literal notranslate"><span class="pre">local_iface</span></code> du subnet.</p>
<div class="admonition note">
<p class="admonition-title">Note</p>
<p><strong>À rédiger.</strong> Reste à documenter :</p>
@ -444,11 +444,10 @@ du subnet.</p>
et configuration doivent être posés à chaque démarrage, par le bootstrap ou un mécanisme
équivalent (<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/52">#52</a>) ;</p></li>
<li><p>le démarrage à froid, selon que FRR démarre avant ou après l’agent ;</p></li>
<li><p>les subnets <code class="docutils literal notranslate"><span class="pre">vxlan</span></code> créés avant <code class="docutils literal notranslate"><span class="pre">0.2.0rc003</span></code>, dont la VXLAN n’a pas d’adresse VTEP
locale : les recréer ou poser l’adresse à chaud, à trancher dans
<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/51">#51</a> ;</p></li>
<li><p>les subnets <code class="docutils literal notranslate"><span class="pre">vxlan</span></code> créés par une version antérieure, dont la VXLAN n’a pas d’adresse VTEP
locale : aucune migration ne la pose, il faut les recréer ;</p></li>
<li><p>le cas particulier du <strong>premier</strong> hyperviseur, dont la session ne peut pas s’établir tant
que le route reflector n’existe pas.</p></li>
qu’aucun route reflector n’existe.</p></li>
</ul>
</div>
</section>

View file

@ -360,9 +360,11 @@
<h1>VM route reflector<a class="headerlink" href="#vm-route-reflector" title="Lien vers cette rubrique">#</a></h1>
<p>Le route reflector est le point de rendez-vous du plan de contrôle : plutôt que de maintenir une
session entre chaque paire d’hyperviseurs, chaque hyperviseur ouvre une session vers le route
reflector, qui redistribue. Le cluster en compte <strong>deux</strong>, configurés à l’identique hormis leurs
adresses : chaque hyperviseur ouvre une session vers chacun, et la perte de l’un ne doit pas
interrompre le plan de contrôle (<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/54">#54</a>).</p>
reflector, qui redistribue. Un cluster en compte <strong>au moins un</strong> ; l’architecture et les exemples
de cette page en prévoient <strong>deux</strong> (rr1 et rr2, d’où les plages d’adresses ci-dessous),
configurés à l’identique hormis leurs adresses : chaque hyperviseur ouvre une session vers chacun,
et la perte de l’un n’interrompt pas le plan de contrôle
(<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/54">#54</a>, fermé).</p>
<p>Il tourne lui-même en machine virtuelle, ce qui crée une dépendance circulaire à traiter
explicitement : la VM qui porte le plan de contrôle du cluster est hébergée par le cluster.</p>
<section id="adressage">
@ -484,13 +486,14 @@ fois par route reflector ; si l’un tombe, les routes reçues de l’autre rest
</ul>
<div class="admonition warning">
<p class="admonition-title">Avertissement</p>
<p><strong>Les tunnels ne survivent pas à la perte du route reflector.</strong> Avec un seul route reflector
et sans <code class="docutils literal notranslate"><span class="pre">graceful-restart</span></code>, à l’arrêt de FRR sur le route reflector, la session EVPN des
hyperviseurs tombe aussitôt, FRR retire les routes apprises et, avec elles, le VTEP distant et l’entrée d’inondation du VXLAN — <strong>plus
aucun paquet ne passe</strong> entre hyperviseurs, à 30 s comme à 90 s. Au redémarrage de FRR sur le
route reflector, VTEP distant et trafic reviennent <strong>31 s</strong> plus tard. Le trafic entre VM d’un
même hyperviseur n’est pas concerné. La redondance (deux route reflectors) ou
<code class="docutils literal notranslate"><span class="pre">graceful-restart</span></code> sont les deux leviers ; ni l’un ni l’autre n’est encore qualifié.</p>
<p><strong>Les tunnels ne survivent pas à la perte de tous les route reflectors.</strong> Sans
<code class="docutils literal notranslate"><span class="pre">graceful-restart</span></code>, quand plus aucun route reflector ne répond, les sessions EVPN des
hyperviseurs tombent, FRR retire les routes apprises et, avec elles, le VTEP distant et
l’entrée d’inondation du VXLAN : <strong>plus aucun paquet ne passe</strong> entre hyperviseurs, jusqu’au
retour d’un route reflector et à la reconvergence des sessions. Le trafic entre VM d’un même
hyperviseur n’est pas concerné. Avec deux route reflectors, la perte de l’un est sans effet sur
le trafic, à condition qu’ils ne tombent jamais ensemble : <strong>jamais deux route reflectors sur le
même hyperviseur</strong>. Les mesures du lab sont dans <a class="reference internal" href="../developpement/lab.html"><span class="doc">Lab de test multi-nœud</span></a>.</p>
</div>
<div class="admonition note">
<p class="admonition-title">Note</p>
@ -501,8 +504,8 @@ lancer sur n’importe quel hyperviseur), et s’il s’agit d’une VM créée
autres ou d’un cas particulier — l’image, elle, est l’image golden de <a class="reference internal" href="image-qcow2.html"><span class="doc">Construction de l’image qcow2</span></a> ;</p></li>
<li><p>le placement des deux VM : jamais sur le même hyperviseur, et de préférence pas sur un
hyperviseur dont la perte isolerait l’autre ;</p></li>
<li><p>la procédure de reconstruction — l’état du cluster pendant l’absence du route reflector est
décrit ci-dessus : plus de trafic entre hyperviseurs ;</p></li>
<li><p>la procédure de reconstruction — l’état du cluster pendant l’absence de tous les route
reflectors est décrit ci-dessus : plus de trafic entre hyperviseurs ;</p></li>
<li><p>la procédure d’amorçage : ce qui fonctionne, et dans quel ordre, quand on démarre un cluster
entier depuis zéro — le premier hyperviseur n’a pas de session FRR établie tant que cette VM
n’existe pas, cf. <a class="reference internal" href="premier-hyperviseur.html"><span class="doc">Premier hyperviseur</span></a>.</p></li>

View file

@ -375,9 +375,10 @@ données VXLAN.</p>
</dl>
<section id="routeur-de-cluster">
<h2>Routeur de cluster<a class="headerlink" href="#routeur-de-cluster" title="Lien vers cette rubrique">#</a></h2>
<p>Le routeur de cluster est la passerelle des hyperviseurs et le voisin eBGP des deux route
reflectors, dont il apprend les loopbacks : c’est par lui que chaque hyperviseur joint
<code class="docutils literal notranslate"><span class="pre">10.255.255.1</span></code> et <code class="docutils literal notranslate"><span class="pre">10.255.255.2</span></code> pour ouvrir ses sessions EVPN (<a class="reference internal" href="route-reflector.html"><span class="doc">VM route reflector</span></a>).</p>
<p>Le routeur de cluster est la passerelle des hyperviseurs et le voisin eBGP des route reflectors
— au moins un ; deux sont prévus dans l’architecture et dans les exemples —, dont il apprend les
loopbacks : c’est par lui que chaque hyperviseur joint <code class="docutils literal notranslate"><span class="pre">10.255.255.1</span></code> et <code class="docutils literal notranslate"><span class="pre">10.255.255.2</span></code> pour
ouvrir ses sessions EVPN (<a class="reference internal" href="route-reflector.html"><span class="doc">VM route reflector</span></a>).</p>
<section id="adressage">
<h3>Adressage<a class="headerlink" href="#adressage" title="Lien vers cette rubrique">#</a></h3>
<div class="pst-scrollable-table-container"><table class="table">
@ -394,8 +395,9 @@ reflectors, dont il apprend les loopbacks : c’est par lui que chaque hypervise
</thead>
<tbody>
<tr class="row-even"><td><p><code class="docutils literal notranslate"><span class="pre">192.168.14.1/24</span></code></p></td>
<td><p>interface du segment des hyperviseurs</p></td>
<td><p>passerelle par défaut des hyperviseurs et du route reflector</p></td>
<td><p>interface du segment des hyperviseurs, <strong>adresse virtuelle VRRP</strong></p></td>
<td><p>passerelle par défaut des hyperviseurs et des route reflectors, portée par le routeur
maître ; chaque routeur a en plus sa propre adresse sur le segment</p></td>
</tr>
<tr class="row-odd"><td><p><code class="docutils literal notranslate"><span class="pre">169.254.0.1/28</span></code></p></td>
<td><p>même interface, <strong>adresse secondaire</strong></p></td>
@ -457,9 +459,9 @@ reflector : chaque côté filtre, aucun ne dépend du filtre de l’autre.</p></
<li><p><strong>Aucune session avec les hyperviseurs</strong> : le routeur leur sert de passerelle, pas de voisin BGP.</p></li>
</ul>
<p>Celle du second routeur (<code class="docutils literal notranslate"><span class="pre">test/e2e/topologies/frr/sw2.conf</span></code>) ne diffère que par <code class="docutils literal notranslate"><span class="pre">hostname</span></code> et
<code class="docutils literal notranslate"><span class="pre">router-id</span></code> (<code class="docutils literal notranslate"><span class="pre">169.254.0.2</span></code>), que les route reflectors déclarent aussi. La redondance des
routeurs — et le mécanisme qui fait basculer la passerelle <code class="docutils literal notranslate"><span class="pre">192.168.14.1</span></code> — est l’objet de
<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/54">#54</a>.</p>
<code class="docutils literal notranslate"><span class="pre">router-id</span></code> (<code class="docutils literal notranslate"><span class="pre">169.254.0.2</span></code>), que les route reflectors déclarent aussi. Les deux routeurs se
partagent la passerelle <code class="docutils literal notranslate"><span class="pre">192.168.14.1</span></code> en <strong>VRRP v3</strong> : le maître la porte, l’autre attend, sans
préemption (<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/54">#54</a>, fermé).</p>
<div class="admonition note">
<p class="admonition-title">Note</p>
<p>Ce qui précède est le contrat du routeur de cluster : adresses, ASN, session, filtres. Sa
@ -469,9 +471,8 @@ traduction dans la configuration d’un constructeur n’a pas sa place ici.</p>
<p class="admonition-title">Note</p>
<p><strong>À rédiger.</strong> Reste à documenter, faute d’éléments de terrain :</p>
<ul class="simple">
<li><p>pour le routeur de cluster : le matériel employé et sa version de référence ; la redondance
— deux routeurs, mécanisme de bascule, comportement attendu pendant une bascule
(<a class="reference external" href="https://git.g3e.fr/syonad/two/issues/54">#54</a>) ;</p></li>
<li><p>pour le routeur de cluster : le matériel employé et sa version de référence ; la traduction
de la redondance VRRP v3 dans sa configuration ;</p></li>
<li><p>pour les routeurs de datacentre et de bordure : tout — équipement, configuration de
référence, ce qui est annoncé et filtré à chaque niveau, redondance ;</p></li>
<li><p>l’ordre de mise en service, et ce qui doit être opérationnel avant de préparer le premier