f-42: doc: passerelle NAT, routes par défaut du VPC, notes 0.3.0 #42
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
This commit is contained in:
parent
2a5ea40cdc
commit
74e8c6220e
7 changed files with 143 additions and 4 deletions
|
|
@ -13,3 +13,4 @@ fonctionnent entre eux. Le contrat HTTP correspondant est dans
|
|||
cycle-de-vie
|
||||
metadata-cloud-init
|
||||
dns-ntp
|
||||
passerelle-nat
|
||||
|
|
|
|||
98
docs/concepts/passerelle-nat.rst
Normal file
98
docs/concepts/passerelle-nat.rst
Normal file
|
|
@ -0,0 +1,98 @@
|
|||
Passerelle NAT
|
||||
==============
|
||||
|
||||
Une VM sans IP publique sort vers Internet par la **passerelle NAT de son VPC**. C'est une
|
||||
ressource de l'API de l'agent (``/nat-gateways``), créée sur un seul hyperviseur, choisi par
|
||||
l'appelant. Elle porte l'IP de sortie du VPC sur le segment public de l'hôte (``br-public``,
|
||||
``vxlan-public``) et annonce une route par défaut de type 5 dans la VRF du VPC : toutes les VM du
|
||||
VPC, sur tous les hyperviseurs, sortent par elle, avec cette IP pour source.
|
||||
|
||||
**L'autorisation Internet d'un VPC, c'est l'existence de sa passerelle** : le VPC ne porte aucun
|
||||
champ pour cela. Le VPC doit avoir un ``l3vni``, et une seule passerelle existe par VPC. L'IP de
|
||||
sortie, son préfixe et la gateway des bordures sont fournis par l'appelant ; l'agent ne les
|
||||
vérifie pas.
|
||||
|
||||
Chemin d'un paquet
|
||||
------------------
|
||||
|
||||
.. mermaid::
|
||||
|
||||
graph LR
|
||||
V["VM sur l'hôte B"] --> NB["netns du VPC, hôte B<br/>route par défaut vers la VRF"]
|
||||
NB --> RB["vrf-<id>, hôte B<br/>route par défaut de type 5"]
|
||||
RB -->|"L3VNI"| RA["vrf-<id>, hôte A<br/>route par défaut vers 169.254.0.2"]
|
||||
RA --> NA["netns du VPC, hôte A<br/>SNAT vers l'IP de sortie"]
|
||||
NA -->|"ng-<id>, br-public, vxlan-public"| B["bordures"]
|
||||
|
||||
Le netns de chaque VPC routé envoie sa route par défaut vers la VRF. Sans passerelle, la route
|
||||
``unreachable default`` de la VRF rejette ce trafic (voir :doc:`vpc-subnet-vm`) ; avec une
|
||||
passerelle, la route par défaut de type 5 l'emporte, l'``unreachable`` ayant la métrique maximale.
|
||||
Créer ou déplacer une passerelle ne demande donc rien aux autres hyperviseurs du VPC. Sur l'hôte
|
||||
de la passerelle, les VM sortent directement par le netns, sans passer par la VRF.
|
||||
|
||||
Les réponses reviennent à l'IP de sortie : les bordures la résolvent vers la MAC de la
|
||||
passerelle, le netns défait la traduction et renvoie le paquet vers la VM par la VRF.
|
||||
|
||||
Ce que l'agent pose
|
||||
-------------------
|
||||
|
||||
Dans le netns du VPC ``vp-<id>``, sur l'hôte de la passerelle :
|
||||
|
||||
* un ``macvlan`` ``ng-<id>`` sur le bridge ``br-public`` du netns, déjà relié au bridge public de
|
||||
l'hôte par ``vp-<id>-i`` / ``vp-<id>-e``. Sa MAC est **calculée** à partir du ``l3vni`` :
|
||||
``02:04:00`` suivi du ``l3vni`` sur 24 bits (``4600`` → ``02:04:00:00:11:f8``). Elle est la
|
||||
même quel que soit l'hôte : c'est ce qui permet de déplacer la passerelle ;
|
||||
* une entrée FDB locale de cette MAC sur ``br-public`` : un ``macvlan`` n'en crée pas dans son
|
||||
bridge parent, et sans elle les trames vers la passerelle seraient inondées au lieu de lui être
|
||||
remises (même mécanisme que la MAC anycast des subnets ``vxlan``) ;
|
||||
* ``arp_ignore=1``, ``arp_announce=2`` et ``arp_notify=1`` sur ``ng-<id>`` : la passerelle ne
|
||||
répond à l'ARP que pour son IP de sortie, et annonce celle-ci par un ARP gratuit à sa mise en
|
||||
route ;
|
||||
* l'IP de sortie sur ``ng-<id>``, puis une route par défaut vers la gateway des bordures par
|
||||
``ng-<id>``, à la place de celle vers la VRF ; le ``cidr`` du VPC reste routé vers la VRF ;
|
||||
* trois chaînes dans la table nftables ``ip two`` du netns :
|
||||
|
||||
* ``snat-ng-<id>`` : ``snat`` vers l'IP de sortie de tout ce qui sort par ``ng-<id>`` ;
|
||||
* ``fwd-ng-<id>`` et ``in-ng-<id>`` : rien n'entre par ``ng-<id>`` — ni vers les VM, ni vers le
|
||||
netns lui-même (DNS et NTP, métadonnées) — hors réponse à une connexion établie
|
||||
(``ct state established,related``). L'ARP n'est pas filtré ;
|
||||
|
||||
* en dernier, sur l'hôte, une route par défaut vers ``169.254.0.2`` dans la table de la VRF :
|
||||
l'annonce n'est jamais faite avant que la traduction soit en place.
|
||||
|
||||
La suppression retire d'abord la route par défaut de la VRF, puis les règles nftables, remet la
|
||||
route par défaut du netns vers la VRF, retire l'entrée FDB et le ``macvlan``. Chaque étape tolère
|
||||
ce qui est déjà absent : une suppression interrompue se relance depuis ``error``. Le retrait de la
|
||||
route de la VRF désigne sa gateway et son interface, de sorte que l'``unreachable default`` reste
|
||||
en place.
|
||||
|
||||
Annonce de la route par défaut
|
||||
------------------------------
|
||||
|
||||
Le route-map ``EXPORT-<id>`` de la VRF porte une entrée ``permit 15`` : ``0.0.0.0/0``, à
|
||||
condition que son next-hop soit ``169.254.0.2`` (prefix-lists ``PL-<id>-default`` et
|
||||
``PL-<id>-transit``). Sans cette condition, ``redistribute kernel`` exporterait aussi
|
||||
l'``unreachable default`` de chaque hôte (constaté sur FRR 8.4, hors VRF), et tous les
|
||||
hyperviseurs annonceraient une sortie qu'ils n'ont pas.
|
||||
|
||||
Ces entrées sont posées à la création du VPC et retirées à sa suppression ; seule la route du
|
||||
noyau dépend de la passerelle.
|
||||
|
||||
Déplacer la passerelle
|
||||
----------------------
|
||||
|
||||
L'agent ne détecte aucune panne et ne coordonne rien avec les autres hyperviseurs. Pour déplacer
|
||||
la passerelle, l'appelant la supprime sur l'ancien hôte s'il répond, puis la crée sur le nouveau
|
||||
avec la même IP. La MAC étant la même, la bascule se réduit à un ARP gratuit et à la mobilité MAC
|
||||
d'EVPN. Les connexions en cours sont perdues.
|
||||
|
||||
Si l'hôte de la passerelle tombe, ses routes restent annoncées jusqu'à l'expiration des sessions
|
||||
BGP vers les route reflectors (180 s), et le VPC n'a plus de sortie jusqu'à la création d'une
|
||||
nouvelle passerelle.
|
||||
|
||||
Limites
|
||||
-------
|
||||
|
||||
* Seuls les VPC créés par la 0.3.0 ou après envoient leur route par défaut vers la VRF et
|
||||
exportent la route de la passerelle : un VPC plus ancien doit être recréé pour s'en servir.
|
||||
* IPv4 seulement.
|
||||
|
|
@ -58,12 +58,15 @@ passe en ``error`` : ce VNI est déjà porté par ``vxlan-public``.
|
|||
│ └── vxl3-<id> VXLAN du l3vni, VTEP = IPv4 primaire de default_interface
|
||||
└── l3-<id>-o 169.254.0.1/30 ── l3-<id>-i 169.254.0.2/30, dans le netns du VPC
|
||||
|
||||
Dans le netns, le ``cidr`` du VPC est routé vers ``169.254.0.1`` ; le transit ``/30`` est le même
|
||||
Dans le netns, le ``cidr`` du VPC et la route par défaut sont routés vers ``169.254.0.1`` : sans
|
||||
passerelle NAT, l'``unreachable default`` de la VRF rejette ce qui n'est pas dans le VPC (voir
|
||||
:doc:`passerelle-nat`) ; le transit ``/30`` est le même
|
||||
sur tous les hyperviseurs et pour tous les VPC. L'agent active le forwarding IPv4 dans le netns,
|
||||
et sur l'hôte sur ``brl3-<id>`` et ``l3-<id>-o``, les deux interfaces d'entrée de la VRF ; il ne
|
||||
touche pas au réglage global, que ``bootstrap_kvm.sh`` met déjà à 1. FRR reçoit la VRF, son ``vni``, une instance
|
||||
``router bgp <asn> vrf vrf-<id>`` avec RD ``<VTEP>:<l3vni>`` et RT ``<asn>:<l3vni>``, et
|
||||
l'export des routes du ``cidr`` présentes dans la VRF.
|
||||
l'export des routes du ``cidr`` présentes dans la VRF, et de la route par défaut de la passerelle
|
||||
NAT.
|
||||
|
||||
La table de la VRF reçoit, juste après sa création, une route ``unreachable default`` de métrique
|
||||
maximale (``4278198272``, valeur recommandée par la documentation VRF du noyau). Sans elle, une
|
||||
|
|
@ -71,7 +74,8 @@ recherche qui échoue dans la VRF continue dans les règles suivantes, donc dans
|
|||
de l'hôte : un paquet d'un locataire vers une adresse inconnue de la VRF sortirait par l'underlay,
|
||||
avec ``169.254.0.2`` pour source (mesuré, `#81 <https://git.g3e.fr/syonad/two/issues/81>`_). La
|
||||
métrique maximale laisse passer avant elle toute route réelle de la VRF. Cette route n'est pas
|
||||
annoncée en EVPN : le route-map de la VRF n'exporte que le ``cidr`` du VPC. Elle n'est liée à
|
||||
annoncée en EVPN : le route-map de la VRF n'exporte que le ``cidr`` du VPC, et la route par
|
||||
défaut seulement quand son next-hop est ``169.254.0.2``, celle d'une passerelle NAT. Elle n'est liée à
|
||||
aucune interface et ne disparaît pas avec la VRF : la suppression la retire explicitement. IPv4
|
||||
seulement.
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue