Sortie Internet des VM sans IP publique #42
Labels
No labels
bug fix
feature implementation
new feature
No project
No assignees
1 participant
Notifications
Due date
No due date set.
Dependencies
No dependencies set.
Reference
syonad/two#42
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Contexte
Dans le modèle #00,
vrf-Cne dialogue qu'avec les RR et les RR ne dialoguent qu'avec leshosts et les border routers. Une VM disposant d'une IP publique sort par le VNI public et sa
route par défaut vers les border routers.
Une VM sans IP publique n'a aucune sortie.
Besoin à qualifier
Certains de ces besoins relèvent d'une VRF de service interne, d'autres d'un NAT sortant : à
distinguer avant de choisir un mécanisme unique.
Options
vrf-C.Point d'attention majeur
Toute fuite de route entre VRF est exactement le mécanisme dont #02 établit qu'une erreur y
est silencieuse. Une VRF de service accessible depuis tous les VPC devient un point de
passage entre tenants si la fuite est bidirectionnelle ou mal filtrée.
Contraintes minimales à retenir quelle que soit l'option : fuite unidirectionnelle, filtrée
par prefix-list explicite, jamais par
import vrfnon filtré, et test négatif inter-VPCétendu au chemin passant par la VRF de service.
À faire
Décision du 2026-10-17 : sortie Internet des VM sans IP publique
Contexte retenu pour l'accès Internet (schéma d'architecture d'ensemble, en cours) :
Trois modes, par besoin
Mode par défaut de ce ticket : passerelle NAT centralisée par VPC
Pourquoi centralisé. Un NAT réparti sur chaque hyperviseur avec la même IP de VPC ne fonctionne pas : la gateway anycast sans état renverrait la réponse à l'hôte qui a répondu à l'ARP, pas à celui qui a fait le NAT.
Pour :
Contre :
Alternative écartée comme mode par défaut : NAT sur chaque hyperviseur, vers une IP publique propre à l'hôte (route par défaut de la VRF vers l'interface publique de l'hôte, une zone de suivi des connexions par VRF puisque les plages des VPC se chevauchent). C'est faisable et sans détour, mais il n'y a pas d'IP de sortie stable par VPC, et cela coûte une IP par hyperviseur.
À qualifier en lab
Décision (2026-10-25) : bascule de la passerelle NAT, pilotée par l'appelant
N0 en 0.3.0, N1 avec l'orchestrateur (#72). L'agent reste un exécutant : il ne détecte aucune panne et ne coordonne rien avec les autres hôtes.
conntrackd. Il ferait entrer une coordination entre hôtes dans l'agent.Conséquences pour la conception :
02:01:00+ VNI) mais avec un autre préfixe. Une recréation sur un autre hôte se réduit alors à un ARP gratuit et à la mobilité MAC d'EVPN.Les sessions entre hôtes et route reflectors restent sans BFD, avec un hold time de 180 s (
frr defaults traditional) : les routes d'un hôte mort persistent jusqu'à 3 minutes. C'est acceptable, l'intervention sur un hôte mort dépassant de toute façon 10 minutes.Services internes (2026-10-25)
Décision (2026-10-25) : API de la passerelle NAT
l3vni(409 sinon) : la route par défaut est annoncée en type 5.l3vni, comme la MAC anycast à partir de la VNI. Le préfixe reste à choisir (02:01,02:03et02:12sont déjà pris ou proposés).interfaces.internet, #31).DELETEsur l'ancien hôte s'il répond, puisPOSTsur le nouveau.Route par défaut du netns vers la VRF
Le netns de chaque VPC routé envoie toujours sa route par défaut vers la VRF. Aujourd'hui il n'y envoie que le CIDR du VPC.
unreachable defaultde #81 rejette le trafic.Créer ou déplacer une passerelle ne demande donc rien aux autres hôtes du VPC. #81 est un prérequis : sans lui, cette route ferait sortir tout le trafic inconnu d'un locataire par l'underlay.
Implémentation, non décidée
Le choix entre netns et VRF dédiés et une VM est encore ouvert. L'IP de sortie est portée par un veth accroché au bridge public.
Ordre de travail (2026-10-25)
Étape 4 du découpage posté sur #31. Prérequis : #81 (route
unreachable default) et #87 (segment public de l'hôte et bordure dans le lab).Décision (2026-10-29) : implémentation de la passerelle NAT
Complète 1343 (« Implémentation, non décidée »).
NAT dans le netns du VPC, sur l'hôte de la passerelle
Ni netns ni VRF dédiés, ni VM : la passerelle vit dans le netns du VPC, qui existe déjà sur l'hôte choisi.
Chaque netns a sa propre table de suivi des connexions : les plages des VPC peuvent se chevaucher sans
zone conntrack, et les règles d'un locataire restent dans son netns.
ng-<id>sur lebr-publicdu netns du VPC, déjà relié au bridge publicde l'hôte (
interfaces.internet) parvp-<id>-i/-e; il porte la MAC virtuelle et l'IP de sortie.Aucun veth supplémentaire.
<id>est celui du VPC : une seule passerelle par VPC.br-publicdu netns (netif.BridgeAddLocalMAC,comme la MAC anycast de #57) : un macvlan n'en crée pas dans son bridge parent, et sans elle les
trames vers la passerelle sont inondées au lieu d'être remises au macvlan.
gatewaydes bordures parng-<id>; le CIDR du VPC resterouté vers la VRF.
0.0.0.0/0 via 169.254.0.2 dev l3-<id>-odans la table de lal3vni, qui l'emporte surl'
unreachablede #81 (métrique maximale) ; exportée en type 5 par leredistribute kernelexistant.snat to <ip>en sortie parng-<id>; enforward, rien n'entrepar
ng-<id>horsct state established,related— sans cette règle, tout équipement du bridgepublic pourrait router vers les plages privées du VPC.
MAC de la face publique
ng-<id>porte02:04:00suivi de lal3vnisur 24 bits (nouveau rôle0x04, après0x01anycast,
0x02routeur,0x03hôte ;0x12proposé pour les VM publiques, #71). C'est la MAC que lesbordures résolvent pour l'IP de sortie et qu'EVPN déplace à la bascule.
Route par défaut du netns vers la VRF
Posée à la création d'un VPC routé (1343), sur tous les hôtes. Pas de migration : les VPC créés
avant la mise à jour n'ont pas cette route et ne peuvent pas sortir par une passerelle ; il faut les
recréer.
Ressource
nat-gateway/<name>/{state,vpc,ip,gateway}.POST /nat-gateways: 409 si le VPC n'existe pas sur l'hôte, s'il n'a pas del3vni, ou s'il adéjà une passerelle sur cet hôte.
DELETE /vpcs/<name>: 409 tant que le VPC a une passerelle sur l'hôte.Compatibilité avec les IP flottantes (#88)
br-publicdu netns, jamais partagé : une IP flottante suit sa VM,la passerelle reste sur son hôte, chacune a donc sa MAC (bascule par mobilité MAC d'EVPN, 1337).
ng-<id>est propre à la passerelle. La VM garde son seul tap sur son subnet privé ; le netns faitla NAT 1:1 vers son adresse privée.
ng-<id>: la NAT 1:1 sans état d'une IPflottante peut vivre dans le même netns avec ses propres règles.
traiter dans #88 : la route par défaut du netns part vers la VRF (ou vers les bordures sur l'hôte de
la passerelle), d'où un routage par source dans le netns, qui ne doit pas capter le trafic vers le
CIDR du VPC.
Écartés
br-publicdu netns etvp-<id>-i/-eexistent déjà ;
À vérifier en lab
ng-<id>sur lebr-publicdu netns (bridge fdb show), et captureether host <mac>: aucune trame vers la passerelle ne doit être inondée.0.0.0.0/0parPL-<id>: la prefix-list ne doit pas faire exporter l'unreachable defaultdes hôtes sans passerelle (sinon, condition de route-map sur l'interface).nftables : backend iptables des hôtes à relever.
Fusionné dans main (
8e14481, PR #93). Campagne de lab 7 sur la suite complète : 46-passerelle-nat 75/75, aucune régression des correctifs br_netfilter / br-public du netns.