186 lines
13 KiB
Markdown
186 lines
13 KiB
Markdown
# Gabriel
|
||
|
||
## Fonctionnalités
|
||
|
||
**Délais dédiés : section `times` (#79)**
|
||
|
||
- Nouvelle section `times` de la configuration, en secondes : `timeout_vms_stop` (300),
|
||
`next_vms_shutdown` (30), `timeout_subnet_stop` (360), `timeout_vpc_stop` (420),
|
||
`timeout_subnet_start` (300), `timeout_vms_start` (300), `poll_interval` (2). Elle remplace
|
||
`dispatcher.timeout_seconds` et `dispatcher.poll_seconds`, qui servaient à des attentes de
|
||
nature différente. Une valeur nulle ou négative, ou `next_vms_shutdown` au moins égal à
|
||
`timeout_vms_stop`, fait échouer le démarrage
|
||
- **Une VM et son subnet se suppriment d'un coup** : la suppression d'un subnet est acceptée
|
||
quand ses VM sont en `deleting`, et attend leur suppression jusqu'à `timeout_subnet_stop`. Le
|
||
409 reste pour une VM ni supprimée ni en `deleting`
|
||
|
||
**DNS et NTP des VM par l'hyperviseur : `two-hostsvc` (#86)**
|
||
|
||
- Nouveau service `two-hostsvc.service`, un par hyperviseur, démarré avant l'agent : il relaie
|
||
DNS (UDP et TCP) et NTP pour les VM de tous les VPC, depuis l'adresse `169.254.169.253` posée
|
||
dans le netns de chaque VPC. Une VM sans sortie Internet garde DNS et NTP, sans route entre la
|
||
VRF du VPC et l'hôte
|
||
- **Le DHCP annonce l'`interface_ip` du subnet comme DNS (option 6) et NTP (option 42)**, dans les
|
||
deux backends ; `1.1.1.1` et `8.8.8.8` ne sont plus annoncés. Les requêtes des VM vers leur
|
||
gateway sur 53 et 123 sont redirigées vers `two-hostsvc` ; celles vers un résolveur extérieur
|
||
ne le sont pas
|
||
- Nouvelle section `hostsvc` de la configuration : `dns_upstream` et `ntp_upstream` (serveurs
|
||
interrogés en premier ; à défaut, le résolveur et l'horloge de l'hôte) et `rate_limit_per_vpc`
|
||
(100 requêtes par seconde par défaut, DNS et NTP confondus)
|
||
- **La création d'un VPC échoue si `two-hostsvc` ne répond pas**, plutôt que de créer un VPC sans
|
||
DNS ni NTP. Le watchdog signale un `two-hostsvc` injoignable et, pour chaque VPC, un élément
|
||
manquant (adresse, redirection, VPC non servi)
|
||
|
||
**Filtrage au port de chaque VM (#76)**
|
||
|
||
- Chaque interface de VM ne peut émettre que depuis sa propre MAC et sa propre IP. Sont rejetés
|
||
à la sortie du tap : une MAC source étrangère, l'ARP dont la MAC ou l'adresse d'émetteur n'est
|
||
pas celle de l'interface (sauf la sonde `0.0.0.0`), l'IPv4 d'une autre source (sauf `0.0.0.0`
|
||
vers le port 67), les réponses de serveur DHCP et les trames d'un autre type qu'IPv4, ARP ou
|
||
IPv6. Une VM ne peut plus se faire passer pour la gateway, une autre VM ou un serveur DHCP
|
||
auprès de ses voisines. L'IPv6 n'est pas filtrée (#61)
|
||
- Nouveau champ `dhcp_server` d'une interface (faux par défaut, toujours renvoyé par le GET) : il
|
||
autorise cette interface à répondre en DHCP, par exemple pour servir le PXE de machines diskless
|
||
sur un subnet `bridge`
|
||
- Les règles sont posées avant la création du tap et retirées après sa suppression ; le watchdog
|
||
signale une interface d'une VM `running` dont les règles manquent ou ont été modifiées
|
||
|
||
**Segment public de l'hôte (#87)**
|
||
|
||
- `deploy.sh -i` crée `vxlan-public`, VXLAN du segment public partagé avec les bordures, sur le
|
||
bridge public (`-P`, `br-public`) : VNI de la nouvelle option `-N`/`--public_vni` (1 par
|
||
défaut), VTEP = IPv4 du bridge principal, sans apprentissage ; recréé si le VNI ou le VTEP
|
||
change. FRR l'annonce par `advertise-all-vni`
|
||
- Plan de VNI : 1 pour le segment public, 2–65535 pour les L3VNI, 65536 et au-delà pour les
|
||
subnets. L'agent ne vérifie pas : l'appelant n'alloue jamais le VNI du segment public
|
||
- L'agent raccorde le veth `vp-<id>-e` de chaque VPC au bridge de `interfaces.internet`
|
||
(`br-public` par défaut, jamais `default_interface`), au lieu d'un nom en dur
|
||
- Le watchdog signale un bridge public absent, éteint ou sans port VXLAN
|
||
|
||
**Interfaces de VM nommées (#88)**
|
||
|
||
- Chaque interface d'une VM porte un `name`, **obligatoire** et unique dans la VM, choisi par
|
||
l'appelant (`nic-a1b2` par exemple) : 400 s'il est absent ou en double. Il est rendu par le GET.
|
||
C'est l'identifiant stable d'une interface dans l'API (une IP flottante la désigne par ce nom) ;
|
||
aucune interface Linux n'en tire son nom
|
||
|
||
**Passerelle NAT des VPC (#42)**
|
||
|
||
- Nouvelle ressource `/nat-gateways` (`POST`, `GET`, `DELETE`) : `name`, `vpc`, `ip` (IP de
|
||
sortie avec son préfixe) et `gateway` (gateway des bordures), fournis par l'appelant et non
|
||
vérifiés. Créée sur un seul hyperviseur, elle donne une sortie Internet à toutes les VM du VPC,
|
||
sur tous les hyperviseurs, avec l'IP de sortie pour source. Une passerelle par VPC ; le VPC
|
||
doit être `running` sur l'hôte et avoir un `l3vni` (409 sinon)
|
||
- Dans le netns du VPC : `macvlan` `ng-<id>` sur le bridge `br-public` du netns, de MAC
|
||
`02:04:00` + `l3vni` (la même sur tout hôte), SNAT en nftables (table `ip two`) ; rien n'entre
|
||
par la passerelle hors réponse à une connexion établie. La route par défaut est annoncée en
|
||
type 5 dans la VRF du VPC
|
||
- Le netns de chaque VPC routé envoie désormais sa route par défaut vers la VRF ; sans passerelle,
|
||
l'`unreachable default` de #81 la rejette. Le route-map de la VRF exporte `0.0.0.0/0` seulement
|
||
si son next-hop est `169.254.0.2`, ce qui écarte l'`unreachable default`
|
||
- Déplacer la passerelle : la supprimer sur l'ancien hôte s'il répond, la créer sur le nouveau
|
||
avec la même IP. Les connexions en cours sont perdues
|
||
- La suppression d'un VPC est refusée (409) tant qu'il a une passerelle. Nouvelle métrique
|
||
`syonad_nat_gateways_total` ; le watchdog attend la route par défaut d'une passerelle `running`
|
||
dans la VRF
|
||
|
||
**IP flottante (#88)**
|
||
|
||
- Nouvelle ressource `/floating-ips` (`POST`, `GET`, `DELETE`) : `name`, `vm`, `interface` (nom de
|
||
l'interface de la VM), `ip` (IP publique avec son préfixe) et `gateway`, fournis par l'appelant
|
||
et non vérifiés. Créée sur l'hôte de la VM, elle rend l'interface joignable par l'IP publique ;
|
||
la VM sort par elle, même dans un VPC qui a une passerelle NAT. 409 si la VM n'est pas `running`
|
||
sur l'hôte, si l'interface est inconnue ou a déjà une IP flottante, ou si l'IP publique est déjà
|
||
portée
|
||
- Dans le netns du VPC : `macvlan` `fip-<hex>` sur `br-public`, de MAC `02:05` + IP publique (la
|
||
même sur tout hôte), IP publique en `/32` ; NAT 1:1 sans état en nftables (table `ip two`),
|
||
sans `notrack` : métadonnées, DNS et NTP restent servis ; routage par source vers une table
|
||
propre, le trafic interne au VPC restant dans `main`
|
||
- Le `GET` d'une VM affiche l'IP flottante de chaque interface (`floating_ip`, en lecture seule) ;
|
||
la suppression d'une VM est refusée (409) tant qu'une IP flottante y est attachée. Nouvelle
|
||
métrique `syonad_floating_ips_total`
|
||
- Déplacer l'IP flottante avec la VM : la supprimer sur l'ancien hôte, la créer sur le nouveau. Les
|
||
connexions en cours sont perdues
|
||
|
||
## Correctifs
|
||
|
||
- **Chaque VRF de VPC porte une route `unreachable default` (#81).** Une recherche qui échouait
|
||
dans la table d'une VRF continuait dans la table `main` de l'hôte : un paquet d'un locataire
|
||
vers une adresse inconnue de son VPC sortait par l'underlay, avec `169.254.0.2` pour source
|
||
(mesuré en lab). La route est posée juste après la VRF, avec la métrique maximale
|
||
`4278198272`, de sorte que toute route réelle reste prioritaire ; elle n'est pas annoncée en
|
||
EVPN et elle est retirée au démontage du VPC. Le watchdog signale une VRF qui ne l'a pas.
|
||
IPv4 seulement
|
||
- **`default_route: true` sans `gateway` est réservé au mode `bridge` (#81)** : refusé (400) en
|
||
`vxlan` et en `public_ip`. Hors `bridge`, la gateway lue dans la table de routage de l'hôte
|
||
n'est pas sur le subnet des VM : la route par défaut annoncée était inutilisable
|
||
- **La suppression d'une VM retire ses sockets QEMU (#84).** Quand QEMU échouait au démarrage
|
||
(disque absent par exemple), il pouvait laisser `<vm>.sock` dans `serial_dir`, `monitor_dir` ou
|
||
`qmp_dir`, que la suppression de la VM ne retirait pas. Les trois sont désormais supprimés une
|
||
fois QEMU arrêté ; un fichier absent n'est pas une erreur
|
||
- **`system_powerdown` est renvoyé toutes les `next_vms_shutdown` secondes (#79)** pendant
|
||
l'arrêt d'une VM, jusqu'à `timeout_vms_stop`. Un seul appui était envoyé : arrivé avant que
|
||
l'invité sache le traiter (firmware, chargeur de démarrage), il était perdu, et la suppression
|
||
durait les 300 s du délai avant un `quit` brutal (mesuré en lab)
|
||
- **La suppression d'un VPC échoue si l'un de ses subnets échoue (#79).** Elle attendait qu'aucun
|
||
subnet ne soit plus en `deleting`, puis supprimait le VPC même si un subnet était passé en
|
||
`error`. Il en va de même pour un subnet dont une VM attendue passe en `error`
|
||
- **Un thread de l'agent ne reste plus dans le netns d'un VPC (#91).** Après une opération dans
|
||
un netns, l'agent revenait au netns du thread principal du processus et non à celui du thread
|
||
courant. Si le thread principal était lui-même dans un VPC à cet instant, le thread restait dans
|
||
ce VPC et la goroutine suivante y travaillait : en lab, la suppression d'un subnet a échoué sur
|
||
`delete vxlan: Link not found` et le watchdog a signalé `br-000000` et des VRF absents. L'agent
|
||
revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est
|
||
détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon
|
||
- **Le serveur de métadonnées crée sa socket dans le netns du VPC (#92).** Il faisait entrer un
|
||
seul thread dans le VPC, puis créait sa socket sur le thread où il s'exécutait à cet instant :
|
||
sur un autre thread, la socket était créée dans le netns de l'hôte, l'écoute échouait et le
|
||
processus s'arrêtait. Jamais observé en lab. La socket est désormais créée dans le netns du VPC,
|
||
et `metadata@.service` est relancé en cas d'échec (`Restart=on-failure`)
|
||
|
||
## Mise à jour depuis la 0.2.0
|
||
|
||
- **Les règles de pont passent d'ebtables à nftables (#76)** : l'agent appelle `nft` et pose ses
|
||
règles dans une table `bridge two` du netns de chaque VPC. `bootstrap_kvm.sh` installe
|
||
`nftables` à la place d'`ebtables`. Les règles ebtables des subnets existants ne sont ni
|
||
reprises ni retirées : vider l'hyperviseur (VM, subnets, VPC) avant la mise à jour, puis les
|
||
recréer
|
||
- **Une VM ne peut plus émettre depuis une adresse qui n'est pas la sienne (#76)** : une VM qui
|
||
route pour d'autres machines, porte une adresse supplémentaire ou sert le DHCP perd ce trafic.
|
||
Pour un serveur DHCP, créer l'interface avec `dhcp_server: true`
|
||
|
||
- **Relancer `deploy.sh -i` (#87)** sur chaque hyperviseur pour créer `vxlan-public` ; sans lui,
|
||
le watchdog signale un bridge public sans port VXLAN à chaque tick. Un VPC routé dont le
|
||
`l3vni` vaut 1 doit être recréé avec un autre L3VNI avant : sinon la création de
|
||
`vxlan-public` échoue sur ce VNI déjà porté
|
||
- **`interfaces.internet` désigne désormais le bridge public (#87)** : une valeur héritée de
|
||
l'ancien exemple (`internet: br-000000`) raccorderait les VPC à l'underlay. La retirer, ou la
|
||
mettre à `br-public`
|
||
- **`default_route: true` exige une `gateway` hors mode `bridge`** : un appel qui l'omettait en
|
||
`vxlan` reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils
|
||
annonçaient jusqu'à leur recréation
|
||
- **Les VPC routés existants n'ont pas la route `unreachable default`** : l'agent ne la pose pas
|
||
au démarrage, le watchdog les signale à chaque tick. La recréation du VPC la pose ; d'ici là,
|
||
la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC,
|
||
la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC :
|
||
`ip route replace unreachable default metric 4278198272 table <l3vni>`
|
||
- **`name` est obligatoire sur chaque interface de `POST /vms` (#88)** : un appel qui l'omet reçoit
|
||
un 400. Au démarrage, l'agent nomme `nic-<rang>` (`nic-0`, `nic-1`…) les interfaces des VM
|
||
existantes
|
||
- **Passerelle NAT (#42) : seuls les VPC créés par la 0.3.0 peuvent s'en servir.** Les VPC
|
||
routés existants n'envoient pas leur route par défaut vers la VRF et leur route-map n'exporte
|
||
pas celle de la passerelle ; l'agent ne les reprend pas au démarrage. Recréer le VPC avant de
|
||
lui donner une passerelle
|
||
- **La section `dispatcher` n'est plus lue** : restée dans `/etc/two/agent.yml`, elle est ignorée,
|
||
et les valeurs par défaut de `times` s'appliquent. Une valeur personnalisée de
|
||
`dispatcher.timeout_seconds` est à reporter dans `times.timeout_vms_stop` (et dans les délais
|
||
qui en dépendent)
|
||
- **DNS et NTP (#86) : vider l'hyperviseur avant la mise à jour, puis recréer les VPC.** Les VPC
|
||
créés par la 0.2.0 n'ont ni l'adresse `169.254.169.253`, ni la redirection, ni de place dans
|
||
`two-hostsvc`, et l'agent ne les reprend pas au démarrage. Or le serveur DHCP intégré (backend
|
||
`two`) annonce la gateway comme DNS dès son redémarrage par `deploy.sh` : au renouvellement
|
||
de leur bail (au plus 6 h), les VM de ces VPC perdraient leur DNS. Avec dnsmasq, le fichier de
|
||
configuration n'est pas régénéré et les VM gardent `1.1.1.1`. Dans les deux cas, le watchdog
|
||
signale ces VPC à chaque tick. Procédure : supprimer VM, subnets et VPC de l'hyperviseur,
|
||
mettre à jour avec `deploy.sh` (qui installe et démarre `two-hostsvc`), vérifier
|
||
`systemctl status two-hostsvc`, puis recréer VPC, subnets et VM
|