129 lines
9.2 KiB
Markdown
129 lines
9.2 KiB
Markdown
# Gabriel
|
||
|
||
## Fonctionnalités
|
||
|
||
**Délais dédiés : section `times` (#79)**
|
||
|
||
- Nouvelle section `times` de la configuration, en secondes : `timeout_vms_stop` (300),
|
||
`next_vms_shutdown` (30), `timeout_subnet_stop` (360), `timeout_vpc_stop` (420),
|
||
`timeout_subnet_start` (300), `timeout_vms_start` (300), `poll_interval` (2). Elle remplace
|
||
`dispatcher.timeout_seconds` et `dispatcher.poll_seconds`, qui servaient à des attentes de
|
||
nature différente. Une valeur nulle ou négative, ou `next_vms_shutdown` au moins égal à
|
||
`timeout_vms_stop`, fait échouer le démarrage
|
||
- **Une VM et son subnet se suppriment d'un coup** : la suppression d'un subnet est acceptée
|
||
quand ses VM sont en `deleting`, et attend leur suppression jusqu'à `timeout_subnet_stop`. Le
|
||
409 reste pour une VM ni supprimée ni en `deleting`
|
||
|
||
**DNS et NTP des VM par l'hyperviseur : `two-hostsvc` (#86)**
|
||
|
||
- Nouveau service `two-hostsvc.service`, un par hyperviseur, démarré avant l'agent : il relaie
|
||
DNS (UDP et TCP) et NTP pour les VM de tous les VPC, depuis l'adresse `169.254.169.253` posée
|
||
dans le netns de chaque VPC. Une VM sans sortie Internet garde DNS et NTP, sans route entre la
|
||
VRF du VPC et l'hôte
|
||
- **Le DHCP annonce l'`interface_ip` du subnet comme DNS (option 6) et NTP (option 42)**, dans les
|
||
deux backends ; `1.1.1.1` et `8.8.8.8` ne sont plus annoncés. Les requêtes des VM vers leur
|
||
gateway sur 53 et 123 sont redirigées vers `two-hostsvc` ; celles vers un résolveur extérieur
|
||
ne le sont pas
|
||
- Nouvelle section `hostsvc` de la configuration : `dns_upstream` et `ntp_upstream` (serveurs
|
||
interrogés en premier ; à défaut, le résolveur et l'horloge de l'hôte) et `rate_limit_per_vpc`
|
||
(100 requêtes par seconde par défaut, DNS et NTP confondus)
|
||
- **La création d'un VPC échoue si `two-hostsvc` ne répond pas**, plutôt que de créer un VPC sans
|
||
DNS ni NTP. Le watchdog signale un `two-hostsvc` injoignable et, pour chaque VPC, un élément
|
||
manquant (adresse, redirection, VPC non servi)
|
||
|
||
**Filtrage au port de chaque VM (#76)**
|
||
|
||
- Chaque interface de VM ne peut émettre que depuis sa propre MAC et sa propre IP. Sont rejetés
|
||
à la sortie du tap : une MAC source étrangère, l'ARP dont la MAC ou l'adresse d'émetteur n'est
|
||
pas celle de l'interface (sauf la sonde `0.0.0.0`), l'IPv4 d'une autre source (sauf `0.0.0.0`
|
||
vers le port 67), les réponses de serveur DHCP et les trames d'un autre type qu'IPv4, ARP ou
|
||
IPv6. Une VM ne peut plus se faire passer pour la gateway, une autre VM ou un serveur DHCP
|
||
auprès de ses voisines. L'IPv6 n'est pas filtrée (#61)
|
||
- Nouveau champ `dhcp_server` d'une interface (faux par défaut, toujours renvoyé par le GET) : il
|
||
autorise cette interface à répondre en DHCP, par exemple pour servir le PXE de machines diskless
|
||
sur un subnet `bridge`
|
||
- Les règles sont posées avant la création du tap et retirées après sa suppression ; le watchdog
|
||
signale une interface d'une VM `running` dont les règles manquent ou ont été modifiées
|
||
|
||
**Segment public de l'hôte (#87)**
|
||
|
||
- `deploy.sh -i` crée `vxlan-public`, VXLAN du segment public partagé avec les bordures, sur le
|
||
bridge public (`-P`, `br-public`) : VNI de la nouvelle option `-N`/`--public_vni` (1 par
|
||
défaut), VTEP = IPv4 du bridge principal, sans apprentissage ; recréé si le VNI ou le VTEP
|
||
change. FRR l'annonce par `advertise-all-vni`
|
||
- Plan de VNI : 1 pour le segment public, 2–65535 pour les L3VNI, 65536 et au-delà pour les
|
||
subnets. L'agent ne vérifie pas : l'appelant n'alloue jamais le VNI du segment public
|
||
- L'agent raccorde le veth `vp-<id>-e` de chaque VPC au bridge de `interfaces.internet`
|
||
(`br-public` par défaut, jamais `default_interface`), au lieu d'un nom en dur
|
||
- Le watchdog signale un bridge public absent, éteint ou sans port VXLAN
|
||
|
||
## Correctifs
|
||
|
||
- **Chaque VRF de VPC porte une route `unreachable default` (#81).** Une recherche qui échouait
|
||
dans la table d'une VRF continuait dans la table `main` de l'hôte : un paquet d'un locataire
|
||
vers une adresse inconnue de son VPC sortait par l'underlay, avec `169.254.0.2` pour source
|
||
(mesuré en lab). La route est posée juste après la VRF, avec la métrique maximale
|
||
`4278198272`, de sorte que toute route réelle reste prioritaire ; elle n'est pas annoncée en
|
||
EVPN et elle est retirée au démontage du VPC. Le watchdog signale une VRF qui ne l'a pas.
|
||
IPv4 seulement
|
||
- **`default_route: true` sans `gateway` est réservé au mode `bridge` (#81)** : refusé (400) en
|
||
`vxlan` et en `public_ip`. Hors `bridge`, la gateway lue dans la table de routage de l'hôte
|
||
n'est pas sur le subnet des VM : la route par défaut annoncée était inutilisable
|
||
- **La suppression d'une VM retire ses sockets QEMU (#84).** Quand QEMU échouait au démarrage
|
||
(disque absent par exemple), il pouvait laisser `<vm>.sock` dans `serial_dir`, `monitor_dir` ou
|
||
`qmp_dir`, que la suppression de la VM ne retirait pas. Les trois sont désormais supprimés une
|
||
fois QEMU arrêté ; un fichier absent n'est pas une erreur
|
||
- **`system_powerdown` est renvoyé toutes les `next_vms_shutdown` secondes (#79)** pendant
|
||
l'arrêt d'une VM, jusqu'à `timeout_vms_stop`. Un seul appui était envoyé : arrivé avant que
|
||
l'invité sache le traiter (firmware, chargeur de démarrage), il était perdu, et la suppression
|
||
durait les 300 s du délai avant un `quit` brutal (mesuré en lab)
|
||
- **La suppression d'un VPC échoue si l'un de ses subnets échoue (#79).** Elle attendait qu'aucun
|
||
subnet ne soit plus en `deleting`, puis supprimait le VPC même si un subnet était passé en
|
||
`error`. Il en va de même pour un subnet dont une VM attendue passe en `error`
|
||
- **Un thread de l'agent ne reste plus dans le netns d'un VPC (#91).** Après une opération dans
|
||
un netns, l'agent revenait au netns du thread principal du processus et non à celui du thread
|
||
courant. Si le thread principal était lui-même dans un VPC à cet instant, le thread restait dans
|
||
ce VPC et la goroutine suivante y travaillait : en lab, la suppression d'un subnet a échoué sur
|
||
`delete vxlan: Link not found` et le watchdog a signalé `br-000000` et des VRF absents. L'agent
|
||
revient désormais au netns du thread courant, et un thread qui ne peut pas y revenir est
|
||
détruit au lieu d'être réutilisé. La création d'un netns est corrigée de la même façon
|
||
|
||
## Mise à jour depuis la 0.2.0
|
||
|
||
- **Les règles de pont passent d'ebtables à nftables (#76)** : l'agent appelle `nft` et pose ses
|
||
règles dans une table `bridge two` du netns de chaque VPC. `bootstrap_kvm.sh` installe
|
||
`nftables` à la place d'`ebtables`. Les règles ebtables des subnets existants ne sont ni
|
||
reprises ni retirées : vider l'hyperviseur (VM, subnets, VPC) avant la mise à jour, puis les
|
||
recréer
|
||
- **Une VM ne peut plus émettre depuis une adresse qui n'est pas la sienne (#76)** : une VM qui
|
||
route pour d'autres machines, porte une adresse supplémentaire ou sert le DHCP perd ce trafic.
|
||
Pour un serveur DHCP, créer l'interface avec `dhcp_server: true`
|
||
|
||
- **Relancer `deploy.sh -i` (#87)** sur chaque hyperviseur pour créer `vxlan-public` ; sans lui,
|
||
le watchdog signale un bridge public sans port VXLAN à chaque tick. Un VPC routé dont le
|
||
`l3vni` vaut 1 doit être recréé avec un autre L3VNI avant : sinon la création de
|
||
`vxlan-public` échoue sur ce VNI déjà porté
|
||
- **`interfaces.internet` désigne désormais le bridge public (#87)** : une valeur héritée de
|
||
l'ancien exemple (`internet: br-000000`) raccorderait les VPC à l'underlay. La retirer, ou la
|
||
mettre à `br-public`
|
||
- **`default_route: true` exige une `gateway` hors mode `bridge`** : un appel qui l'omettait en
|
||
`vxlan` reçoit désormais un 400. Les subnets existants gardent la route par défaut qu'ils
|
||
annonçaient jusqu'à leur recréation
|
||
- **Les VPC routés existants n'ont pas la route `unreachable default`** : l'agent ne la pose pas
|
||
au démarrage, le watchdog les signale à chaque tick. La recréation du VPC la pose ; d'ici là,
|
||
la fuite vers l'underlay décrite plus haut reste possible. Pour la fermer sans recréer le VPC,
|
||
la poser à la main sur chaque hyperviseur, la table étant le `l3vni` du VPC :
|
||
`ip route replace unreachable default metric 4278198272 table <l3vni>`
|
||
- **La section `dispatcher` n'est plus lue** : restée dans `/etc/two/agent.yml`, elle est ignorée,
|
||
et les valeurs par défaut de `times` s'appliquent. Une valeur personnalisée de
|
||
`dispatcher.timeout_seconds` est à reporter dans `times.timeout_vms_stop` (et dans les délais
|
||
qui en dépendent)
|
||
- **DNS et NTP (#86) : vider l'hyperviseur avant la mise à jour, puis recréer les VPC.** Les VPC
|
||
créés par la 0.2.0 n'ont ni l'adresse `169.254.169.253`, ni la redirection, ni de place dans
|
||
`two-hostsvc`, et l'agent ne les reprend pas au démarrage. Or le serveur DHCP intégré (backend
|
||
`two`) annonce la gateway comme DNS dès son redémarrage par `deploy.sh` : au renouvellement
|
||
de leur bail (au plus 6 h), les VM de ces VPC perdraient leur DNS. Avec dnsmasq, le fichier de
|
||
configuration n'est pas régénéré et les VM gardent `1.1.1.1`. Dans les deux cas, le watchdog
|
||
signale ces VPC à chaque tick. Procédure : supprimer VM, subnets et VPC de l'hyperviseur,
|
||
mettre à jour avec `deploy.sh` (qui installe et démarre `two-hostsvc`), vérifier
|
||
`systemctl status two-hostsvc`, puis recréer VPC, subnets et VM
|