Observabilité#

Métriques Prometheus#

Exposées sur le port prometheus.port (9090 par défaut), alimentées par l’état lu en base :

Métrique

Description

syonad_vpcs_total

nombre de VPC, par état

syonad_subnets_total

nombre de subnets, par état

syonad_vms_total

nombre de VM, par état

syonad_nat_gateways_total

nombre de passerelles NAT, par état

syonad_floating_ips_total

nombre d’IP flottantes, par état

Les états sont ceux du cycle de vie. Une valeur non nulle et durable sur error est l’alerte la plus utile à poser ; une valeur durable sur creating ou deleting signale une opération qui n’aboutit pas.

Connaissance de l’hôte#

Deux routes de l’API de l’agent, en lecture seule (voir Référence) :

GET /register

ce qui ne change pas tant que l’hôte tourne : hostname, CPU (fabricant, modèle, sockets, cœurs, threads), RAM totale, OS (/etc/os-release) et noyau. Lu une fois au démarrage de l’agent ; si la lecture échoue, l’agent démarre quand même, journalise host facts unavailable et la route répond 503 avec l’erreur.

GET /ping

l’état courant : version de l’agent, démarrage de l’hôte (boot_time) et de l’agent (agent_start_time), uptime de l’hôte et load sur 1, 5 et 15 minutes. Mesuré au démarrage puis toutes les times.host_state_interval secondes (10 par défaut), gardé en mémoire ; collected_at donne l’heure de la mesure. 503 tant qu’aucune mesure n’a réussi ; une mesure en échec est journalisée (host state collection failed) et la précédente reste servie.

Les dates sont des timestamps Unix en secondes. Un boot_time qui change signale un redémarrage de l’hôte, un agent_start_time seul un redémarrage de l’agent ; boot_time + uptime_seconds donne l’horloge de l’hôte au moment de la mesure.

La version de l’agent est injectée au build : le tag pour une release, le commit court (suffixé -dirty si l’arbre avait des modifications) pour les binaires de test du lab, undefined sinon. Elle figure aussi dans la ligne starting agent du journal.

Watchdog#

Une goroutine périodique vérifie que les ressources marquées running en base existent toujours sur le système, et notifie les écarts sans jamais réparer. Il est désactivé par défaut (enabled: false) ; l’activer explicitement :

watchdog:
  enabled: true
  interval_seconds: 60

Il contrôle notamment l’existence des network namespaces, des liens réseau des subnets, des taps de VM et la réponse des units systemd associées, ainsi que le segment public : le bridge public (interfaces.internet) doit exister, être actif et porter un port VXLAN (vxlan-public), sinon les VPC de l’hôte n’ont pas de segment public. Il ne vérifie pas le numéro du VNI.

Dès qu’un VPC est running sur l’hyperviseur, il contrôle aussi le relais DNS et NTP (voir DNS et NTP des VM) :

  • two-hostsvc injoignable sur sa socket de contrôle : une notification, aucun VPC de l’hyperviseur n’a plus de DNS ni de NTP ;

  • pour chaque VPC running : VPC absent de la liste servie par two-hostsvc, 169.254.169.253 absente de la dummy hostsvc, ou chaîne hostsvc de la table ip two absente ou incomplète dans son netns. Un VPC créé par une version antérieure à la 0.3.0 n’a rien de tout cela : il est signalé à chaque tick jusqu’à sa recréation.

Avec une section bgp dans la configuration, il contrôle aussi le plan de contrôle :

  • Sessions BGP : une notification par route reflector dont la session n’est pas Established (show bgp neighbors <ip>).

  • VPC routés (l3vni, état running) : présence et état des interfaces vrf-<id>, brl3-<id>, vxl3-<id>, l3-<id>-o et, dans le netns, l3-<id>-i ; L3VNI de type L3, Up, avec la MAC de routeur attendue (show evpn vni <l3vni>) ; route unreachable default de métrique 4278198272 dans la table de la VRF. Un VPC routé créé par une version antérieure à la 0.3.0 ne l’a pas : il est signalé à chaque tick jusqu’à sa recréation, l’agent ne la pose pas au démarrage.

  • Réconciliation des routes exportées dans la VRF : chaque /24 de subnet vxlan et chaque /32 d’interface de VM running doit être exporté, ainsi que la route par défaut quand le VPC a une passerelle NAT running sur l’hôte (voir Passerelle NAT) ; à l’inverse, une route exportée dont le propriétaire n’existe plus — ni running, ni en creating, deleting ou error — est signalée comme un trou noir : l’annonce attire du trafic que plus rien ne reçoit.

Un VPC routé alors que la section bgp a disparu de la configuration est signalé lui aussi. Il reste supprimable : le démontage lit l’AS de son instance dans la configuration courante de FRR.

Note

Un écart persistant est signalé à chaque tick, sans déduplication. Le volume de notifications est donc proportionnel à la durée de l’anomalie : c’est voulu, mais cela veut dire qu’une alerte doit agréger, pas compter.

Le watchdog étant strictement en lecture seule, une divergence entre la base et le système subsiste jusqu’à une action explicite (DELETE puis recréation).

Journaux#

slog structuré, niveau réglé par logger.level (debug, info, warn, error), logger.debug: true forçant debug.

journalctl -u agent -f
journalctl -u 'metadata@i-web' -n 50
tail -f /var/log/dnsmasq-vp-admin_br-000001.log        # backend dnsmasq
journalctl -fu 'dhcp@vp-admin_br-000001'             # backend two

Inspection de la base#

En ligne de commande, sur l’host. Le binaire db n’est ni publié dans les releases ni déployé par deploy.sh : il se compile depuis les sources, puis se copie sur l’host. Sans sous-commande, il n’affiche que son usage ; print liste toute la base :

CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o db ./cmd/db
./db -conf /etc/two/agent.yml print

Avertissement

db ouvre directement la base Badger. Ne pas l’utiliser pendant que l’agent tourne : deux processus ne doivent pas ouvrir la même instance.

L’API d’administration donne la même lecture sans ce risque, quand elle est activée :

curl -s 'http://127.0.0.1:9091/db?prefix=vm/'

Elle expose l’intégralité des valeurs, y compris les hashs de mot de passe — cf. Configuration.