All checks were successful
Documentation / publish (push) Successful in 1m27s
Release Pipeline / set-release-target (push) Successful in 2s
Release Pipeline / upload-assets (agent.service, systemd/agent.service) (push) Successful in 8s
Release Pipeline / upload-assets (dhcp@.service, systemd/dhcp@.service) (push) Successful in 7s
Release Pipeline / upload-assets (dnsmasq@.service, systemd/dnsmasq@.service) (push) Successful in 7s
Release Pipeline / upload-assets (metadata@.service, systemd/metadata@.service) (push) Successful in 7s
Release Pipeline / upload-assets (run-dhcp-in-netns.sh, scripts/run-dhcp-in-netns.sh) (push) Successful in 7s
Release Pipeline / build (dhcp, amd64, linux) (push) Successful in 0s
Release Pipeline / build (agent, amd64, linux) (push) Successful in 0s
Release Pipeline / build (metadata, amd64, linux) (push) Successful in 0s
Release Pipeline / upload-assets (run-dnsmasq-in-netns.sh, scripts/run-dnsmasq-in-netns.sh) (push) Successful in 7s
Release Pipeline / checksums (push) Successful in 8s
Release Pipeline / release (push) Successful in 28s
Release Pipeline / publish (push) Successful in 0s
Release Pipeline / build (push) Successful in 2m9s
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
98 lines
3.5 KiB
ReStructuredText
98 lines
3.5 KiB
ReStructuredText
Observabilité
|
|
=============
|
|
|
|
Métriques Prometheus
|
|
--------------------
|
|
|
|
Exposées sur le port ``prometheus.port`` (9090 par défaut), alimentées par l'état lu en base :
|
|
|
|
.. list-table::
|
|
:header-rows: 1
|
|
:widths: 40 60
|
|
|
|
* - Métrique
|
|
- Description
|
|
* - ``syonad_vpcs_total``
|
|
- nombre de VPC, par état
|
|
* - ``syonad_subnets_total``
|
|
- nombre de subnets, par état
|
|
* - ``syonad_vms_total``
|
|
- nombre de VM, par état
|
|
|
|
Les états sont ceux du :doc:`cycle de vie </concepts/cycle-de-vie>`. Une valeur non nulle et
|
|
durable sur ``error`` est l'alerte la plus utile à poser ; une valeur durable sur ``creating``
|
|
ou ``deleting`` signale une opération qui n'aboutit pas.
|
|
|
|
Watchdog
|
|
--------
|
|
|
|
Une goroutine périodique vérifie que les ressources marquées ``running`` en base existent
|
|
toujours sur le système, et **notifie les écarts sans jamais réparer**.
|
|
|
|
.. code-block:: yaml
|
|
|
|
watchdog:
|
|
enabled: true
|
|
interval_seconds: 60
|
|
|
|
Il contrôle notamment l'existence des network namespaces, des liens réseau des subnets, des taps
|
|
de VM et la réponse des units systemd associées.
|
|
|
|
Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de contrôle :
|
|
|
|
* **Sessions BGP** : une notification par route reflector dont la session n'est pas
|
|
``Established`` (``show bgp neighbors <ip>``).
|
|
* **VPC routés** (``l3vni``, état ``running``) : présence et état des interfaces ``vrf-<id>``,
|
|
``brl3-<id>``, ``vxl3-<id>``, ``l3-<id>-o`` et, dans le netns, ``l3-<id>-i`` ; L3VNI de type
|
|
``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni <l3vni>``).
|
|
* **Réconciliation des routes exportées** dans la VRF : chaque ``/24`` de subnet ``vxlan`` et chaque
|
|
``/32`` d'interface de VM ``running`` doit être exporté ; à l'inverse, une route exportée dont
|
|
le propriétaire n'existe plus — ni ``running``, ni en ``creating``, ``deleting`` ou ``error`` —
|
|
est signalée comme un **trou noir** : l'annonce attire du trafic que plus rien ne reçoit.
|
|
|
|
Un VPC routé alors que la section ``bgp`` a disparu de la configuration est signalé lui aussi.
|
|
|
|
.. note::
|
|
|
|
Un écart persistant est signalé **à chaque tick**, sans déduplication. Le volume de
|
|
notifications est donc proportionnel à la durée de l'anomalie : c'est voulu, mais cela veut
|
|
dire qu'une alerte doit agréger, pas compter.
|
|
|
|
Le watchdog étant strictement en lecture seule, une divergence entre la base et le système
|
|
subsiste jusqu'à une action explicite (``DELETE`` puis recréation).
|
|
|
|
Journaux
|
|
--------
|
|
|
|
``slog`` structuré, niveau réglé par ``logger.level`` (``debug``, ``info``, ``warn``, ``error``),
|
|
``logger.debug: true`` forçant ``debug``.
|
|
|
|
.. code-block:: bash
|
|
|
|
journalctl -u agent -f
|
|
journalctl -u 'metadata@i-web' -n 50
|
|
tail -f /var/log/dnsmasq-vp-admin_br-sn000001.log # backend dnsmasq
|
|
journalctl -fu 'dhcp@vp-admin_br-sn000001' # backend two
|
|
|
|
Inspection de la base
|
|
---------------------
|
|
|
|
En ligne de commande, sur l'host :
|
|
|
|
.. code-block:: bash
|
|
|
|
/opt/two/bin/db -conf /etc/two/agent.yml
|
|
|
|
.. warning::
|
|
|
|
``db`` ouvre directement la base Badger. **Ne pas l'utiliser pendant que l'agent tourne** :
|
|
deux processus ne doivent pas ouvrir la même instance.
|
|
|
|
L'API d'administration donne la même lecture sans ce risque, quand elle est activée :
|
|
|
|
.. code-block:: bash
|
|
|
|
curl -s 'http://127.0.0.1:9091/db?prefix=vm/'
|
|
|
|
Elle expose l'intégralité des valeurs, **y compris les hashs de mot de passe** — cf.
|
|
:doc:`/exploitation/configuration`.
|