122 lines
5.2 KiB
ReStructuredText
122 lines
5.2 KiB
ReStructuredText
Observabilité
|
|
=============
|
|
|
|
Métriques Prometheus
|
|
--------------------
|
|
|
|
Exposées sur le port ``prometheus.port`` (9090 par défaut), alimentées par l'état lu en base :
|
|
|
|
.. list-table::
|
|
:header-rows: 1
|
|
:widths: 40 60
|
|
|
|
* - Métrique
|
|
- Description
|
|
* - ``syonad_vpcs_total``
|
|
- nombre de VPC, par état
|
|
* - ``syonad_subnets_total``
|
|
- nombre de subnets, par état
|
|
* - ``syonad_vms_total``
|
|
- nombre de VM, par état
|
|
* - ``syonad_nat_gateways_total``
|
|
- nombre de passerelles NAT, par état
|
|
|
|
Les états sont ceux du :doc:`cycle de vie </concepts/cycle-de-vie>`. Une valeur non nulle et
|
|
durable sur ``error`` est l'alerte la plus utile à poser ; une valeur durable sur ``creating``
|
|
ou ``deleting`` signale une opération qui n'aboutit pas.
|
|
|
|
Watchdog
|
|
--------
|
|
|
|
Une goroutine périodique vérifie que les ressources marquées ``running`` en base existent
|
|
toujours sur le système, et **notifie les écarts sans jamais réparer**. Il est **désactivé par
|
|
défaut** (``enabled: false``) ; l'activer explicitement :
|
|
|
|
.. code-block:: yaml
|
|
|
|
watchdog:
|
|
enabled: true
|
|
interval_seconds: 60
|
|
|
|
Il contrôle notamment l'existence des network namespaces, des liens réseau des subnets, des taps
|
|
de VM et la réponse des units systemd associées, ainsi que le **segment public** : le bridge
|
|
public (``interfaces.internet``) doit exister, être actif et porter un port VXLAN
|
|
(``vxlan-public``), sinon les VPC de l'hôte n'ont pas de segment public. Il ne vérifie pas le
|
|
numéro du VNI.
|
|
|
|
Dès qu'un VPC est ``running`` sur l'hyperviseur, il contrôle aussi le relais DNS et NTP (voir
|
|
:doc:`../concepts/dns-ntp`) :
|
|
|
|
* ``two-hostsvc`` injoignable sur sa socket de contrôle : une notification, aucun VPC de
|
|
l'hyperviseur n'a plus de DNS ni de NTP ;
|
|
* pour chaque VPC ``running`` : VPC absent de la liste servie par ``two-hostsvc``,
|
|
``169.254.169.253`` absente de la ``dummy`` ``hostsvc``, ou chaîne ``TWO-HOSTSVC`` absente ou
|
|
incomplète dans son netns. Un VPC créé par une version antérieure à la 0.3.0 n'a rien de tout
|
|
cela : il est signalé à chaque tick jusqu'à sa recréation.
|
|
|
|
Avec une section ``bgp`` dans la configuration, il contrôle aussi le plan de contrôle :
|
|
|
|
* **Sessions BGP** : une notification par route reflector dont la session n'est pas
|
|
``Established`` (``show bgp neighbors <ip>``).
|
|
* **VPC routés** (``l3vni``, état ``running``) : présence et état des interfaces ``vrf-<id>``,
|
|
``brl3-<id>``, ``vxl3-<id>``, ``l3-<id>-o`` et, dans le netns, ``l3-<id>-i`` ; L3VNI de type
|
|
``L3``, ``Up``, avec la MAC de routeur attendue (``show evpn vni <l3vni>``) ; route
|
|
``unreachable default`` de métrique ``4278198272`` dans la table de la VRF. Un VPC routé créé
|
|
par une version antérieure à la 0.3.0 ne l'a pas : il est signalé à chaque tick jusqu'à sa
|
|
recréation, l'agent ne la pose pas au démarrage.
|
|
* **Réconciliation des routes exportées** dans la VRF : chaque ``/24`` de subnet ``vxlan`` et chaque
|
|
``/32`` d'interface de VM ``running`` doit être exporté, ainsi que la route par défaut quand le
|
|
VPC a une passerelle NAT ``running`` sur l'hôte (voir :doc:`../concepts/passerelle-nat`) ; à l'inverse, une route exportée dont
|
|
le propriétaire n'existe plus — ni ``running``, ni en ``creating``, ``deleting`` ou ``error`` —
|
|
est signalée comme un **trou noir** : l'annonce attire du trafic que plus rien ne reçoit.
|
|
|
|
Un VPC routé alors que la section ``bgp`` a disparu de la configuration est signalé lui aussi. Il
|
|
reste supprimable : le démontage lit l'AS de son instance dans la configuration courante de FRR.
|
|
|
|
.. note::
|
|
|
|
Un écart persistant est signalé **à chaque tick**, sans déduplication. Le volume de
|
|
notifications est donc proportionnel à la durée de l'anomalie : c'est voulu, mais cela veut
|
|
dire qu'une alerte doit agréger, pas compter.
|
|
|
|
Le watchdog étant strictement en lecture seule, une divergence entre la base et le système
|
|
subsiste jusqu'à une action explicite (``DELETE`` puis recréation).
|
|
|
|
Journaux
|
|
--------
|
|
|
|
``slog`` structuré, niveau réglé par ``logger.level`` (``debug``, ``info``, ``warn``, ``error``),
|
|
``logger.debug: true`` forçant ``debug``.
|
|
|
|
.. code-block:: bash
|
|
|
|
journalctl -u agent -f
|
|
journalctl -u 'metadata@i-web' -n 50
|
|
tail -f /var/log/dnsmasq-vp-admin_br-000001.log # backend dnsmasq
|
|
journalctl -fu 'dhcp@vp-admin_br-000001' # backend two
|
|
|
|
Inspection de la base
|
|
---------------------
|
|
|
|
En ligne de commande, sur l'host. Le binaire ``db`` n'est **ni publié dans les releases ni
|
|
déployé** par ``deploy.sh`` : il se compile depuis les sources, puis se copie sur l'host. Sans
|
|
sous-commande, il n'affiche que son usage ; ``print`` liste toute la base :
|
|
|
|
.. code-block:: bash
|
|
|
|
CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o db ./cmd/db
|
|
./db -conf /etc/two/agent.yml print
|
|
|
|
.. warning::
|
|
|
|
``db`` ouvre directement la base Badger. **Ne pas l'utiliser pendant que l'agent tourne** :
|
|
deux processus ne doivent pas ouvrir la même instance.
|
|
|
|
L'API d'administration donne la même lecture sans ce risque, quand elle est activée :
|
|
|
|
.. code-block:: bash
|
|
|
|
curl -s 'http://127.0.0.1:9091/db?prefix=vm/'
|
|
|
|
Elle expose l'intégralité des valeurs, **y compris les hashs de mot de passe** — cf.
|
|
:doc:`/exploitation/configuration`.
|