two/docs/exploitation/diagnostic.rst
GnomeZworc 85320fce0e
f-95: doc: MAC figée sur le tap, notes 0.3.0 #95
Signed-off-by: GnomeZworc <nicolas.boufidjeline@g3e.fr>
2026-10-31 23:34:28 +01:00

249 lines
10 KiB
ReStructuredText

Diagnostic
==========
Symptôme, cause probable, vérification. Les causes listées sont celles réellement rencontrées.
La ressource part en ``error`` juste après le 202
-------------------------------------------------
``Execute`` a échoué : la cause est dans le journal de l'agent, pas dans la réponse HTTP.
.. code-block:: bash
journalctl -u agent -n 100
Cas fréquents :
* subnet en mode ``public_ip`` dont le nom n'est pas unique sur l'hyperviseur, ou dont la partie
après le premier tiret dépasse 10 caractères (noms d'interface) ;
* ``vxlan_id`` déjà utilisé sur l'host ;
* bridge cible absent : ``iface_type`` inconnu retombé sur ``default_interface``, lui-même
inexistant.
Avant toute recréation, émettre un ``DELETE`` : il n'y a pas de rollback, les objets système
partiellement créés subsistent.
La VM démarre mais n'a pas d'adresse
------------------------------------
Le DHCP est servi par une instance dédiée au subnet. Quelle unit selon ``dhcp.backend`` :
**Backend ``dnsmasq``**
.. code-block:: bash
systemctl status 'dnsmasq@<netns>_<bridge>'
tail -50 /var/log/dnsmasq-<netns>_<bridge>.log
cat /run/dnsmasq-<netns>_<bridge>.leases
cat /etc/dnsmasq.d/<netns>_<bridge>.conf
**Backend ``two``**
.. code-block:: bash
systemctl status 'dhcp@<netns>_<bridge>'
journalctl -u 'dhcp@<netns>_<bridge>' -n 50
# Ce que le serveur a réellement en mémoire
echo '{"verb":"get-state"}' \
| socat - UNIX-CONNECT:/run/two/dhcp/<netns>_<bridge>.sock | jq .
# Ce qu'il enverrait à une MAC donnée, sans effet de bord
echo '{"verb":"probe","mac":"00:22:33:00:00:0A"}' \
| socat - UNIX-CONNECT:/run/two/dhcp/<netns>_<bridge>.sock | jq '{served, lease}'
``probe`` est le point de départ le plus rapide : il montre l'adresse, le masque, le routeur, les
DNS et les routes classless tels qu'ils partiraient. Une réponse ``"served": false`` signifie que
la MAC n'est pas réservée — l'ordre ``set-host`` n'a jamais atteint le serveur, ou la VM n'a pas
été créée par cet agent.
Le watchdog signale ces écarts de lui-même, à chaque tick, en comparant l'état servi à la base :
``dhcp reservation missing on the server``, ``stale dhcp reservation``, ``dhcp reservation
diverges``. Regarder ses notifications avant de sonder à la main. Seules les VM ``running`` sont
comparées : pendant une création ou une suppression, ou pour une VM en ``error``, la réservation
peut être présente ou absente sans alerte.
Si le serveur ne voit passer aucune requête, le problème est en amont : tap absent, bridge non
raccordé, VM dans le mauvais netns.
La VM ne joint pas sa gateway (subnet ``vxlan``)
------------------------------------------------
La gateway d'un subnet ``vxlan`` est un macvlan ``gw-<subnet>`` à MAC anycast
(:doc:`/concepts/modes-reseau`). Le watchdog contrôle sa présence, sa MAC, les adresses et l'entrée
FDB : ses notifications (``interface gw-…``, ``lacks the gateway address``, ``no local fdb
entry``…) disent déjà ce qui manque. À la main, dans le netns du VPC :
.. code-block:: bash
# macvlan actif, MAC 02:01:00:<VNI>, gateway en /32 ; adresse d'émission seule sur le bridge
ip -n <vpc> -br addr show gw-<subnet>
ip -n <vpc> -br addr show br-<subnet>
# entrée locale de la MAC anycast dans le bridge (« master br-<subnet> permanent »)
ip netns exec <vpc> bridge fdb show br br-<subnet> | grep 02:01:00
# route du subnet émise depuis la gateway
ip -n <vpc> -4 route show dev br-<subnet>
# confinement : chaînes pre-, fwd- et out-v-<subnet>-i, source anycast rejetée
ip netns exec <vpc> nft list table bridge two
Dans le guest, ``ip neigh show <gateway>`` doit montrer la MAC ``02:01:00:<VNI>``. Une autre MAC —
celle d'un hôte, ``02:03:…`` — signale un subnet de l'ancien modèle (sans ``relay_ip``) ou une
gateway posée sur le bridge.
Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission :
``ip netns exec <vpc> ping -I <relay_ip> <ip>``. Un ping sans ``-I`` part de la gateway et la
réponse revient à l'hôte de la VM — ce n'est pas une panne.
Une VM n'arrive pas à émettre certaines trames
----------------------------------------------
Le filtrage du tap rejette ce qu'une interface émet depuis une autre MAC ou une autre IP que les
siennes, l'ARP usurpé, les réponses DHCP et les trames d'un autre type qu'IPv4, ARP ou IPv6
(:doc:`/concepts/vpc-subnet-vm`). Causes rencontrées : une VM qui route pour d'autres machines,
porte une adresse supplémentaire, envoie des trames étiquetées VLAN, ou sert le DHCP sans
``dhcp_server: true`` sur son interface. Ce n'est pas une panne : le filtrage est voulu.
Retrouver la chaîne d'une interface par sa MAC, puis lire ses règles :
.. code-block:: bash
ip netns exec <vpc> nft list table bridge two | grep -B1 'ether saddr != <mac> drop'
ip netns exec <vpc> nft list chain bridge two pre-tap<id>
Une chaîne absente, ou une interface absente de ``pre_ports``, laisse la VM émettre sans filtre :
le watchdog le signale (``interface <i>: nftables rule missing``). Recréer la VM repose ses règles.
La MAC de chaque interface est figée sur son tap par une entrée de pont ``static sticky``
(:doc:`/concepts/vpc-subnet-vm`). Sans elle, après une migration, la VM peut rester injoignable
quelques secondes : sa MAC a été réapprise vers ``v-<subnet>-i``. Le watchdog le signale
(``interface <i>: mac <mac> not pinned on tap<id>``). Lire l'entrée, et la reposer à la main :
.. code-block:: bash
ip netns exec <vpc> bridge fdb show dev tap<id>
ip netns exec <vpc> bridge fdb replace <mac> dev tap<id> master static sticky
La VM a une adresse mais cloud-init n'applique rien
---------------------------------------------------
Deux causes distinctes, à écarter dans cet ordre.
**1. La VM porte déjà cet ``instance-id``.** ``instance-id`` vaut le nom de la VM : sur un disque
déjà provisionné sous le même nom, cloud-init considère l'instance connue et ne rejoue pas le
user-data. Vérification dans le guest :
.. code-block:: bash
cloud-init query instance-id
ls /var/lib/cloud/instances/
**2. Le serveur de metadata est injoignable.** Depuis le guest — le serveur ne sert que
``/meta-data``, ``/user-data``, ``/network-config`` et ``/vendor-data``, tout autre chemin
renvoie 404 :
.. code-block:: bash
ip route
curl -s http://169.254.169.254/meta-data
La route ``169.254.169.254/32`` doit être présente, avec l'``interface_ip`` du subnet comme
next-hop. Si elle est absente ou pointe ailleurs, la DNAT posée en ``PREROUTING`` dans le netns
n'est jamais traversée : la trame est commutée en L2 et le serveur reste injoignable. Voir
:doc:`/concepts/modes-reseau`.
Depuis l'host, l'instance correspondante :
.. code-block:: bash
systemctl status 'metadata@<vm>'
ls -l /run/two/metadata/<vm>/
ip netns exec <vpc> nft list chain ip two md-<vm> # une dnat par IP de la VM
Le user-data est servi vide
---------------------------
C'est le comportement attendu quand ``user_data`` est absent ou vide à la création : les deux cas
sont équivalents, et aucun template ne prend le relais pour ``user-data``. Vérifier le contenu
réellement écrit :
.. code-block:: bash
cat /run/two/metadata/<vm>/user-data
Un base64 invalide, lui, aurait été rejeté en 400 à la création.
La VM ne résout pas les noms ou n'a pas l'heure
-----------------------------------------------
La VM interroge sa gateway (``interface_ip``), que le DHCP annonce en DNS et en NTP ; la requête
est redirigée vers ``two-hostsvc`` dans le netns du VPC (voir :doc:`../concepts/dns-ntp`).
.. code-block:: bash
# Dans la VM : DNS et NTP annoncés par le bail (systemd-networkd)
sudo cat /run/systemd/netif/leases/$(cat /sys/class/net/ens3/ifindex) | grep -E '^(DNS|NTP)='
# Sur l'hyperviseur
systemctl status two-hostsvc
cat /run/two/hostsvc/hostsvc.state # le VPC doit y figurer
ip -n <vpc> -4 addr show dev hostsvc # 169.254.169.253/32
ip netns exec <vpc> nft list chain ip two hostsvc # 2 return puis 3 dnat
ip netns exec <vpc> ss -lntu | grep 169.254.169.253 # 53/udp, 53/tcp, 123/udp
journalctl -u two-hostsvc -n 50
Causes rencontrées :
* ``two-hostsvc`` arrêté : plus de DNS ni de NTP pour aucun VPC de l'hyperviseur, et un VPC créé
pendant ce temps part en ``error`` ;
* adresse ``169.254.169.253`` ou règle de la chaîne retirée à la main : la requête n'arrive plus
au relais ; le watchdog le signale ;
* VPC créé par une version antérieure à la 0.3.0 : ni ``dummy`` ni chaîne ni socket. Le recréer ;
* ``open`` refusé par ``two-hostsvc`` avec ``permission denied`` ou ``invalid argument`` sur
``/var/run/netns/<vpc>`` : l'unit n'a pas ``CAP_DAC_READ_SEARCH``, ou le netns, créé après le
démarrage du service, ne lui est pas visible parce que ``/`` n'est pas en propagation
``shared`` (``findmnt -no PROPAGATION /``). Rencontré en conteneur, pas sur un hyperviseur.
Sans serveur ``ntp_upstream`` qui réponde, l'heure vient de l'horloge de l'hyperviseur : si
celle-ci n'est pas synchronisée, la réponse porte l'indicateur d'alarme et la VM l'ignore.
La VM ne démarre pas (UEFI)
---------------------------
``uefi: true`` exige les fichiers OVMF déclarés dans la configuration :
.. code-block:: bash
ls -l /usr/share/OVMF/OVMF_CODE.fd /usr/share/OVMF/OVMF_VARS.fd
ls -l /run/two/vms/uefi/
Sur Debian et Ubuntu, le paquet est ``ovmf``.
Le ``DELETE`` renvoie 409
-------------------------
La suppression n'est autorisée que depuis ``running`` ou ``error``. Depuis ``creating`` ou
``deleting``, attendre l'état stable. Pour un VPC, tous les subnets doivent être supprimés
d'abord.
La base et le système ont divergé
---------------------------------
Le watchdog signale une ressource ``running`` absente du système. Il ne répare rien : la
correction est un ``DELETE`` explicite suivi d'une recréation. Après un redémarrage de l'agent,
les ressources restées transitoires sont basculées en ``error`` par la migration de démarrage —
elles n'ont pas forcément échoué, elles ont été interrompues.
L'agent ne redémarre pas après un arrêt brutal
----------------------------------------------
Badger rejoue son journal au démarrage : c'est normal et attendu, notamment si le budget d'arrêt
précédent a été dépassé et que la base n'a pas été fermée. Si le démarrage échoue vraiment, le
message se trouve dans ``journalctl -u agent``.
.. note::
Les VM ne sont pas réattachées au redémarrage de l'agent : un processus QEMU survivant à
l'agent n'est plus piloté par lui.