239 lines
10 KiB
ReStructuredText
239 lines
10 KiB
ReStructuredText
Diagnostic
|
|
==========
|
|
|
|
Symptôme, cause probable, vérification. Les causes listées sont celles réellement rencontrées.
|
|
|
|
La ressource part en ``error`` juste après le 202
|
|
-------------------------------------------------
|
|
|
|
``Execute`` a échoué : la cause est dans le journal de l'agent, pas dans la réponse HTTP.
|
|
|
|
.. code-block:: bash
|
|
|
|
journalctl -u agent -n 100
|
|
|
|
Cas fréquents :
|
|
|
|
* subnet en mode ``public_ip`` dont le nom n'est pas unique sur l'hyperviseur, ou dont la partie
|
|
après le premier tiret dépasse 10 caractères (noms d'interface) ;
|
|
* ``vxlan_id`` déjà utilisé sur l'host ;
|
|
* bridge cible absent : ``iface_type`` inconnu retombé sur ``default_interface``, lui-même
|
|
inexistant.
|
|
|
|
Avant toute recréation, émettre un ``DELETE`` : il n'y a pas de rollback, les objets système
|
|
partiellement créés subsistent.
|
|
|
|
La VM démarre mais n'a pas d'adresse
|
|
------------------------------------
|
|
|
|
Le DHCP est servi par une instance dédiée au subnet. Quelle unit selon ``dhcp.backend`` :
|
|
|
|
**Backend ``dnsmasq``**
|
|
|
|
.. code-block:: bash
|
|
|
|
systemctl status 'dnsmasq@<netns>_<bridge>'
|
|
tail -50 /var/log/dnsmasq-<netns>_<bridge>.log
|
|
cat /run/dnsmasq-<netns>_<bridge>.leases
|
|
cat /etc/dnsmasq.d/<netns>_<bridge>.conf
|
|
|
|
**Backend ``two``**
|
|
|
|
.. code-block:: bash
|
|
|
|
systemctl status 'dhcp@<netns>_<bridge>'
|
|
journalctl -u 'dhcp@<netns>_<bridge>' -n 50
|
|
|
|
# Ce que le serveur a réellement en mémoire
|
|
echo '{"verb":"get-state"}' \
|
|
| socat - UNIX-CONNECT:/run/two/dhcp/<netns>_<bridge>.sock | jq .
|
|
|
|
# Ce qu'il enverrait à une MAC donnée, sans effet de bord
|
|
echo '{"verb":"probe","mac":"00:22:33:00:00:0A"}' \
|
|
| socat - UNIX-CONNECT:/run/two/dhcp/<netns>_<bridge>.sock | jq '{served, lease}'
|
|
|
|
``probe`` est le point de départ le plus rapide : il montre l'adresse, le masque, le routeur, les
|
|
DNS et les routes classless tels qu'ils partiraient. Une réponse ``"served": false`` signifie que
|
|
la MAC n'est pas réservée — l'ordre ``set-host`` n'a jamais atteint le serveur, ou la VM n'a pas
|
|
été créée par cet agent.
|
|
|
|
Le watchdog signale ces écarts de lui-même, à chaque tick, en comparant l'état servi à la base :
|
|
``dhcp reservation missing on the server``, ``stale dhcp reservation``, ``dhcp reservation
|
|
diverges``. Regarder ses notifications avant de sonder à la main. Seules les VM ``running`` sont
|
|
comparées : pendant une création ou une suppression, ou pour une VM en ``error``, la réservation
|
|
peut être présente ou absente sans alerte.
|
|
|
|
Si le serveur ne voit passer aucune requête, le problème est en amont : tap absent, bridge non
|
|
raccordé, VM dans le mauvais netns.
|
|
|
|
La VM ne joint pas sa gateway (subnet ``vxlan``)
|
|
------------------------------------------------
|
|
|
|
La gateway d'un subnet ``vxlan`` est un macvlan ``gw-<subnet>`` à MAC anycast
|
|
(:doc:`/concepts/modes-reseau`). Le watchdog contrôle sa présence, sa MAC, les adresses et l'entrée
|
|
FDB : ses notifications (``interface gw-…``, ``lacks the gateway address``, ``no local fdb
|
|
entry``…) disent déjà ce qui manque. À la main, dans le netns du VPC :
|
|
|
|
.. code-block:: bash
|
|
|
|
# macvlan actif, MAC 02:01:00:<VNI>, gateway en /32 ; adresse d'émission seule sur le bridge
|
|
ip -n <vpc> -br addr show gw-<subnet>
|
|
ip -n <vpc> -br addr show br-<subnet>
|
|
|
|
# entrée locale de la MAC anycast dans le bridge (« master br-<subnet> permanent »)
|
|
ip netns exec <vpc> bridge fdb show br br-<subnet> | grep 02:01:00
|
|
|
|
# route du subnet émise depuis la gateway
|
|
ip -n <vpc> -4 route show dev br-<subnet>
|
|
|
|
# confinement : chaînes pre-, fwd- et out-v-<subnet>-i, source anycast rejetée
|
|
ip netns exec <vpc> nft list table bridge two
|
|
|
|
Dans le guest, ``ip neigh show <gateway>`` doit montrer la MAC ``02:01:00:<VNI>``. Une autre MAC —
|
|
celle d'un hôte, ``02:03:…`` — signale un subnet de l'ancien modèle (sans ``relay_ip``) ou une
|
|
gateway posée sur le bridge.
|
|
|
|
Depuis le netns d'un hôte, une VM d'un **autre** hôte ne répond qu'à l'adresse d'émission :
|
|
``ip netns exec <vpc> ping -I <relay_ip> <ip>``. Un ping sans ``-I`` part de la gateway et la
|
|
réponse revient à l'hôte de la VM — ce n'est pas une panne.
|
|
|
|
Une VM n'arrive pas à émettre certaines trames
|
|
----------------------------------------------
|
|
|
|
Le filtrage du tap rejette ce qu'une interface émet depuis une autre MAC ou une autre IP que les
|
|
siennes, l'ARP usurpé, les réponses DHCP et les trames d'un autre type qu'IPv4, ARP ou IPv6
|
|
(:doc:`/concepts/vpc-subnet-vm`). Causes rencontrées : une VM qui route pour d'autres machines,
|
|
porte une adresse supplémentaire, envoie des trames étiquetées VLAN, ou sert le DHCP sans
|
|
``dhcp_server: true`` sur son interface. Ce n'est pas une panne : le filtrage est voulu.
|
|
|
|
Retrouver la chaîne d'une interface par sa MAC, puis lire ses règles :
|
|
|
|
.. code-block:: bash
|
|
|
|
ip netns exec <vpc> nft list table bridge two | grep -B1 'ether saddr != <mac> drop'
|
|
ip netns exec <vpc> nft list chain bridge two pre-tap<id>
|
|
|
|
Une chaîne absente, ou une interface absente de ``pre_ports``, laisse la VM émettre sans filtre :
|
|
le watchdog le signale (``interface <i>: nftables rule missing``). Recréer la VM repose ses règles.
|
|
|
|
La VM a une adresse mais cloud-init n'applique rien
|
|
---------------------------------------------------
|
|
|
|
Deux causes distinctes, à écarter dans cet ordre.
|
|
|
|
**1. La VM porte déjà cet ``instance-id``.** ``instance-id`` vaut le nom de la VM : sur un disque
|
|
déjà provisionné sous le même nom, cloud-init considère l'instance connue et ne rejoue pas le
|
|
user-data. Vérification dans le guest :
|
|
|
|
.. code-block:: bash
|
|
|
|
cloud-init query instance-id
|
|
ls /var/lib/cloud/instances/
|
|
|
|
**2. Le serveur de metadata est injoignable.** Depuis le guest — le serveur ne sert que
|
|
``/meta-data``, ``/user-data``, ``/network-config`` et ``/vendor-data``, tout autre chemin
|
|
renvoie 404 :
|
|
|
|
.. code-block:: bash
|
|
|
|
ip route
|
|
curl -s http://169.254.169.254/meta-data
|
|
|
|
La route ``169.254.169.254/32`` doit être présente, avec l'``interface_ip`` du subnet comme
|
|
next-hop. Si elle est absente ou pointe ailleurs, la DNAT posée en ``PREROUTING`` dans le netns
|
|
n'est jamais traversée : la trame est commutée en L2 et le serveur reste injoignable. Voir
|
|
:doc:`/concepts/modes-reseau`.
|
|
|
|
Depuis l'host, l'instance correspondante :
|
|
|
|
.. code-block:: bash
|
|
|
|
systemctl status 'metadata@<vm>'
|
|
ls -l /run/two/metadata/<vm>/
|
|
ip netns exec <vpc> nft list chain ip two md-<vm> # une dnat par IP de la VM
|
|
|
|
Le user-data est servi vide
|
|
---------------------------
|
|
|
|
C'est le comportement attendu quand ``user_data`` est absent ou vide à la création : les deux cas
|
|
sont équivalents, et aucun template ne prend le relais pour ``user-data``. Vérifier le contenu
|
|
réellement écrit :
|
|
|
|
.. code-block:: bash
|
|
|
|
cat /run/two/metadata/<vm>/user-data
|
|
|
|
Un base64 invalide, lui, aurait été rejeté en 400 à la création.
|
|
|
|
La VM ne résout pas les noms ou n'a pas l'heure
|
|
-----------------------------------------------
|
|
|
|
La VM interroge sa gateway (``interface_ip``), que le DHCP annonce en DNS et en NTP ; la requête
|
|
est redirigée vers ``two-hostsvc`` dans le netns du VPC (voir :doc:`../concepts/dns-ntp`).
|
|
|
|
.. code-block:: bash
|
|
|
|
# Dans la VM : DNS et NTP annoncés par le bail (systemd-networkd)
|
|
sudo cat /run/systemd/netif/leases/$(cat /sys/class/net/ens3/ifindex) | grep -E '^(DNS|NTP)='
|
|
|
|
# Sur l'hyperviseur
|
|
systemctl status two-hostsvc
|
|
cat /run/two/hostsvc/hostsvc.state # le VPC doit y figurer
|
|
ip -n <vpc> -4 addr show dev hostsvc # 169.254.169.253/32
|
|
ip netns exec <vpc> nft list chain ip two hostsvc # 2 return puis 3 dnat
|
|
ip netns exec <vpc> ss -lntu | grep 169.254.169.253 # 53/udp, 53/tcp, 123/udp
|
|
journalctl -u two-hostsvc -n 50
|
|
|
|
Causes rencontrées :
|
|
|
|
* ``two-hostsvc`` arrêté : plus de DNS ni de NTP pour aucun VPC de l'hyperviseur, et un VPC créé
|
|
pendant ce temps part en ``error`` ;
|
|
* adresse ``169.254.169.253`` ou règle de la chaîne retirée à la main : la requête n'arrive plus
|
|
au relais ; le watchdog le signale ;
|
|
* VPC créé par une version antérieure à la 0.3.0 : ni ``dummy`` ni chaîne ni socket. Le recréer ;
|
|
* ``open`` refusé par ``two-hostsvc`` avec ``permission denied`` ou ``invalid argument`` sur
|
|
``/var/run/netns/<vpc>`` : l'unit n'a pas ``CAP_DAC_READ_SEARCH``, ou le netns, créé après le
|
|
démarrage du service, ne lui est pas visible parce que ``/`` n'est pas en propagation
|
|
``shared`` (``findmnt -no PROPAGATION /``). Rencontré en conteneur, pas sur un hyperviseur.
|
|
|
|
Sans serveur ``ntp_upstream`` qui réponde, l'heure vient de l'horloge de l'hyperviseur : si
|
|
celle-ci n'est pas synchronisée, la réponse porte l'indicateur d'alarme et la VM l'ignore.
|
|
|
|
La VM ne démarre pas (UEFI)
|
|
---------------------------
|
|
|
|
``uefi: true`` exige les fichiers OVMF déclarés dans la configuration :
|
|
|
|
.. code-block:: bash
|
|
|
|
ls -l /usr/share/OVMF/OVMF_CODE.fd /usr/share/OVMF/OVMF_VARS.fd
|
|
ls -l /run/two/vms/uefi/
|
|
|
|
Sur Debian et Ubuntu, le paquet est ``ovmf``.
|
|
|
|
Le ``DELETE`` renvoie 409
|
|
-------------------------
|
|
|
|
La suppression n'est autorisée que depuis ``running`` ou ``error``. Depuis ``creating`` ou
|
|
``deleting``, attendre l'état stable. Pour un VPC, tous les subnets doivent être supprimés
|
|
d'abord.
|
|
|
|
La base et le système ont divergé
|
|
---------------------------------
|
|
|
|
Le watchdog signale une ressource ``running`` absente du système. Il ne répare rien : la
|
|
correction est un ``DELETE`` explicite suivi d'une recréation. Après un redémarrage de l'agent,
|
|
les ressources restées transitoires sont basculées en ``error`` par la migration de démarrage —
|
|
elles n'ont pas forcément échoué, elles ont été interrompues.
|
|
|
|
L'agent ne redémarre pas après un arrêt brutal
|
|
----------------------------------------------
|
|
|
|
Badger rejoue son journal au démarrage : c'est normal et attendu, notamment si le budget d'arrêt
|
|
précédent a été dépassé et que la base n'a pas été fermée. Si le démarrage échoue vraiment, le
|
|
message se trouve dans ``journalctl -u agent``.
|
|
|
|
.. note::
|
|
|
|
Les VM ne sont pas réattachées au redémarrage de l'agent : un processus QEMU survivant à
|
|
l'agent n'est plus piloté par lui.
|