diff --git a/docs/BETRIEB.md b/docs/BETRIEB.md index 2ae9f7d..796189e 100644 --- a/docs/BETRIEB.md +++ b/docs/BETRIEB.md @@ -71,3 +71,25 @@ Freitext, der keinem Befehl entspricht, bildet ein kleines Modell auf einen Befe | Skill-Stufe | Prompt `stufe zurück` bzw. Git-Revert der SKILL.md | | Treiber/Engine | Proxmox-Snapshot der GPU-VM (vor jedem Update anlegen) | | Konfiguration | Git-Revert und Neustart des Router-Containers | + +## 6. Proxmox: Updates und Neustarts (rollierend, Knoten für Knoten) + +Stand 12.10.2026, getestet mit dem Wartungsmodus auf pve44. Gilt für pve44, pve46, pve48, pve52 und pve61. + +**Wichtig vorab** +- Auf den GPU-Knoten gehört die M4000 (Boot-Grafik) der VM. Nach dem frühen Start bleibt der lokale Bildschirm schwarz. Zugang nur per SSH oder Weboberfläche; das GRUB-Menü ist beim Start noch sichtbar (Notzugang: Eintrag bearbeiten, `initcall_blacklist=sysfb_init` entfernen). +- pve61 hängt am Netz nur über die USB-NIC im Dock. Neustart nur, wenn jemand vor Ort ist. Kommt er nach etwa 2 Minuten nicht zurück: Dock aus- und wieder einstecken. +- Nie zwei Knoten gleichzeitig. Mit 5 Stimmen bleibt das Quorum bei einem fehlenden Knoten erhalten. + +**Ablauf je Knoten** +1. Vorher: `pvecm status` (Quorate: Yes), `ha-manager status`, `pvesr status` (alle Jobs OK). +2. Wartungsmodus: `ha-manager crm-command node-maintenance enable `. HA-Gäste ziehen um (`infra`: Test 36 s nach pve48). +3. GPU-VM des Knotens sauber stoppen: `qm shutdown ` (244/246/248/252). Sie hat kein HA und kann nicht wandern (Passthrough). +4. Update: `platform/proxmox/scripts/bootstrap-node.sh ` vom Laptop (idempotent, meldet `Neustart nötig`), dann `reboot`. +5. Nachher prüfen: Kernel, `systemctl --failed`, `ip -br a show vmbr0`, NTP; auf GPU-Knoten `lspci -nnk -d 10de:` → überall `vfio-pci`. +6. GPU-VM startet von selbst (`onboot`). Danach auf ops: `cd /root/cluster-knaster/platform/proxmox/tofu && . /root/.config/knaster/tofu.env && bash ../scripts/refresh-vm-access.sh` (DHCP-Adressen können wechseln, Hostschlüssel kommen über den Gast-Agenten) und `ansible gpu_vms -m shell -a "nvidia-smi -L"`. +7. Wartungsmodus aus: `ha-manager crm-command node-maintenance disable `. HA holt `infra` auf seinen Heimatknoten pve44 zurück (Test 41 s). + +**GPU-VMs aktualisieren** +- Pakete per `apt` in der VM, die NVIDIA-Pakete sind auf `hold` (R580). Vor Treiberwechseln einen Snapshot anlegen: `qm snapshot vor-treiber`. +- Nach einem VM-Neustart immer `refresh-vm-access.sh`, solange es keine DHCP-Reservierungen gibt (D5).