cluster-knaster/docs/adr/0002-storage-zfs-kein-ceph.md

ADR-0002: ZFS lokal + Replikation statt Ceph

• Status: angenommen
• Datum: 2026-10-11

Kontext

Die Nodes sind mit 1 GbE verbunden. Jede physische Maschine hat 2–3 SSDs mit 128–256 GB. Ceph braucht für brauchbare Latenz und Rebuilds mindestens 10 GbE und genug Platz pro OSD.

Entscheidung

• Pro Node ZFS: SSD 1 für das System, SSD 2+3 als Mirror tank (bei nur 2 SSDs: Einzel-SSD tank).
• Proxmox-ZFS-Replikation alle 15 Min. für die Infra-VMs bzw. -LXCs auf einen Partner-Node, kombiniert mit Proxmox HA.
• Modelle lokal auf der GPU-VM (eigenes Disk-Image, weder repliziert noch gesichert). Quelle: Hugging Face oder ein optionaler Modell-Mirror (HTTP, nur lesend).
• PBS für Postgres, Konfiguration und Datensätze.

Folgen

• Bei einem Node-Ausfall gehen höchstens 15 Min. Daten der Infra-VMs verloren. Postgres sichert sich zusätzlich über WAL-Archivierung bzw. PBS.
• Modellwechsel verursachen Downloads (10 GB ≈ 90 s über 1 GbE). Das ist akzeptabel.
• Die Speicherbudgets pro Rolle stehen in PLAN.md, Abschnitt 1.4.