cluster-knaster
Ein starkes LLM erarbeitet neue Aufgaben und destilliert sie zu Skills. Danach übernehmen kleinere, selbst gehostete Modelle diese Aufgaben. Embeddings erkennen wieder, routen und treffen einfache Entscheidungen. Betrieb auf einem Proxmox-Cluster mit gemischten GPUs, gesteuert über n8n, mit halbautomatischer Pflege (Human-in-the-Loop).
Anfrage → n8n → Router-Service ──▶ Stufe 3 Embedding-Classifier (CPU)
│ ├─▶ Stufe 2 Programm (CPU)
│ ├─▶ Stufe 1 schwaches LLM + Skill (+LoRA) über LiteLLM → vLLM
│ └─▶ Stufe 0 starkes LLM über LiteLLM → OpenRouter
└─ Verifier → bestanden: Antwort + Fall speichern
→ nicht bestanden: Eskalation + Präferenzpaar
Dokumentation
| Dokument | Inhalt |
|---|---|
| docs/PLAN.md | Architektur und Betrieb: Proxmox, Pflege, Autohealing, Lifecycle, Finetuning, Problemerkennung, Portabilität |
| docs/adr/ | Architekturentscheidungen |
| docs/spec/ | Spezifikationen der Komponenten |
| docs/IMPLEMENTATION.md | Arbeitspakete, Teststrategie, Stand der Verifikation, Ablauf des Deployments |
| docs/BETRIEB.md | Skill-Lebenszyklus, Rolle von Hermes, Pflege per Prompt, Dry-Run aufheben, Rollback |
| n8n/README.md | Workflows und Import |
| platform/proxmox/README.md | Proxmox-Ablauf (OpenTofu + Ansible) |
Repo-Struktur
core/ Python-Paket `knaster` (Router-Service) + Tests
config/ Policy, Healer-Regeln, Grenzwerte (portabel)
catalog/ Modell- und Rollenkatalog mit Hardware-Anforderungen
skills/ SKILL.md-Bibliothek
deploy/ Docker Compose pro Rolle, LiteLLM, Prometheus, Alertmanager
n8n/workflows/ importierbare n8n-Workflows
platform/proxmox/ OpenTofu + Ansible
sites/knaster/ standortspezifisch: Inventar, Registry
Entwicklung
make dev # venv + Abhängigkeiten
make test # Unit- und Integrationstests
make lint # ruff
make validate # Konsistenz Registry/Skills/LiteLLM/Healer/Policy/Katalog + Placement
make compose-check # docker compose config für alle Rollen
Alle Aktionen gegen Infrastruktur laufen standardmäßig im Dry-Run (KNASTER_DRY_RUN=true).