46 lines
2.0 KiB
Markdown
46 lines
2.0 KiB
Markdown
# cluster-knaster
|
|
|
|
Ein starkes LLM erarbeitet neue Aufgaben und destilliert sie zu **Skills**. Danach übernehmen kleinere, selbst gehostete Modelle diese Aufgaben. Embeddings erkennen wieder, routen und treffen einfache Entscheidungen. Betrieb auf einem Proxmox-Cluster mit gemischten GPUs, gesteuert über n8n, mit halbautomatischer Pflege (Human-in-the-Loop).
|
|
|
|
```
|
|
Anfrage → n8n → Router-Service ──▶ Stufe 3 Embedding-Classifier (CPU)
|
|
│ ├─▶ Stufe 2 Programm (CPU)
|
|
│ ├─▶ Stufe 1 schwaches LLM + Skill (+LoRA) über LiteLLM → vLLM
|
|
│ └─▶ Stufe 0 starkes LLM über LiteLLM → OpenRouter
|
|
└─ Verifier → bestanden: Antwort + Fall speichern
|
|
→ nicht bestanden: Eskalation + Präferenzpaar
|
|
```
|
|
|
|
## Dokumentation
|
|
|
|
| Dokument | Inhalt |
|
|
|---|---|
|
|
| [docs/PLAN.md](docs/PLAN.md) | Architektur und Betrieb: Proxmox, Pflege, Autohealing, Lifecycle, Finetuning, Problemerkennung, Portabilität |
|
|
| [docs/adr/](docs/adr/) | Architekturentscheidungen |
|
|
| [docs/spec/](docs/spec/) | Spezifikationen der Komponenten |
|
|
| [docs/IMPLEMENTATION.md](docs/IMPLEMENTATION.md) | Arbeitspakete, Teststrategie, Ablauf des Deployments |
|
|
|
|
## Repo-Struktur
|
|
|
|
```
|
|
core/ Python-Paket `knaster` (Router-Service) + Tests
|
|
config/ Policy, Healer-Regeln, Grenzwerte (portabel)
|
|
catalog/ Modell- und Rollenkatalog mit Hardware-Anforderungen
|
|
skills/ SKILL.md-Bibliothek
|
|
deploy/ Docker Compose pro Rolle, LiteLLM, Prometheus, Alertmanager
|
|
n8n/workflows/ importierbare n8n-Workflows
|
|
platform/proxmox/ OpenTofu + Ansible
|
|
sites/knaster/ standortspezifisch: Inventar, Registry
|
|
```
|
|
|
|
## Entwicklung
|
|
|
|
```bash
|
|
make dev # venv + Abhängigkeiten
|
|
make test # Unit- und Integrationstests
|
|
make lint # ruff
|
|
make validate # Compose-, Workflow- und Konfigurationsprüfung
|
|
```
|
|
|
|
Alle Aktionen gegen Infrastruktur laufen standardmäßig im **Dry-Run** (`KNASTER_DRY_RUN=true`).
|