core: Inventar/Placement, Konfig-Validierung, CLI, HTTP-API, LiteLLM-Konfiguration, Beispiel-Skills

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 00:47:13 +02:00
parent f2da893f71
commit 4cbe313c62
20 changed files with 1085 additions and 19 deletions
@@ -0,0 +1,51 @@
+# Modell-Katalog (SPEC-inventory §2). vram_gb = Gewichte + Mindest-KV-Cache (Richtwerte, per Kalibrierung prüfen).
+# Ist ein Modell nicht mehr aktuell, wird ein neuer Eintrag ergänzt. Der Wechsel läuft über die Lifecycle-Pipeline.
+models:
+  qwen3-14b-awq:
+    kind: llm
+    vram_gb: 14
+    min_cc: 7.5          # AWQ-Kernels in vLLM ab Turing
+    engines: [vllm]
+    context: 32768
+    lora: true
+  qwen3-8b-awq:
+    kind: llm
+    vram_gb: 9
+    min_cc: 7.5
+    engines: [vllm]
+    context: 32768
+    lora: true
+  qwen3-8b-q4km:
+    kind: llm
+    vram_gb: 7
+    min_cc: 5.0
+    engines: [llamacpp]
+    context: 16384
+  qwen3-4b-q4km:
+    kind: llm
+    vram_gb: 4
+    min_cc: 5.0
+    engines: [llamacpp]
+    context: 8192
+    cpu_ok: true         # langsam, aber als Notfall-Verifier nutzbar
+  qwen3-embedding-0.6b-q8:
+    kind: embedding
+    vram_gb: 1.5
+    min_cc: 5.0
+    engines: [llamacpp]
+    context: 8192
+    cpu_ok: true
+  bge-m3-f16:
+    kind: embedding
+    vram_gb: 2.5
+    min_cc: 5.0
+    engines: [llamacpp]
+    context: 8192
+    cpu_ok: true
+  bge-reranker-v2-m3-q8:
+    kind: reranker
+    vram_gb: 1.5
+    min_cc: 5.0
+    engines: [llamacpp]
+    context: 8192
+    cpu_ok: true