core: Inventar/Placement, Konfig-Validierung, CLI, HTTP-API, LiteLLM-Konfiguration, Beispiel-Skills

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 00:47:13 +02:00
parent f2da893f71
commit 4cbe313c62
20 changed files with 1085 additions and 19 deletions
@@ -0,0 +1,51 @@
+# Modell-Katalog (SPEC-inventory §2). vram_gb = Gewichte + Mindest-KV-Cache (Richtwerte, per Kalibrierung prüfen).
+# Ist ein Modell nicht mehr aktuell, wird ein neuer Eintrag ergänzt. Der Wechsel läuft über die Lifecycle-Pipeline.
+models:
+  qwen3-14b-awq:
+    kind: llm
+    vram_gb: 14
+    min_cc: 7.5          # AWQ-Kernels in vLLM ab Turing
+    engines: [vllm]
+    context: 32768
+    lora: true
+  qwen3-8b-awq:
+    kind: llm
+    vram_gb: 9
+    min_cc: 7.5
+    engines: [vllm]
+    context: 32768
+    lora: true
+  qwen3-8b-q4km:
+    kind: llm
+    vram_gb: 7
+    min_cc: 5.0
+    engines: [llamacpp]
+    context: 16384
+  qwen3-4b-q4km:
+    kind: llm
+    vram_gb: 4
+    min_cc: 5.0
+    engines: [llamacpp]
+    context: 8192
+    cpu_ok: true         # langsam, aber als Notfall-Verifier nutzbar
+  qwen3-embedding-0.6b-q8:
+    kind: embedding
+    vram_gb: 1.5
+    min_cc: 5.0
+    engines: [llamacpp]
+    context: 8192
+    cpu_ok: true
+  bge-m3-f16:
+    kind: embedding
+    vram_gb: 2.5
+    min_cc: 5.0
+    engines: [llamacpp]
+    context: 8192
+    cpu_ok: true
+  bge-reranker-v2-m3-q8:
+    kind: reranker
+    vram_gb: 1.5
+    min_cc: 5.0
+    engines: [llamacpp]
+    context: 8192
+    cpu_ok: true
@@ -0,0 +1,34 @@
+# Rollen (SPEC-inventory §2/§3). Placement arbeitet sie nach priority ab.
+roles:
+  gpu-main:
+    priority: 1
+    needs: {gpu: true, engine: vllm, min_vram_gb: 16, min_cc: 7.5}
+    prefer: largest
+    kinds: [llm]
+    slots: [tier1-general]
+  gpu-flex:
+    priority: 2
+    needs: {gpu: true, engine: vllm, min_vram_gb: 16, min_cc: 7.5}
+    prefer: largest
+    kinds: [llm]
+    optional: true          # ohne zweite große GPU: kein Fallback-Slot, Training nur nachts auf gpu-main
+    slots: [tier1-flex]
+  gpu-embed:
+    priority: 3
+    count: 2                # redundant, damit Routing einen GPU-Ausfall übersteht
+    needs: {gpu: true, engine: llamacpp, min_vram_gb: 3, min_cc: 5.0}
+    prefer: smallest_fitting
+    kinds: [embedding, reranker]
+    cpu_fallback: true
+    slots: [embed-default, rerank-default]
+  gpu-small:
+    priority: 4
+    needs: {gpu: true, engine: llamacpp, min_vram_gb: 4, min_cc: 5.0}
+    prefer: smallest_fitting
+    kinds: [llm]
+    cpu_fallback: true
+    slots: [verifier-small, signature-extractor]
+  infra:
+    priority: 5
+    needs: {gpu: false, min_ram_gb: 16}
+    slots: []