# Modell-Katalog (SPEC-inventory §2). vram_gb = Gewichte + Mindest-KV-Cache (Richtwerte, per Kalibrierung prüfen). # Ist ein Modell nicht mehr aktuell, wird ein neuer Eintrag ergänzt. Der Wechsel läuft über die Lifecycle-Pipeline. # Engine-Grenzen gelten für alle Modelle der Engine (ADR-0006). engines: llamacpp: {min_cc: 5.0, note: "CUDA-12-Build mit sm_52/61 – einzige Engine für Maxwell/Pascal"} vllm: {min_cc: 7.0} pytorch: {min_cc: 7.5, note: "Maxwell/Pascal nur bis torch 2.14 cu126, bf16/SDPA fehlen → sehr langsam (Qwen3-TTS auf P40: RTF ~7)"} onnx: {min_cc: 0.0, note: "läuft auch auf CPU"} models: qwen3-14b-awq: kind: llm vram_gb: 14 min_cc: 7.5 # AWQ-Kernels in vLLM ab Turing engines: [vllm] context: 32768 lora: true qwen3-8b-awq: kind: llm vram_gb: 9 min_cc: 7.5 engines: [vllm] context: 32768 lora: true qwen3-8b-q4km: kind: llm vram_gb: 7 min_cc: 5.0 engines: [llamacpp] context: 16384 qwen3-4b-q4km: kind: llm vram_gb: 4 min_cc: 5.0 engines: [llamacpp] context: 8192 cpu_ok: true # langsam, aber als Notfall-Verifier nutzbar qwen3-embedding-0.6b-q8: kind: embedding vram_gb: 1.5 min_cc: 5.0 engines: [llamacpp] context: 8192 cpu_ok: true bge-m3-f16: kind: embedding vram_gb: 2.5 min_cc: 5.0 engines: [llamacpp] context: 8192 cpu_ok: true bge-reranker-v2-m3-q8: kind: reranker vram_gb: 1.5 min_cc: 5.0 engines: [llamacpp] context: 8192 cpu_ok: true # --- TTS (ADR-0006) --- qwen3-tts-1.7b: kind: tts vram_gb: 8 # bf16; mit faster-qwen3-tts (CUDA Graphs) min_cc: 8.0 # bf16 engines: [pytorch] note: "Apache 2.0, Deutsch, Voice Cloning/Design. Auf Ada geschätzt RTF 0,3–0,5 (messen)" qwen3-tts-0.6b: kind: tts vram_gb: 4 min_cc: 8.0 engines: [pytorch] note: "Apache 2.0, Deutsch" piper-de-thorsten-medium: kind: tts vram_gb: 0.2 engines: [onnx] cpu_ok: true note: "schnell auf CPU (≪ Echtzeit), solide Qualität; piper-tts 1.3+ ist GPL-3.0 (eigener Dienst)"