rorappandClaude Opus 5.5
f90b7df31c
ci / test (push) Successful in 24s
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
78 lines
2.1 KiB
YAML
78 lines
2.1 KiB
YAML
# Modell-Katalog (SPEC-inventory §2). vram_gb = Gewichte + Mindest-KV-Cache (Richtwerte, per Kalibrierung prüfen).
|
||
# Ist ein Modell nicht mehr aktuell, wird ein neuer Eintrag ergänzt. Der Wechsel läuft über die Lifecycle-Pipeline.
|
||
# Engine-Grenzen gelten für alle Modelle der Engine (ADR-0006).
|
||
engines:
|
||
llamacpp: {min_cc: 5.0, note: "CUDA-12-Build mit sm_52/61 – einzige Engine für Maxwell/Pascal"}
|
||
vllm: {min_cc: 7.0}
|
||
pytorch: {min_cc: 7.5, note: "Maxwell/Pascal nur bis torch 2.14 cu126, bf16/SDPA fehlen → sehr langsam (Qwen3-TTS auf P40: RTF ~7)"}
|
||
onnx: {min_cc: 0.0, note: "läuft auch auf CPU"}
|
||
|
||
models:
|
||
qwen3-14b-awq:
|
||
kind: llm
|
||
vram_gb: 14
|
||
min_cc: 7.5 # AWQ-Kernels in vLLM ab Turing
|
||
engines: [vllm]
|
||
context: 32768
|
||
lora: true
|
||
qwen3-8b-awq:
|
||
kind: llm
|
||
vram_gb: 9
|
||
min_cc: 7.5
|
||
engines: [vllm]
|
||
context: 32768
|
||
lora: true
|
||
qwen3-8b-q4km:
|
||
kind: llm
|
||
vram_gb: 7
|
||
min_cc: 5.0
|
||
engines: [llamacpp]
|
||
context: 16384
|
||
qwen3-4b-q4km:
|
||
kind: llm
|
||
vram_gb: 4
|
||
min_cc: 5.0
|
||
engines: [llamacpp]
|
||
context: 8192
|
||
cpu_ok: true # langsam, aber als Notfall-Verifier nutzbar
|
||
qwen3-embedding-0.6b-q8:
|
||
kind: embedding
|
||
vram_gb: 1.5
|
||
min_cc: 5.0
|
||
engines: [llamacpp]
|
||
context: 8192
|
||
cpu_ok: true
|
||
bge-m3-f16:
|
||
kind: embedding
|
||
vram_gb: 2.5
|
||
min_cc: 5.0
|
||
engines: [llamacpp]
|
||
context: 8192
|
||
cpu_ok: true
|
||
bge-reranker-v2-m3-q8:
|
||
kind: reranker
|
||
vram_gb: 1.5
|
||
min_cc: 5.0
|
||
engines: [llamacpp]
|
||
context: 8192
|
||
cpu_ok: true
|
||
# --- TTS (ADR-0006) ---
|
||
qwen3-tts-1.7b:
|
||
kind: tts
|
||
vram_gb: 8 # bf16; mit faster-qwen3-tts (CUDA Graphs)
|
||
min_cc: 8.0 # bf16
|
||
engines: [pytorch]
|
||
note: "Apache 2.0, Deutsch, Voice Cloning/Design. Auf Ada geschätzt RTF 0,3–0,5 (messen)"
|
||
qwen3-tts-0.6b:
|
||
kind: tts
|
||
vram_gb: 4
|
||
min_cc: 8.0
|
||
engines: [pytorch]
|
||
note: "Apache 2.0, Deutsch"
|
||
piper-de-thorsten-medium:
|
||
kind: tts
|
||
vram_gb: 0.2
|
||
engines: [onnx]
|
||
cpu_ok: true
|
||
note: "schnell auf CPU (≪ Echtzeit), solide Qualität; piper-tts 1.3+ ist GPL-3.0 (eigener Dienst)"
|