52 lines
1.2 KiB
YAML
52 lines
1.2 KiB
YAML
# Modell-Katalog (SPEC-inventory §2). vram_gb = Gewichte + Mindest-KV-Cache (Richtwerte, per Kalibrierung prüfen).
|
|
# Ist ein Modell nicht mehr aktuell, wird ein neuer Eintrag ergänzt. Der Wechsel läuft über die Lifecycle-Pipeline.
|
|
models:
|
|
qwen3-14b-awq:
|
|
kind: llm
|
|
vram_gb: 14
|
|
min_cc: 7.5 # AWQ-Kernels in vLLM ab Turing
|
|
engines: [vllm]
|
|
context: 32768
|
|
lora: true
|
|
qwen3-8b-awq:
|
|
kind: llm
|
|
vram_gb: 9
|
|
min_cc: 7.5
|
|
engines: [vllm]
|
|
context: 32768
|
|
lora: true
|
|
qwen3-8b-q4km:
|
|
kind: llm
|
|
vram_gb: 7
|
|
min_cc: 5.0
|
|
engines: [llamacpp]
|
|
context: 16384
|
|
qwen3-4b-q4km:
|
|
kind: llm
|
|
vram_gb: 4
|
|
min_cc: 5.0
|
|
engines: [llamacpp]
|
|
context: 8192
|
|
cpu_ok: true # langsam, aber als Notfall-Verifier nutzbar
|
|
qwen3-embedding-0.6b-q8:
|
|
kind: embedding
|
|
vram_gb: 1.5
|
|
min_cc: 5.0
|
|
engines: [llamacpp]
|
|
context: 8192
|
|
cpu_ok: true
|
|
bge-m3-f16:
|
|
kind: embedding
|
|
vram_gb: 2.5
|
|
min_cc: 5.0
|
|
engines: [llamacpp]
|
|
context: 8192
|
|
cpu_ok: true
|
|
bge-reranker-v2-m3-q8:
|
|
kind: reranker
|
|
vram_gb: 1.5
|
|
min_cc: 5.0
|
|
engines: [llamacpp]
|
|
context: 8192
|
|
cpu_ok: true
|