Robert RappandClaude Opus 5.5
d8797a9433
ci / test (push) Successful in 26s
- count: 1 in gpu-llamacpp greift die M4000 (geprüft), für die P2000 device_ids setzen - Empfehlung pve44/46/48 unter der Bedingung, dass Embedding + Rerank gemeinsam auf die P2000 passen - 8B-VRAM: 7,73 GiB gemessen, im Katalog auf 7,8 aufgerundet Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
83 lines
2.9 KiB
YAML
83 lines
2.9 KiB
YAML
# Modell-Katalog (SPEC-inventory §2). vram_gb = Gewichte + Mindest-KV-Cache (Richtwerte, per Kalibrierung prüfen).
|
||
# Gemessen am 12.10.2026 (Task 3.3, ADR-0006): llama-server b6000/CUDA 12.4 in gpu-pve48 beim Katalog-Kontext,
|
||
# belegter VRAM inkl. CUDA-Kontext, auf M4000 und P2000 gleich. Ungemessene Einträge bleiben Richtwerte.
|
||
# Ist ein Modell nicht mehr aktuell, wird ein neuer Eintrag ergänzt. Der Wechsel läuft über die Lifecycle-Pipeline.
|
||
# Engine-Grenzen gelten für alle Modelle der Engine (ADR-0006).
|
||
engines:
|
||
llamacpp: {min_cc: 5.0, note: "CUDA-12-Build mit sm_52/61 – einzige Engine für Maxwell/Pascal"}
|
||
vllm: {min_cc: 7.0}
|
||
pytorch: {min_cc: 7.5, note: "Maxwell/Pascal nur bis torch 2.14 cu126, bf16/SDPA fehlen → sehr langsam (Qwen3-TTS auf P40: RTF ~7)"}
|
||
onnx: {min_cc: 0.0, note: "läuft auch auf CPU"}
|
||
|
||
models:
|
||
qwen3-14b-awq:
|
||
kind: llm
|
||
vram_gb: 14
|
||
min_cc: 7.5 # AWQ-Kernels in vLLM ab Turing
|
||
engines: [vllm]
|
||
context: 32768
|
||
lora: true
|
||
qwen3-8b-awq:
|
||
kind: llm
|
||
vram_gb: 9
|
||
min_cc: 7.5
|
||
engines: [vllm]
|
||
context: 32768
|
||
lora: true
|
||
qwen3-8b-q4km:
|
||
kind: llm
|
||
vram_gb: 7.8 # gemessen: 7918 MiB (7,73 GiB, aufgerundet) bei 16384 Kontext → nur M4000 (8 GB), auf P2000 scheitert der KV-Cache
|
||
min_cc: 5.0
|
||
engines: [llamacpp]
|
||
context: 16384
|
||
note: "llama-bench 12.10. (pp512/tg128 t/s): M4000 115/10,0, P2000 152/9,0 (nur mit 512 Kontext)"
|
||
qwen3-4b-q4km:
|
||
kind: llm
|
||
vram_gb: 4.1 # gemessen: 4153 MiB bei 8192 Kontext
|
||
min_cc: 5.0
|
||
engines: [llamacpp]
|
||
context: 8192
|
||
cpu_ok: true # langsam, aber als Notfall-Verifier nutzbar
|
||
note: "llama-bench 12.10. (pp512/tg128 t/s): P2000 271/14,5, M4000 197/15,1"
|
||
qwen3-embedding-0.6b-q8:
|
||
kind: embedding
|
||
vram_gb: 2.8 # gemessen: 2827 MiB mit -c 8192 -ub 8192 (Compose-Einstellung, großer Rechenpuffer)
|
||
min_cc: 5.0
|
||
engines: [llamacpp]
|
||
context: 8192
|
||
cpu_ok: true
|
||
note: "llama-bench 12.10. pp512 (Embedding): P2000 1009 t/s, M4000 929 t/s"
|
||
bge-m3-f16:
|
||
kind: embedding
|
||
vram_gb: 2.5
|
||
min_cc: 5.0
|
||
engines: [llamacpp]
|
||
context: 8192
|
||
cpu_ok: true
|
||
bge-reranker-v2-m3-q8:
|
||
kind: reranker
|
||
vram_gb: 1.5
|
||
min_cc: 5.0
|
||
engines: [llamacpp]
|
||
context: 8192
|
||
cpu_ok: true
|
||
# --- TTS (ADR-0006) ---
|
||
qwen3-tts-1.7b:
|
||
kind: tts
|
||
vram_gb: 8 # bf16; mit faster-qwen3-tts (CUDA Graphs)
|
||
min_cc: 8.0 # bf16
|
||
engines: [pytorch]
|
||
note: "Apache 2.0, Deutsch, Voice Cloning/Design. Auf Ada geschätzt RTF 0,3–0,5 (messen)"
|
||
qwen3-tts-0.6b:
|
||
kind: tts
|
||
vram_gb: 4
|
||
min_cc: 8.0
|
||
engines: [pytorch]
|
||
note: "Apache 2.0, Deutsch"
|
||
piper-de-thorsten-medium:
|
||
kind: tts
|
||
vram_gb: 0.2
|
||
engines: [onnx]
|
||
cpu_ok: true
|
||
note: "schnell auf CPU, gemessen 12.10. mit knaster bench tts (4 vCPU i7-6700): RTF 0,17 (241 Zeichen), 0,11 (596 Zeichen); piper-tts 1.3+ ist GPL-3.0 (eigener Dienst)"
|