benchmark: Task 3.3 auf gpu-pve48 gemessen (llama.cpp, whisper.cpp, Piper), ohne Strommessung
ci / test (push) Successful in 28s
ci / test (push) Successful in 28s
- Katalog: vram_gb für Qwen3-Embedding, Qwen3-4B und Qwen3-8B gemessen, Messwerte als note - ADR-0006: Nachtrag „Benchmark“ mit Tabellen und Empfehlung zur M4000 (ja für STT auf pve52, auf pve44/46/48 vorerst nein) - Plan: Task 3.3 abgehakt, Strommessung, Dialektsätze und D131/D133 offen Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
cd7f9308f1
commit
cdf0bb63e3
+9
-4
@@ -1,4 +1,6 @@
|
||||
# Modell-Katalog (SPEC-inventory §2). vram_gb = Gewichte + Mindest-KV-Cache (Richtwerte, per Kalibrierung prüfen).
|
||||
# Gemessen am 12.10.2026 (Task 3.3, ADR-0006): llama-server b6000/CUDA 12.4 in gpu-pve48 beim Katalog-Kontext,
|
||||
# belegter VRAM inkl. CUDA-Kontext, auf M4000 und P2000 gleich. Ungemessene Einträge bleiben Richtwerte.
|
||||
# Ist ein Modell nicht mehr aktuell, wird ein neuer Eintrag ergänzt. Der Wechsel läuft über die Lifecycle-Pipeline.
|
||||
# Engine-Grenzen gelten für alle Modelle der Engine (ADR-0006).
|
||||
engines:
|
||||
@@ -24,24 +26,27 @@ models:
|
||||
lora: true
|
||||
qwen3-8b-q4km:
|
||||
kind: llm
|
||||
vram_gb: 7
|
||||
vram_gb: 7.8 # gemessen: 7918 MiB bei 16384 Kontext → nur M4000 (8 GB), auf P2000 scheitert der KV-Cache
|
||||
min_cc: 5.0
|
||||
engines: [llamacpp]
|
||||
context: 16384
|
||||
note: "llama-bench 12.10. (pp512/tg128 t/s): M4000 115/10,0, P2000 152/9,0 (nur mit 512 Kontext)"
|
||||
qwen3-4b-q4km:
|
||||
kind: llm
|
||||
vram_gb: 4
|
||||
vram_gb: 4.1 # gemessen: 4153 MiB bei 8192 Kontext
|
||||
min_cc: 5.0
|
||||
engines: [llamacpp]
|
||||
context: 8192
|
||||
cpu_ok: true # langsam, aber als Notfall-Verifier nutzbar
|
||||
note: "llama-bench 12.10. (pp512/tg128 t/s): P2000 271/14,5, M4000 197/15,1"
|
||||
qwen3-embedding-0.6b-q8:
|
||||
kind: embedding
|
||||
vram_gb: 1.5
|
||||
vram_gb: 2.8 # gemessen: 2827 MiB mit -c 8192 -ub 8192 (Compose-Einstellung, großer Rechenpuffer)
|
||||
min_cc: 5.0
|
||||
engines: [llamacpp]
|
||||
context: 8192
|
||||
cpu_ok: true
|
||||
note: "llama-bench 12.10. pp512 (Embedding): P2000 1009 t/s, M4000 929 t/s"
|
||||
bge-m3-f16:
|
||||
kind: embedding
|
||||
vram_gb: 2.5
|
||||
@@ -74,4 +79,4 @@ models:
|
||||
vram_gb: 0.2
|
||||
engines: [onnx]
|
||||
cpu_ok: true
|
||||
note: "schnell auf CPU (≪ Echtzeit), solide Qualität; piper-tts 1.3+ ist GPL-3.0 (eigener Dienst)"
|
||||
note: "schnell auf CPU, gemessen 12.10. mit knaster bench tts (4 vCPU i7-6700): RTF 0,17 (241 Zeichen), 0,11 (596 Zeichen); piper-tts 1.3+ ist GPL-3.0 (eigener Dienst)"
|
||||
|
||||
Reference in New Issue
Block a user