benchmark: Task 3.3 auf gpu-pve48 gemessen (llama.cpp, whisper.cpp, Piper), ohne Strommessung
ci / test (push) Successful in 28s

- Katalog: vram_gb für Qwen3-Embedding, Qwen3-4B und Qwen3-8B gemessen, Messwerte als note
- ADR-0006: Nachtrag „Benchmark“ mit Tabellen und Empfehlung zur M4000
  (ja für STT auf pve52, auf pve44/46/48 vorerst nein)
- Plan: Task 3.3 abgehakt, Strommessung, Dialektsätze und D131/D133 offen

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Robert Rapp
2026-10-12 21:19:28 +02:00
co-authored by Claude Opus 5.5
parent cd7f9308f1
commit cdf0bb63e3
3 changed files with 64 additions and 6 deletions
+9 -4
View File
@@ -1,4 +1,6 @@
# Modell-Katalog (SPEC-inventory §2). vram_gb = Gewichte + Mindest-KV-Cache (Richtwerte, per Kalibrierung prüfen).
# Gemessen am 12.10.2026 (Task 3.3, ADR-0006): llama-server b6000/CUDA 12.4 in gpu-pve48 beim Katalog-Kontext,
# belegter VRAM inkl. CUDA-Kontext, auf M4000 und P2000 gleich. Ungemessene Einträge bleiben Richtwerte.
# Ist ein Modell nicht mehr aktuell, wird ein neuer Eintrag ergänzt. Der Wechsel läuft über die Lifecycle-Pipeline.
# Engine-Grenzen gelten für alle Modelle der Engine (ADR-0006).
engines:
@@ -24,24 +26,27 @@ models:
lora: true
qwen3-8b-q4km:
kind: llm
vram_gb: 7
vram_gb: 7.8 # gemessen: 7918 MiB bei 16384 Kontext → nur M4000 (8 GB), auf P2000 scheitert der KV-Cache
min_cc: 5.0
engines: [llamacpp]
context: 16384
note: "llama-bench 12.10. (pp512/tg128 t/s): M4000 115/10,0, P2000 152/9,0 (nur mit 512 Kontext)"
qwen3-4b-q4km:
kind: llm
vram_gb: 4
vram_gb: 4.1 # gemessen: 4153 MiB bei 8192 Kontext
min_cc: 5.0
engines: [llamacpp]
context: 8192
cpu_ok: true # langsam, aber als Notfall-Verifier nutzbar
note: "llama-bench 12.10. (pp512/tg128 t/s): P2000 271/14,5, M4000 197/15,1"
qwen3-embedding-0.6b-q8:
kind: embedding
vram_gb: 1.5
vram_gb: 2.8 # gemessen: 2827 MiB mit -c 8192 -ub 8192 (Compose-Einstellung, großer Rechenpuffer)
min_cc: 5.0
engines: [llamacpp]
context: 8192
cpu_ok: true
note: "llama-bench 12.10. pp512 (Embedding): P2000 1009 t/s, M4000 929 t/s"
bge-m3-f16:
kind: embedding
vram_gb: 2.5
@@ -74,4 +79,4 @@ models:
vram_gb: 0.2
engines: [onnx]
cpu_ok: true
note: "schnell auf CPU (≪ Echtzeit), solide Qualität; piper-tts 1.3+ ist GPL-3.0 (eigener Dienst)"
note: "schnell auf CPU, gemessen 12.10. mit knaster bench tts (4 vCPU i7-6700): RTF 0,17 (241 Zeichen), 0,11 (596 Zeichen); piper-tts 1.3+ ist GPL-3.0 (eigener Dienst)"