benchmark: Compose-Kartenwahl und Rerank-Bedingung in ADR-0006 ergänzt
ci / test (push) Successful in 26s

- count: 1 in gpu-llamacpp greift die M4000 (geprüft), für die P2000 device_ids setzen
- Empfehlung pve44/46/48 unter der Bedingung, dass Embedding + Rerank gemeinsam auf die P2000 passen
- 8B-VRAM: 7,73 GiB gemessen, im Katalog auf 7,8 aufgerundet

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Robert Rapp
2026-10-12 21:21:11 +02:00
co-authored by Claude Opus 5.5
parent cdf0bb63e3
commit d8797a9433
3 changed files with 5 additions and 4 deletions
+1 -1
View File
@@ -26,7 +26,7 @@ models:
lora: true
qwen3-8b-q4km:
kind: llm
vram_gb: 7.8 # gemessen: 7918 MiB bei 16384 Kontext → nur M4000 (8 GB), auf P2000 scheitert der KV-Cache
vram_gb: 7.8 # gemessen: 7918 MiB (7,73 GiB, aufgerundet) bei 16384 Kontext → nur M4000 (8 GB), auf P2000 scheitert der KV-Cache
min_cc: 5.0
engines: [llamacpp]
context: 16384