Robert RappandClaude Opus 5.5
5c790cc8d4
ci / test (push) Successful in 27s
- Build-Pin wie im Benchmark (b6000 = 4762ad7, CUDA 12.4, sm_52;61), Host-Netz, Log-Rotation, /slots und Web-Oberfläche aus, Qwen3 ohne Denkphase. - Exporter aus dem Compose entfernt (laufen nativ, Rolle gpu-exporters). - Rolle gpu-llamacpp: Karten-UUID über den Namen, Modelle mit Prüfsumme, ufw-Regeln nur vorgemerkt. Inventargruppe gpu_llamacpp (ohne gpu-pve52). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
15 lines
435 B
Bash
15 lines
435 B
Bash
COMPOSE_PROFILES=embed
|
|
LLAMACPP_REF=b6000
|
|
LLAMACPP_COMMIT=4762ad7316dcdec20016ab5985fb46a27902204d
|
|
CUDA_VERSION=12.4.0
|
|
CUDA_DOCKER_ARCH=52;61
|
|
MODELS_DIR=/srv/models
|
|
EMBED_GGUF=Qwen3-Embedding-0.6B-Q8_0.gguf
|
|
EMBED_POOLING=last
|
|
RERANK_GGUF=bge-reranker-v2-m3-Q8_0.gguf
|
|
CHAT_GGUF=Qwen3-4B-Q4_K_M.gguf
|
|
# Karte je Dienst: Index oder UUID aus `nvidia-smi -L` (Rolle gpu-llamacpp setzt die UUID der P2000)
|
|
EMBED_GPU=1
|
|
RERANK_GPU=1
|
|
CHAT_GPU=1
|