Robert RappandClaude Opus 5.5
e88e0ea46b
Inventar mit pve44–pve61 und den Ada-Rechnern gode-pc-05/06 (M4000 weiter disabled). Registry-ops auf gpu-pve44/gpu-pve48/infra laut Placement, bei den Ada-Slots entfallen pve_node und vmid (Worker-Registry v2, Task 6.4). Tests: neuer test_site_knaster_matches_real_nodes, Konsistenztest auf gpus-Liste umgestellt. ADR-Nachträge zu D1 (Variante B), D2 (eine GPU-VM pro Knoten) und D3 (Ada bleibt Windows, vorgeschlagen). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
107 lines
3.6 KiB
YAML
107 lines
3.6 KiB
YAML
# Registry für den Cluster "knaster" (SPEC-core §1).
|
|
# Clients sprechen nur Slot-Namen an; litellm_model ist der Alias in deploy/litellm/config.yaml.
|
|
# ops: Labels für den Healer (Portainer-Endpoint, Container, Proxmox-Node, VM-ID).
|
|
slots:
|
|
tier0-strong:
|
|
tier: 0
|
|
device: external
|
|
engine: openrouter
|
|
litellm_model: tier0-strong
|
|
base_model: openrouter-strong # konkretes Modell steht nur in der LiteLLM-Konfiguration
|
|
max_context: 200000
|
|
effective_context: 120000
|
|
|
|
tier1-general:
|
|
tier: 1
|
|
device: gpu
|
|
engine: vllm
|
|
node: gpu-main # RTX 4000 Ada auf gode-pc-05 (Windows, D3)
|
|
litellm_model: tier1-general
|
|
base_model: qwen3-14b-awq # Startkandidat, Entscheidung per Kalibrierungslauf
|
|
max_context: 32768
|
|
effective_context: 16384
|
|
supports_lora: true
|
|
fallbacks: [tier1-flex]
|
|
ops: {docker_host: gpu-main, container: vllm} # keine Proxmox-VM; Anbindung über Worker-Registry v2 (Task 6.4)
|
|
|
|
tier1-flex:
|
|
tier: 1
|
|
device: gpu
|
|
engine: vllm
|
|
node: gpu-flex # RTX 4000 Ada auf gode-pc-06 (nachts Training → unavailable)
|
|
litellm_model: tier1-flex
|
|
base_model: qwen3-14b-awq
|
|
max_context: 32768
|
|
effective_context: 16384
|
|
supports_lora: true
|
|
ops: {docker_host: gpu-flex, container: vllm} # keine Proxmox-VM; Anbindung über Worker-Registry v2 (Task 6.4)
|
|
|
|
verifier-small:
|
|
tier: 1
|
|
device: gpu
|
|
engine: llamacpp
|
|
node: gpu-small # Quadro P2000 auf pve48 (Placement 12.10.)
|
|
litellm_model: verifier-small
|
|
base_model: qwen3-4b-q4km
|
|
max_context: 8192
|
|
effective_context: 6144
|
|
ops: {docker_host: gpu-pve48, container: llamacpp-chat, pve_node: pve48, vmid: "248"}
|
|
|
|
signature-extractor:
|
|
tier: 1
|
|
device: gpu
|
|
engine: llamacpp
|
|
node: gpu-small
|
|
litellm_model: signature-extractor
|
|
base_model: qwen3-4b-q4km
|
|
max_context: 8192
|
|
effective_context: 6144
|
|
ops: {docker_host: gpu-pve48, container: llamacpp-chat, pve_node: pve48, vmid: "248"}
|
|
|
|
embed-default:
|
|
tier: 1
|
|
device: gpu
|
|
engine: llamacpp
|
|
node: gpu-embed # Quadro P2000 auf pve44 und pve46 (Anti-Affinität, Placement 12.10.)
|
|
litellm_model: embed-default
|
|
base_model: qwen3-embedding-0.6b-q8
|
|
max_context: 8192
|
|
kind: embedding
|
|
ops: {docker_host: gpu-pve44, container: llamacpp-embed, pve_node: pve44, vmid: "244"} # zweite Instanz in gpu-pve46
|
|
|
|
rerank-default:
|
|
tier: 1
|
|
device: gpu
|
|
engine: llamacpp
|
|
node: gpu-embed
|
|
litellm_model: rerank-default
|
|
base_model: bge-reranker-v2-m3-q8
|
|
max_context: 8192
|
|
kind: rerank
|
|
ops: {docker_host: gpu-pve44, container: llamacpp-rerank, pve_node: pve44, vmid: "244"} # zweite Instanz in gpu-pve46
|
|
|
|
# --- Sprachausgabe (ADR-0006) ---
|
|
tts-de:
|
|
tier: 1
|
|
device: cpu
|
|
engine: piper
|
|
node: infra
|
|
litellm_model: tts-de
|
|
base_model: piper-de-thorsten-medium
|
|
max_context: 5000 # Zeichen pro Anfrage (TTS-Dienst-Limit)
|
|
kind: tts
|
|
ops: {docker_host: infra, container: tts-piper, pve_node: pve44, vmid: "101"} # Knoten laut proxmox.yaml (HA nach pve52/pve48)
|
|
|
|
tts-de-hq:
|
|
tier: 1
|
|
device: gpu
|
|
engine: pytorch
|
|
node: gpu-flex # teilt sich die Ada auf gode-pc-06 mit tier1-flex; während Training unavailable
|
|
litellm_model: tts-de-hq
|
|
base_model: qwen3-tts-1.7b
|
|
max_context: 5000
|
|
kind: tts
|
|
ops: {docker_host: gpu-flex, container: qwen-tts} # keine Proxmox-VM; Anbindung über Worker-Registry v2 (Task 6.4)
|
|
|
|
adapters: []
|