# Registry für den Cluster "knaster" (SPEC-core §1). # Clients sprechen nur Slot-Namen an; litellm_model ist der Alias in deploy/litellm/config.yaml. # ops: Labels für den Healer (Portainer-Endpoint, Container, Proxmox-Node, VM-ID). slots: tier0-strong: tier: 0 device: external engine: openrouter litellm_model: tier0-strong base_model: openrouter-strong # konkretes Modell steht nur in der LiteLLM-Konfiguration max_context: 200000 effective_context: 120000 tier1-general: tier: 1 device: gpu engine: vllm node: gpu-main # RTX 4000 Ada auf gode-pc-05 (Windows, D3) litellm_model: tier1-general base_model: qwen3-14b-awq # Startkandidat, Entscheidung per Kalibrierungslauf max_context: 32768 effective_context: 16384 supports_lora: true fallbacks: [tier1-flex] ops: {docker_host: gpu-main, container: vllm} # keine Proxmox-VM; Anbindung über Worker-Registry v2 (Task 6.4) tier1-flex: tier: 1 device: gpu engine: vllm node: gpu-flex # RTX 4000 Ada auf gode-pc-06 (nachts Training → unavailable) litellm_model: tier1-flex base_model: qwen3-14b-awq max_context: 32768 effective_context: 16384 supports_lora: true ops: {docker_host: gpu-flex, container: vllm} # keine Proxmox-VM; Anbindung über Worker-Registry v2 (Task 6.4) verifier-small: tier: 1 device: gpu engine: llamacpp node: gpu-small # Quadro P2000 auf pve48 (Placement 12.10.) litellm_model: verifier-small base_model: qwen3-4b-q4km max_context: 8192 effective_context: 6144 ops: {docker_host: gpu-pve48, container: llamacpp-chat, pve_node: pve48, vmid: "248"} signature-extractor: tier: 1 device: gpu engine: llamacpp node: gpu-small litellm_model: signature-extractor base_model: qwen3-4b-q4km max_context: 8192 effective_context: 6144 ops: {docker_host: gpu-pve48, container: llamacpp-chat, pve_node: pve48, vmid: "248"} embed-default: tier: 1 device: gpu engine: llamacpp node: gpu-embed # Quadro P2000 auf pve44 und pve46 (Anti-Affinität, Placement 12.10.) litellm_model: embed-default base_model: qwen3-embedding-0.6b-q8 max_context: 8192 kind: embedding ops: {docker_host: gpu-pve44, container: llamacpp-embed, pve_node: pve44, vmid: "244"} # zweite Instanz in gpu-pve46 rerank-default: tier: 1 device: gpu engine: llamacpp node: gpu-embed litellm_model: rerank-default base_model: bge-reranker-v2-m3-q8 max_context: 8192 kind: rerank ops: {docker_host: gpu-pve44, container: llamacpp-rerank, pve_node: pve44, vmid: "244"} # zweite Instanz in gpu-pve46 # --- Sprachausgabe (ADR-0006) --- tts-de: tier: 1 device: cpu engine: piper node: infra litellm_model: tts-de base_model: piper-de-thorsten-medium max_context: 5000 # Zeichen pro Anfrage (TTS-Dienst-Limit) kind: tts ops: {docker_host: infra, container: tts-piper, pve_node: pve44, vmid: "101"} # Knoten laut proxmox.yaml (HA nach pve52/pve48) tts-de-hq: tier: 1 device: gpu engine: pytorch node: gpu-flex # teilt sich die Ada auf gode-pc-06 mit tier1-flex; während Training unavailable litellm_model: tts-de-hq base_model: qwen3-tts-1.7b max_context: 5000 kind: tts ops: {docker_host: gpu-flex, container: qwen-tts} # keine Proxmox-VM; Anbindung über Worker-Registry v2 (Task 6.4) adapters: []