cluster-knaster/docs/adr/0006-legacy-gpus-llamacpp-tts-auf-ada.md

ADR-0006: Alte GPUs nur für llama.cpp, M4000 vorerst außer Betrieb, TTS auf Ada und CPU

• Status: angenommen
• Datum: 2026-10-12

Kontext

• PyTorch unterstützt Maxwell und Pascal seit 2.8 nur noch in den cu126-Builds. PyTorch 2.14 ist die letzte Version mit CUDA-12.x-Wheels (Ankündigung vom 04.09.2026), danach geht es nur noch über einen eigenen Build.
• Pascal hat weder bf16 noch schnelles FP16, und FlashAttention fehlt. Qwen3-TTS 1.7B erreicht auf einer Tesla P40 nur RTF ~7,3 (Referenz-Implementierung, gemessen von tinycomputers.io). P2000 und M4000 sind schwächer.
• llama.cpp unterstützt Maxwell und Pascal mit CUDA 12 weiterhin. FlashAttention läuft dort auch auf Maxwell.
• Für die M4000 gibt es keine direkten Messungen. Geschätzt liegt sie bei 7B Q4 auf 12–25 Token/s, bei 120 W pro Karte. Die P2000 decken Embedding, Rerank und Verifier bereits ab.

Entscheidung

1. Engine-Grenzen im Katalog (catalog/models.yaml → engines): pytorch ab Compute Capability 7.5, vllm ab 7.0, llamacpp ab 5.0. Das Placement setzt PyTorch-Workloads damit nie auf Maxwell/Pascal.
2. M4000 vorerst außer Betrieb (disabled: true im Inventar). Wieder aufgenommen werden sie nur nach llama-bench plus Strommessung am Deployment-Tag, und dann nur für llama.cpp-Rollen.
3. TTS:
   • tts-de: Piper auf der CPU im Infra-LXC. Schnell, robust, ohne GPU, zugleich Fallback.
   • tts-de-hq: Qwen3-TTS 1.7B (Apache 2.0, Deutsch, Stimmenklonen) in bf16 auf gpu-flex, im Wechsel mit Training und tier1-flex. Wenn TTS aktiv ist, sinkt der vLLM-Anteil am VRAM auf ~55 %.
   • Kein TTS auf P2000 oder M4000.

Folgen

• Bei gpu-flex muss sich der Lifecycle die Karte mit TTS teilen. Während des Trainings gehen sowohl tier1-flex als auch tts-de-hq auf unavailable, und LiteLLM fällt auf tts-de zurück.
• Die tatsächlichen RTF-Werte misst knaster bench tts beim Deployment. Sie ersetzen die Schätzungen im Katalog.