k3s: llama.cpp-Server als Deployments (Task 6.1)

Ein Pod je GPU-VM (Embed+Rerank bzw. Chat), Host-Netz mit den Ports aus dem Compose, P2000 fest per UUID (NVIDIA_VISIBLE_DEVICES). Das Device Plugin vergibt nur noch Index 0 (M4000). Rolle gpu-llamacpp: gemeinsame Vorbereitung (prepare.yml), k3s.yml mit Image-Import und Compose-Stopp; gpu-llamacpp.yml bricht ohne -e llamacpp_compose=true ab. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-19 17:27:23 +02:00
parent 24f4066aaf
commit 986f1116fe
9 changed files with 278 additions and 37 deletions
@@ -31,6 +31,10 @@ spec:
          env:
            - name: FAIL_ON_INIT_ERROR
              value: "false"
+            # Nur Index 0 (Quadro M4000 in allen GPU-VMs, geprüft in playbooks/gpu-llamacpp-k3s.yml) wird als
+            # nvidia.com/gpu vergeben. Die P2000 gehört fest den llama.cpp-Pods (per UUID, Task 6.1).
+            - name: NVIDIA_VISIBLE_DEVICES
+              value: "0"
          securityContext:
            allowPrivilegeEscalation: false
            capabilities: