# llama.cpp-Rollen (Task 6.1): Embedding + Rerank in gpu-pve44 und gpu-pve46, Chat (verifier-small, # signature-extractor) in gpu-pve48. Zuordnung: Inventar, Gruppe gpu_llamacpp (gpu-pve52 gehört nicht dazu). # Aufruf auf ops (Verzeichnis platform/proxmox/ansible), vorher Zugang auffrischen (refresh-vm-access.sh): # ansible-playbook playbooks/gpu-llamacpp.yml # ansible-playbook playbooks/monitoring-targets.yml # Prometheus-Ziele (file_sd) nachziehen # # Seit 19.10. laufen die Server in k3s (playbooks/gpu-llamacpp-k3s.yml). Dieses Playbook würde den Compose-Stack # wieder starten und Host-Ports und VRAM doppelt belegen. Nur mit -e llamacpp_compose=true (Rückweg). - name: llama.cpp-Server in den GPU-VMs hosts: gpu_llamacpp pre_tasks: - name: Abbruch, wenn llama.cpp in k3s läuft ansible.builtin.fail: msg: "llama.cpp läuft in k3s (playbooks/gpu-llamacpp-k3s.yml). Compose nur mit -e llamacpp_compose=true." when: not (llamacpp_compose | default(false) | bool) roles: [gpu-llamacpp]