diff --git a/server/phy-srv-gpu01/notes/20260710-projektplan.md b/server/phy-srv-gpu01/notes/20260710-projektplan.md index 24b5462..f271bd6 100644 --- a/server/phy-srv-gpu01/notes/20260710-projektplan.md +++ b/server/phy-srv-gpu01/notes/20260710-projektplan.md @@ -151,19 +151,27 @@ Spiegel der Shares**, nur Index. **Keine zusätzlichen NVMe nötig.** Der begrenzende Faktor ist damit *nicht* der Plattenplatz, sondern Retrieval-Qualität und Indexgröße (§2.6). -### 2.4 Ansible vorbereiten (im Repo, testbar ohne GPU) +### 2.4 Ansible — Stand 2026-09-03 -- `run.yml`: Play für `phy_srv_gpu01` ergänzen -- Rollen-Skelett unter `ansible/roles/` (Details erst bei Umsetzung): - - `nvidia_gpu` — Treiber (≥ 580), Container Toolkit, optional MIG, DCGM - - `cifs_mounts` — ro-Mounts, Credentials aus `group_vars/secrets.yml` - - `llm_stack` — Docker Compose: vLLM (feste `--gpu-memory-utilization`), - Embedding-Server, Open WebUI + pgvector, Reverse Proxy (TLS), oikb-Timer - - Bestehendes nachnutzen: `geerlingguy.security` (Basis-Härtung), - `geerlingguy.docker` -- `group_vars/phy_srv_gpu01.yml`: nur Overrides (Modellname, VRAM-Quote, - Share-Liste, LDAP-Parameter) -- Alles außer GPU-Rolle ist vorab in einer Wegwerf-VM testbar (`just run`-Pfad) +- [x] `run.yml`: Play für `phy_srv_gpu01` (security, docker, nvidia_gpu, compose) +- [x] `nvidia_gpu` — Treiber (595 **open**), Container Toolkit; **läuft auf dem Server** +- [x] **LLM-Stack als Compose-Templates** statt eigener Rolle: über + `ironicbadger.docker_compose_generator` (auf **2.0.1 gepinnt**), analog zum + Homelab-Repo. Fragmente unter `ansible/services/phy-srv-gpu01/`: + `01-vllm`, `02-embeddings`, `03-openwebui` (+ pgvector), `99-network`. + Die Rolle **schreibt nur** `~/docker/compose.yaml`; das Starten bleibt ein + bewusster manueller Schritt. +- [ ] `cifs_mounts` — ro-Mounts, Credentials aus `group_vars/secrets.yml` + (erst sinnvoll, wenn die Freigaben-Auswahl steht, §2.6/§2.7) +- [ ] oikb-Sync (Share → Knowledge Base), ebenfalls nach der Auswahl +- [ ] Reverse Proxy + TLS — bewusst zurückgestellt (§2.2), Stack `04-proxy` +- [x] `group_vars/phy_srv_gpu01.yml`: Overrides (Modell, VRAM-Quoten, LDAP, + Compose-Pfade). **Offen:** echte LDAP-DNs und drei Vault-Secrets + (`vault_owui_secret_key`, `vault_owui_db_password`, `vault_ldap_bind_password`) + +Warum Compose-Templates und keine eigene `llm_stack`-Rolle: gleiche Konvention +wie im Homelab-Repo (ein Ordner je Stack, `NN-`-Präfix bestimmt die Reihenfolge), +dadurch weniger Eigenbau und für den Wiedereinstieg vertraut. ### 2.5 Modell-Shortlist — Entscheidung 2026-09-03