Document compose-template approach in projektplan 2.4
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -151,19 +151,27 @@ Spiegel der Shares**, nur Index. **Keine zusätzlichen NVMe nötig.**
|
|||||||
Der begrenzende Faktor ist damit *nicht* der Plattenplatz, sondern Retrieval-Qualität
|
Der begrenzende Faktor ist damit *nicht* der Plattenplatz, sondern Retrieval-Qualität
|
||||||
und Indexgröße (§2.6).
|
und Indexgröße (§2.6).
|
||||||
|
|
||||||
### 2.4 Ansible vorbereiten (im Repo, testbar ohne GPU)
|
### 2.4 Ansible — Stand 2026-09-03
|
||||||
|
|
||||||
- `run.yml`: Play für `phy_srv_gpu01` ergänzen
|
- [x] `run.yml`: Play für `phy_srv_gpu01` (security, docker, nvidia_gpu, compose)
|
||||||
- Rollen-Skelett unter `ansible/roles/` (Details erst bei Umsetzung):
|
- [x] `nvidia_gpu` — Treiber (595 **open**), Container Toolkit; **läuft auf dem Server**
|
||||||
- `nvidia_gpu` — Treiber (≥ 580), Container Toolkit, optional MIG, DCGM
|
- [x] **LLM-Stack als Compose-Templates** statt eigener Rolle: über
|
||||||
- `cifs_mounts` — ro-Mounts, Credentials aus `group_vars/secrets.yml`
|
`ironicbadger.docker_compose_generator` (auf **2.0.1 gepinnt**), analog zum
|
||||||
- `llm_stack` — Docker Compose: vLLM (feste `--gpu-memory-utilization`),
|
Homelab-Repo. Fragmente unter `ansible/services/phy-srv-gpu01/`:
|
||||||
Embedding-Server, Open WebUI + pgvector, Reverse Proxy (TLS), oikb-Timer
|
`01-vllm`, `02-embeddings`, `03-openwebui` (+ pgvector), `99-network`.
|
||||||
- Bestehendes nachnutzen: `geerlingguy.security` (Basis-Härtung),
|
Die Rolle **schreibt nur** `~/docker/compose.yaml`; das Starten bleibt ein
|
||||||
`geerlingguy.docker`
|
bewusster manueller Schritt.
|
||||||
- `group_vars/phy_srv_gpu01.yml`: nur Overrides (Modellname, VRAM-Quote,
|
- [ ] `cifs_mounts` — ro-Mounts, Credentials aus `group_vars/secrets.yml`
|
||||||
Share-Liste, LDAP-Parameter)
|
(erst sinnvoll, wenn die Freigaben-Auswahl steht, §2.6/§2.7)
|
||||||
- Alles außer GPU-Rolle ist vorab in einer Wegwerf-VM testbar (`just run`-Pfad)
|
- [ ] oikb-Sync (Share → Knowledge Base), ebenfalls nach der Auswahl
|
||||||
|
- [ ] Reverse Proxy + TLS — bewusst zurückgestellt (§2.2), Stack `04-proxy`
|
||||||
|
- [x] `group_vars/phy_srv_gpu01.yml`: Overrides (Modell, VRAM-Quoten, LDAP,
|
||||||
|
Compose-Pfade). **Offen:** echte LDAP-DNs und drei Vault-Secrets
|
||||||
|
(`vault_owui_secret_key`, `vault_owui_db_password`, `vault_ldap_bind_password`)
|
||||||
|
|
||||||
|
Warum Compose-Templates und keine eigene `llm_stack`-Rolle: gleiche Konvention
|
||||||
|
wie im Homelab-Repo (ein Ordner je Stack, `NN-`-Präfix bestimmt die Reihenfolge),
|
||||||
|
dadurch weniger Eigenbau und für den Wiedereinstieg vertraut.
|
||||||
|
|
||||||
### 2.5 Modell-Shortlist — Entscheidung 2026-09-03
|
### 2.5 Modell-Shortlist — Entscheidung 2026-09-03
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user