Compare commits
2
Commits
922352ae61
..
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
93554f5f7a | ||
|
|
80a862efaf |
@@ -151,19 +151,27 @@ Spiegel der Shares**, nur Index. **Keine zusätzlichen NVMe nötig.**
|
|||||||
Der begrenzende Faktor ist damit *nicht* der Plattenplatz, sondern Retrieval-Qualität
|
Der begrenzende Faktor ist damit *nicht* der Plattenplatz, sondern Retrieval-Qualität
|
||||||
und Indexgröße (§2.6).
|
und Indexgröße (§2.6).
|
||||||
|
|
||||||
### 2.4 Ansible vorbereiten (im Repo, testbar ohne GPU)
|
### 2.4 Ansible — Stand 2026-09-03
|
||||||
|
|
||||||
- `run.yml`: Play für `phy_srv_gpu01` ergänzen
|
- [x] `run.yml`: Play für `phy_srv_gpu01` (security, docker, nvidia_gpu, compose)
|
||||||
- Rollen-Skelett unter `ansible/roles/` (Details erst bei Umsetzung):
|
- [x] `nvidia_gpu` — Treiber (595 **open**), Container Toolkit; **läuft auf dem Server**
|
||||||
- `nvidia_gpu` — Treiber (≥ 580), Container Toolkit, optional MIG, DCGM
|
- [x] **LLM-Stack als Compose-Templates** statt eigener Rolle: über
|
||||||
- `cifs_mounts` — ro-Mounts, Credentials aus `group_vars/secrets.yml`
|
`ironicbadger.docker_compose_generator` (auf **2.0.1 gepinnt**), analog zum
|
||||||
- `llm_stack` — Docker Compose: vLLM (feste `--gpu-memory-utilization`),
|
Homelab-Repo. Fragmente unter `ansible/services/phy-srv-gpu01/`:
|
||||||
Embedding-Server, Open WebUI + pgvector, Reverse Proxy (TLS), oikb-Timer
|
`01-vllm`, `02-embeddings`, `03-openwebui` (+ pgvector), `99-network`.
|
||||||
- Bestehendes nachnutzen: `geerlingguy.security` (Basis-Härtung),
|
Die Rolle **schreibt nur** `~/docker/compose.yaml`; das Starten bleibt ein
|
||||||
`geerlingguy.docker`
|
bewusster manueller Schritt.
|
||||||
- `group_vars/phy_srv_gpu01.yml`: nur Overrides (Modellname, VRAM-Quote,
|
- [ ] `cifs_mounts` — ro-Mounts, Credentials aus `group_vars/secrets.yml`
|
||||||
Share-Liste, LDAP-Parameter)
|
(erst sinnvoll, wenn die Freigaben-Auswahl steht, §2.6/§2.7)
|
||||||
- Alles außer GPU-Rolle ist vorab in einer Wegwerf-VM testbar (`just run`-Pfad)
|
- [ ] oikb-Sync (Share → Knowledge Base), ebenfalls nach der Auswahl
|
||||||
|
- [ ] Reverse Proxy + TLS — bewusst zurückgestellt (§2.2), Stack `04-proxy`
|
||||||
|
- [x] `group_vars/phy_srv_gpu01.yml`: Overrides (Modell, VRAM-Quoten, LDAP,
|
||||||
|
Compose-Pfade). **Offen:** echte LDAP-DNs und drei Vault-Secrets
|
||||||
|
(`vault_owui_secret_key`, `vault_owui_db_password`, `vault_ldap_bind_password`)
|
||||||
|
|
||||||
|
Warum Compose-Templates und keine eigene `llm_stack`-Rolle: gleiche Konvention
|
||||||
|
wie im Homelab-Repo (ein Ordner je Stack, `NN-`-Präfix bestimmt die Reihenfolge),
|
||||||
|
dadurch weniger Eigenbau und für den Wiedereinstieg vertraut.
|
||||||
|
|
||||||
### 2.5 Modell-Shortlist — Entscheidung 2026-09-03
|
### 2.5 Modell-Shortlist — Entscheidung 2026-09-03
|
||||||
|
|
||||||
@@ -217,28 +225,41 @@ wenn der Vollindex schlechte Treffer liefert.
|
|||||||
|
|
||||||
### 2.7 Freigaben-Inventar (Stand 2026-09-03)
|
### 2.7 Freigaben-Inventar (Stand 2026-09-03)
|
||||||
|
|
||||||
`scripts/list-shares.ps1` auf Z-FILESERVER: **30 Freigaben, alle unterhalb `D:`**,
|
`scripts/list-shares.ps1 -WithSize` auf Z-FILESERVER: **30 Freigaben, alle
|
||||||
kein DFS. Vorschlag als *Gesprächsgrundlage* — die Zuordnung der Kürzel muss der
|
unterhalb `D:`**, kein DFS, zusammen **2.128 GB / 3,11 Mio. Dateien**.
|
||||||
Kunde bestätigen, ebenso die endgültige Auswahl:
|
Vollständige Zahlen je Freigabe: [`20260903-share-inventory.md`](20260903-share-inventory.md).
|
||||||
|
|
||||||
|
Vorschlag als *Gesprächsgrundlage* — die Zuordnung der Kürzel muss der Kunde
|
||||||
|
bestätigen, ebenso die endgültige Auswahl:
|
||||||
|
|
||||||
| Freigabe | Pfad | Vorschlag | Begründung |
|
| Freigabe | Pfad | Vorschlag | Begründung |
|
||||||
|---|---|---|---|
|
|---|---|---|---|
|
||||||
| QM | `D:\Abteilungen\QM` | **rein** | Qualitätsmanagement — Normen, Prüfvorschriften: Kern der Wissensbasis |
|
| QM | `D:\Abteilungen\QM` | **rein** | Qualitätsmanagement — Normen, Prüfvorschriften: Kern der Wissensbasis |
|
||||||
| Arbeitssicherheit | `D:\Arbeitssicherheit` | **rein** | Vorschriften, Betriebsanweisungen |
|
| Arbeitssicherheit | `D:\Arbeitssicherheit` | **rein** | Vorschriften, Betriebsanweisungen |
|
||||||
| Competence Center | `D:\Abteilungen\Competence Center` | **rein** | Name deutet auf kuratiertes Wissen |
|
| Competence Center | `D:\Abteilungen\Competence Center` | **rein** | Name deutet auf kuratiertes Wissen |
|
||||||
| EDV | `D:\Abteilungen\EDV` | **rein** | IT-Doku |
|
| EDV | `D:\Abteilungen\EDV` | **raus** | 446 GB bei nur 64k Dateien (Ø 7,2 MB) — Installer/ISOs, keine Dokumente |
|
||||||
| Produktion | `D:\Produktion` | **prüfen** | vermutlich groß; ggf. nur Unterordner mit Doku |
|
| Produktion | `D:\Produktion` | **prüfen** | vermutlich groß; ggf. nur Unterordner mit Doku |
|
||||||
| Projekte | `D:\Projekte` | **prüfen** | vermutlich der größte Block; nur mit Unterordner-Filter sinnvoll |
|
| Projekte | `D:\Projekte` | **prüfen** | vermutlich der größte Block; nur mit Unterordner-Filter sinnvoll |
|
||||||
| Lagerlogistik, Marketing, Kalkulationen, Controlling, Immobilie | div. | **prüfen** | fachlich abhängig, eher zweite Welle |
|
| Lagerlogistik, Marketing, Kalkulationen, Controlling, Immobilie | div. | **prüfen** | fachlich abhängig, eher zweite Welle |
|
||||||
| AA, AZ, BU, EE, EF, EK, ME, MF, MM, PL, SG, VT | `D:\Abteilungen\*` | **klären** | Abteilungskürzel — Bedeutung und Inhalt vom Kunden bestätigen lassen |
|
| AA, AZ, BU, EE, EF, EK, ME, MF, MM, PL, SG, VT | `D:\Abteilungen\*` | **klären** | Abteilungskürzel — Bedeutung und Inhalt vom Kunden bestätigen lassen |
|
||||||
| Zeichnungen | `D:\Abteilungen\Zeichnungen` | **raus** | CAD/Zeichnungen — nicht extrahierbar (s. `cad`/`image` in §2.1) |
|
| Zeichnungen | `D:\Abteilungen\Zeichnungen` | **raus** | CAD — nicht extrahierbar; Messung zeigt **0 Dateien**, beim Kunden verifizieren |
|
||||||
| Datenbank | `D:\Datenbank` | **raus** | Datenbank-Dateien, kein Fließtext |
|
| Marketing | `D:\Abteilungen\Marketing` | **raus (prüfen)** | 226 GB / 119k — überwiegend Bild-/Videomaterial |
|
||||||
|
| EE | `D:\Abteilungen\EE` | **raus (prüfen)** | 423k Dateien à Ø 0,11 MB — Massen-Kleinstdateien, kein Lesestoff |
|
||||||
|
| Datenbank | `D:\Datenbank` | **raus** | 371k Dateien à Ø 0,08 MB — Datenbank-Dateien, kein Fließtext |
|
||||||
| Tempwork | `D:\Tempwork` | **raus** | temporär, per Definition kein Wissensbestand |
|
| Tempwork | `D:\Tempwork` | **raus** | temporär, per Definition kein Wissensbestand |
|
||||||
| Benutzer | `D:\Benutzer` | **raus** | persönliche Ablagen — Datenschutz, kein geteiltes Wissen |
|
| Benutzer | `D:\Benutzer` | **raus** | persönliche Ablagen — Datenschutz, kein geteiltes Wissen |
|
||||||
| **Personal** | `D:\Abteilungen\Personal` | **raus** | **HR — explizit ausgeschlossen** (§0: „alle sehen alles" gilt nur ohne Personaldaten) |
|
| **Personal** | `D:\Abteilungen\Personal` | **raus** | **HR — explizit ausgeschlossen** (§0: „alle sehen alles" gilt nur ohne Personaldaten) |
|
||||||
| **GF** | `D:\Abteilungen\GF` | **raus** | Geschäftsführung — vertraulich |
|
| **GF** | `D:\Abteilungen\GF` | **raus** | Geschäftsführung — vertraulich |
|
||||||
| **BR** | `D:\Abteilungen\BR` | **raus (klären)** | falls Betriebsrat: besonders schutzwürdig, auf keinen Fall indizieren |
|
| **BR** | `D:\Abteilungen\BR` | **raus (klären)** | falls Betriebsrat: besonders schutzwürdig, auf keinen Fall indizieren |
|
||||||
|
|
||||||
|
**Mengengerüst** (Details in der Inventar-Notiz): alle Freigaben 3,11 Mio. Dateien
|
||||||
|
→ nach den offensichtlichen Ausschlüssen oben immer noch **2,08 Mio.** → ein
|
||||||
|
„Kernbestand" aus den 14 kleinen Fachfreigaben (QM, Arbeitssicherheit, Competence
|
||||||
|
Center, AA, AZ, BU, Kalkulationen, Lagerlogistik, SG, MF, MM, Immobilie,
|
||||||
|
Controlling, EK) wären **108 GB / 198k Dateien**. Heißt: **Ausschlüsse auf
|
||||||
|
Freigabe-Ebene allein genügen nicht** — innerhalb von Produktion, PL, EF, ME und
|
||||||
|
Projekte muss auf Unterordner-Ebene weitergefiltert werden.
|
||||||
|
|
||||||
⚠️ **Wichtig:** Weil alle Nutzer alles sehen (§0), ist jede indizierte Freigabe für
|
⚠️ **Wichtig:** Weil alle Nutzer alles sehen (§0), ist jede indizierte Freigabe für
|
||||||
alle 25 Nutzer lesbar — unabhängig von den NTFS-Rechten auf dem Fileserver. Die
|
alle 25 Nutzer lesbar — unabhängig von den NTFS-Rechten auf dem Fileserver. Die
|
||||||
Ausschlüsse oben sind deshalb keine Kosmetik, sondern die einzige Zugriffskontrolle.
|
Ausschlüsse oben sind deshalb keine Kosmetik, sondern die einzige Zugriffskontrolle.
|
||||||
|
|||||||
@@ -0,0 +1,78 @@
|
|||||||
|
# Freigaben-Inventar Z-FILESERVER (2026-09-03)
|
||||||
|
|
||||||
|
Erhoben mit `scripts/list-shares.ps1 -WithSize` auf Z-FILESERVER.
|
||||||
|
**30 Freigaben, alle unterhalb `D:`, kein DFS.**
|
||||||
|
Summe: **2.128 GB, 3.112.777 Dateien.**
|
||||||
|
|
||||||
|
Zum Vergleich: der Scan über `D:` gesamt (§2.1 im Projektplan) ergab 2.231 GB /
|
||||||
|
3.338.643 Dateien — die Differenz (~103 GB, ~226k Dateien) liegt auf `D:`, ist
|
||||||
|
aber **nicht freigegeben**.
|
||||||
|
|
||||||
|
## Rohdaten
|
||||||
|
|
||||||
|
| Freigabe | Pfad | GB | Dateien | Ø Dateigröße |
|
||||||
|
|---|---|---:|---:|---:|
|
||||||
|
| EDV | `D:\Abteilungen\EDV` | 445,67 | 63.746 | 7,16 MB |
|
||||||
|
| Produktion | `D:\Produktion` | 308,52 | 562.853 | 0,56 MB |
|
||||||
|
| Benutzer | `D:\Benutzer` | 303,00 | 327.676 | 0,95 MB |
|
||||||
|
| PL | `D:\Abteilungen\PL` | 228,79 | 547.503 | 0,43 MB |
|
||||||
|
| Marketing | `D:\Abteilungen\Marketing` | 225,98 | 119.055 | 1,94 MB |
|
||||||
|
| EF | `D:\Abteilungen\EF` | 131,45 | 110.854 | 1,21 MB |
|
||||||
|
| ME | `D:\Abteilungen\ME` | 101,71 | 120.411 | 0,86 MB |
|
||||||
|
| Tempwork | `D:\Tempwork` | 93,59 | 106.824 | 0,90 MB |
|
||||||
|
| Projekte | `D:\Projekte` | 50,84 | 80.827 | 0,64 MB |
|
||||||
|
| EE | `D:\Abteilungen\EE` | 46,15 | 422.572 | 0,11 MB |
|
||||||
|
| QM | `D:\Abteilungen\QM` | 33,68 | 85.940 | 0,40 MB |
|
||||||
|
| VT | `D:\Abteilungen\VT` | 30,40 | 41.034 | 0,76 MB |
|
||||||
|
| Datenbank | `D:\Datenbank` | 27,74 | 370.842 | 0,08 MB |
|
||||||
|
| MM | `D:\Abteilungen\MM` | 17,48 | 30.941 | 0,58 MB |
|
||||||
|
| GF | `D:\Abteilungen\GF` | 15,31 | 14.322 | 1,09 MB |
|
||||||
|
| Immobilie | `D:\Immobilie` | 12,33 | 10.700 | 1,18 MB |
|
||||||
|
| Competence Center | `D:\Abteilungen\Competence Center` | 10,63 | 4.756 | 2,29 MB |
|
||||||
|
| Personal | `D:\Abteilungen\Personal` | 10,50 | 25.440 | 0,42 MB |
|
||||||
|
| MF | `D:\Abteilungen\MF` | 8,48 | 27.468 | 0,32 MB |
|
||||||
|
| Controlling | `D:\Controlling` | 8,15 | 2.952 | 2,83 MB |
|
||||||
|
| Arbeitssicherheit | `D:\Arbeitssicherheit` | 5,78 | 7.416 | 0,80 MB |
|
||||||
|
| BU | `D:\Abteilungen\BU` | 4,79 | 6.242 | 0,79 MB |
|
||||||
|
| AA | `D:\Abteilungen\AA` | 2,56 | 10.206 | 0,26 MB |
|
||||||
|
| AZ | `D:\Abteilungen\AZ` | 1,86 | 3.973 | 0,48 MB |
|
||||||
|
| SG | `D:\Abteilungen\SG` | 1,51 | 3.603 | 0,43 MB |
|
||||||
|
| Kalkulationen | `D:\Abteilungen\Kalkulationen` | 0,59 | 3.325 | 0,18 MB |
|
||||||
|
| Lagerlogistik | `D:\Abteilungen\Lagerlogistik` | 0,57 | 663 | 0,88 MB |
|
||||||
|
| EK | `D:\Abteilungen\EK` | 0,02 | 314 | 0,07 MB |
|
||||||
|
| BR | `D:\Abteilungen\BR` | 0,01 | 319 | 0,04 MB |
|
||||||
|
| Zeichnungen | `D:\Abteilungen\Zeichnungen` | 0,00 | 0 | — |
|
||||||
|
|
||||||
|
## Auffälligkeiten
|
||||||
|
|
||||||
|
- **`Zeichnungen` ist leer (0 Dateien).** Entweder tatsächlich leer, oder das
|
||||||
|
ausführende Konto hatte keinen Lesezugriff. **Beim Kunden klären** — falls dort
|
||||||
|
doch Zeichnungen liegen, ändert das nichts am Ausschluss (CAD ist nicht
|
||||||
|
extrahierbar), wohl aber die Aussage „wir haben alles gesehen".
|
||||||
|
- **`EDV` ist kein Dokumentenbestand.** 445 GB bei nur 64k Dateien = Ø 7,2 MB je
|
||||||
|
Datei — das sind Installer/ISOs/Images, keine Fließtexte. (Damit ist meine
|
||||||
|
frühere Einschätzung „EDV rein" hinfällig.)
|
||||||
|
- **`Datenbank` und `EE` sind Massen-Kleinstdateien** (Ø 0,08 bzw. 0,11 MB) —
|
||||||
|
typisch für Datenbank- bzw. Systemdateien, kein Lesestoff.
|
||||||
|
- **Vier Freigaben dominieren die Dateianzahl:** Produktion (563k), PL (548k),
|
||||||
|
EE (423k), Benutzer (328k) — zusammen ~1,86 Mio. der 3,11 Mio. Dateien.
|
||||||
|
|
||||||
|
## Mengengerüst für die Eingrenzung
|
||||||
|
|
||||||
|
| Szenario | GB | Dateien |
|
||||||
|
|---|---:|---:|
|
||||||
|
| Alle Freigaben | 2.128 | 3.112.777 |
|
||||||
|
| Ohne Benutzer, Personal, GF, BR, Datenbank, Tempwork, Zeichnungen, EDV, Marketing | 1.006 | 2.084.553 |
|
||||||
|
| „Kernbestand": QM, Arbeitssicherheit, Competence Center, AA, AZ, BU, Kalkulationen, Lagerlogistik, SG, MF, MM, Immobilie, Controlling, EK | **108** | **198.499** |
|
||||||
|
|
||||||
|
Auch nach den offensichtlichen Ausschlüssen bleiben >2 Mio. Dateien — die
|
||||||
|
Eingrenzung muss also **innerhalb** der großen Freigaben weitergehen
|
||||||
|
(Unterordner), nicht nur auf Freigabe-Ebene. Der Kernbestand mit ~198k Dateien
|
||||||
|
(davon nur ein Teil extrahierbare Office-Dokumente) liegt dagegen in der
|
||||||
|
Größenordnung, die im Projektplan §2.6 als handhabbar beschrieben ist.
|
||||||
|
|
||||||
|
## Nächster Schritt
|
||||||
|
|
||||||
|
`share-analysis.ps1 -Paths "D:" -FolderDepth 2` liefert die Dateityp-Verteilung
|
||||||
|
je Freigabe — erst damit ist bekannt, wie viele der Dateien je Freigabe
|
||||||
|
überhaupt extrahierbar (`office`) sind. Läuft zum Zeitpunkt dieser Notiz noch.
|
||||||
Reference in New Issue
Block a user