Technische Grundlage · Arbeitsstand 09.08.2026

Der Stack, der
im Haus bleibt.

Alles läuft auf einem Gerät beim Kunden, unabhängig von der Branche. Kein Dienst in der Cloud, kein Schlüssel zu einem fremden Anbieter, kein Weg nach draußen. Die schwierige Arbeit besteht nicht darin, Sprachmodelle lokal zu betreiben. Sie besteht darin, dass niemand merkt, dass sie lokal laufen.

Lokal zuerstJede Funktion muss ohne Internet arbeiten. Was das nicht kann, kommt nicht rein.
Langweilige TechnikBewährte Bauteile statt neuester Bibliothek. Das Ding muss drei Jahre ohne uns laufen.
Austauschbare ModelleEin Übersetzer vor allen Modellaufrufen. Ein neues Modell ist eine Zeile Konfiguration.
Der Mensch entscheidetDas System schlägt vor. Alles, was nach außen geht oder Akten verändert, braucht einen Klick.

Das große Bild Sieben Schichten

Von unten nach oben. Schicht sieben liegt quer über allen anderen und ist die einzige, die der Kunde am Ende prüfen lassen kann.

7 Absicherung und NachweisNetztrennung, Protokoll, Rechte, Sicherung, Notfallplan liegt über allem
6 OberflächeBrowser-Anwendung, geführtes Onboarding, mobile Ansicht Next.js + eigenes Designsystem
5 Agenten und AbläufeRollen, Werkzeuge, Freigabe-Tore, Zeitpläne Eigener Orchestrator
4 WissensschichtSuche über Akten, kuratierte Regeln, Gedächtnis Postgres + pgvector, Git für Kuratiertes
3 AnbindungenAblage, Kanzlei- oder Praxissoftware, Postfach, Scanner Lesend, im Takt, ohne Rückschreiben
2 ModelleSprache, Einbettung, Diktat, Nachsortierung vLLM + offene Gewichte
1 GerätRechner, Speicher, Notstrom, Sicherung Mac Studio oder DGX Spark

1 · Das Gerät Schicht 1

Eine Box, kein Rack. Sie steht dort, wo heute der Datei-Server steht, und wird wie ein Gerät behandelt, nicht wie ein Projekt.

BauteilWahlAlternativeWarum so
Rechenkern Mac Studio M3 Ultra, 256 GBStandard Nvidia DGX Spark, 128 GB Höhere Speicherbandbreite, leise, unauffällig, jeder IT-Betreuer kommt damit klar. DGX, sobald ein Kunde Nvidia-Werkzeuge braucht oder zwei Geräte koppeln will.
BetriebssystemmacOS bzw. Ubuntu LTS— Beide erlauben Updates aus einer eigenen Quelle, ohne dass das Gerät ins Internet muss.
SicherungZweite Platte im Haus plus NASVerschlüsseltes Band Ein Brain ohne Sicherung ist beim ersten Plattentod weg. Die Sicherung darf das Haus ebenfalls nicht verlassen.
NotstromUSV, rund 150 EUR— Ein harter Stromausfall mitten im Indexlauf kostet mehr Zeit als das Gerät kostet.
WachstumZweites Gerät statt größeres— Ab etwa 60 gleichzeitigen Nutzern. Bringt Ausfallsicherheit gratis mit.

Preisrisiko: Die Speicherpreise sind 2026 stark gestiegen, einzelne Geräte binnen Monaten um bis zu 70 Prozent. Angebote nie mit einer Kalkulation herausgeben, die älter als zwei Wochen ist.

2 · Die Modelle Schicht 2

Vier Modelle, alle mit offenen Gewichten, alle auf demselben Gerät. Sie werden vom Kunden nie beim Namen genannt, sondern erscheinen als „schnell“ und „gründlich“.

AufgabeWahlAlternativeWarum so
Sprache, gründlichOffenes Modell der 70-Milliarden-KlasseStandard Kleineres 30-Milliarden-Modell Reicht für Entwürfe, Zusammenfassungen und Akten-Fragen. Wird als „gründlich“ angeboten und braucht ein paar Sekunden.
Sprache, schnellModell der 8-Milliarden-Klasse— Für Titel, Sortierung, Vorschläge während des Tippens. Antwortet sofort.
EinbettungMehrsprachiges EinbettungsmodellDeutsch-spezialisiert Deutsche Fachsprache und Aktenzeichen müssen sauber getroffen werden, sonst findet die Suche nichts.
DiktatSpracherkennung lokal— Der wichtigste einzelne Grund, warum Kanzleien und Praxen überhaupt anfangen. Und ausgerechnet der heikelste für die Cloud.
NachsortierungKleines Bewertungsmodellweglassen Hebt die Trefferqualität deutlich, kostet kaum Rechenzeit. Der Unterschied zwischen „findet was“ und „findet das Richtige“.
BetriebvLLMStandardOllama, llama.cpp vLLM für mehrere Nutzer gleichzeitig. Ollama nur für Einzelplatz-Tests, es bricht bei paralleler Last ein.

Der Übersetzer davor: Alle Aufrufe laufen über eine einzige Schnittstelle im OpenAI-Format. Dadurch ist ein Modellwechsel Konfiguration statt Umbau, und ein Kunde mit höheren Ansprüchen kann bewusst und einzeln freigeben, dass eine bestimmte Aufgabe an einen europäischen Anbieter geht. Ohne diese Freigabe existiert der Weg nicht.

3 · Wissen und Anbindungen Schicht 3 und 4

Das Brain hat zwei Sorten Gedächtnis, und die Trennung ist der eigentliche Trick: das, was in der Firma sowieso herumliegt, und das, was jemand bewusst als richtig markiert hat.

BauteilWahlAlternativeWarum so
BestandswissenPostgres mit pgvectorStandardQdrant Eine Datenbank für Inhalte, Rechte und Vektoren. Weniger bewegliche Teile heißt weniger Anrufe.
Kuratiertes WissenMarkdown-Dateien in GitDatenbanktabelle Vorlagen, Hausregeln, Normen, Formulierungen. Jede Änderung ist nachvollziehbar, jede Freigabe ist eine Prüfung durch einen zweiten Menschen. Das Protokoll fällt nebenbei ab.
DateienNetzlaufwerk, lesendDMS-Schnittstelle Wir schreiben nicht in die Ablage des Kunden zurück. Das Brain darf nie die Quelle beschädigen, aus der es lernt.
FachsoftwareERP, CRM, Kanzlei- oder Praxissystem, lesendExport im Takt Kunden-, Projekt- oder Aktenstamm, damit Antworten einen Bezug haben. Beim ersten Kunden bewusst als Nachtlauf, nicht live.
PostfachExchange, ein FunktionspostfachOrdner-Ablage Eingehende Post lesen und zuordnen. Nie mit persönlichen Postfächern anfangen, das ist auch mitbestimmungsrelevant.
PapierScan-Ordner mit Texterkennung— In vielen Häusern kommt ein großer Teil des Wissens weiter auf Papier herein: Prüfberichte, Post, Formulare.

4 · Agenten und Oberfläche Schicht 5 und 6

Der Nutzer sieht kein Agentensystem. Er sieht ein Eingabefeld, eine Antwort mit Quelle und manchmal einen Entwurf, den er freigeben kann.

Frage im Browser Rechte-Prüfung was darf er sehen Suche im Bestand Treffer + Fundstelle Hausregeln kuratiert, aus Git Modell auf dem Gerät Antwort mit Quellenangabe Protokoll unveränderbar

Die Rollen dahinter

Die Oberfläche

Next.js mit einem eigenen, sehr kleinen Designsystem, ausgeliefert vom Gerät selbst. Keine Schriften, keine Symbole, keine Statistik von fremden Servern, sonst wäre die Netztrennung schon beim Aufruf der Seite gebrochen. Anmeldung lokal, wahlweise gegen ein vorhandenes Verzeichnis im Haus.

5 · Die harten Regeln Schicht 7

Diese acht Punkte sind nicht verhandelbar. Sie sind der Grund, warum ein Berufsgeheimnisträger das Gerät überhaupt einschalten darf.

Kein Weg nach draußenRegel in der Firewall, nicht Häkchen in der Software. Wird beim Aufbau gemeinsam gesetzt und dokumentiert.
Rechte vor AntwortGesucht wird nur in dem, was die fragende Person auch im Aktenschrank oder Laufwerk öffnen dürfte.
Protokoll gehört dem KundenWer hat wann was gefragt, welche Quellen wurden benutzt. Auf dem Gerät, unveränderbar, exportierbar.
Nichts geht ohne Klick rausKein Brief, keine Mail, kein Eintrag ins Fachsystem ohne menschliche Freigabe. Auch später nicht.
Keine TrainingsdatenAus Kundendaten wird nichts gelernt oder nachtrainiert. Das Modell ist beim Kunden dasselbe wie im Karton.
Updates offlineModelle und Software kommen geprüft und signiert ins Haus, nicht per automatischem Download.
Kein Fernzugriff im HintergrundWartung nur nach Ankündigung und nur, wenn der Kunde den Zugang für die Dauer öffnet.
Keine Ausrede bei NichtwissenFindet das System nichts, sagt es das. Erfundene Fundstellen sind in diesem Markt geschäftsschädigend.

6 · Was wir bewusst weglassen Abgrenzung

7 · Offene Punkte vor dem ersten Bau zu klären

Bauteile je Gerät
≈ 5.400 €
Rechner, Sicherung, Notstrom, Einrichtung. Verkaufspreis 9.800 EUR, die Marge steckt in Software und geführter Einrichtung.
Aufbau erste Version
10–14 Wo.
Oberfläche, Onboarding, zwei Anbindungen, Protokoll. Ohne den Unterbau selbst zu schreiben.
Laufende Kosten
0 €
Keine Nutzungsgebühr pro Frage, weil kein fremdes Modell aufgerufen wird. Für den Kunden bleiben Strom und, falls gebucht, Support.