Zum Inhalt springen

KI, die auf deinem Server läuft.

Eigene Sprachmodelle mit Ollama, Auskunft aus deinen eigenen Dokumenten und KI direkt in deinen Abläufen. Ohne Abo, ohne Token-Zähler und ohne die Frage, wo deine Daten gerade liegen.

Projekt starten Preise ansehen

Warum das Ding auf deinem Server stehen sollte

Der übliche Weg mit KI sieht so aus: Man legt ein Abo an, tippt Firmeninterna in ein Eingabefeld und hofft, dass es schon passt. Für Alltagskram funktioniert das. Sobald Kundendaten, Verträge oder Kalkulationen ins Spiel kommen, wird es unangenehm.

Die Alternative ist ein Sprachmodell, das auf deiner eigenen Hardware läuft. Kein Abo, kein Token-Zähler, keine Frage danach, wo die Daten landen. Aufgesetzt mit Ollama, bedient über eine Oberfläche, die aussieht wie das, was du kennst.

Drei Ausbaustufen

Stufe 1: Eigener Assistent

Ollama plus OpenWebUI auf einem Server im Haus oder im Rechenzentrum. Deine Mitarbeiter bekommen eine vertraute Chat-Oberfläche mit eigenen Zugängen. Alles bleibt intern. Das ist an einem Tag aufgebaut und der beste Einstieg, um ein Gefühl dafür zu bekommen.

Stufe 2: Wissen aus eigenen Unterlagen

Handbücher, Preislisten, Verträge, Protokolle werden durchsuchbar abgelegt. Danach kannst du fragen: Was steht im Wartungsvertrag mit Firma Müller zur Reaktionszeit? Und bekommst die Antwort samt Fundstelle. Das ist der Punkt, an dem KI im Betrieb tatsächlich Zeit spart.

Stufe 3: KI im Ablauf statt im Chatfenster

Jetzt wird es interessant. Das Modell sitzt nicht mehr in einem Fenster, auf das jemand klicken muss, sondern mitten in einem Ablauf. Es liest eingehende E-Mails und sortiert sie vor, zieht Daten aus Dokumenten, entwirft Antworten. Wie das zusammenspielt, steht auf der Seite zur Prozessautomatisierung.

Wann externe Modelle sinnvoll bleiben

Ich verkaufe dir keine Ideologie. Es gibt Aufgaben, bei denen ein großes kommerzielles Modell wie Claude schlicht besser ist, und dann sollte man es auch nehmen.

AufgabeEmpfehlung
Vertrauliche Daten, hohe Mengeeigenes Modell, selbst gehostet
Klassifizieren, Zusammenfassen, Umformuliereneigenes Modell reicht
Auskunft aus eigenen Dokumenteneigenes Modell mit RAG
Komplexes Denken, Code, lange Zusammenhängeexternes Modell
Kreative Texte in hoher Qualitätexternes Modell

Die meisten Betriebe fahren am Ende zweigleisig. Das Alltagsgeschäft läuft intern, die anspruchsvollen Fälle gehen nach außen, und was dorthin geht, ist vorher besprochen.

Was ich nicht mache

Ich verkaufe dir keine KI-Strategie in Form einer Präsentation. Und ich baue nichts, nur weil es gerade KI heißt. Wenn eine simple Regel dieselbe Aufgabe schneller, billiger und zuverlässiger löst, dann bauen wir die Regel. Das ist häufiger der Fall, als der aktuelle Marktlärm vermuten lässt.

Ein guter Test: Wenn du eine Aufgabe in einem Satz mit einem Wenn und einem Dann beschreiben kannst, brauchst du keine KI, sondern eine Automatisierung. Erst wenn etwas verstanden werden muss, wird ein Sprachmodell zur richtigen Antwort.

KI-Beratung in der Bodenseeregion

Für Unternehmen in Friedrichshafen, Ravensburg, Überlingen, Markdorf, Tettnang und Konstanz bin ich für Termine vor Ort da. Gerade beim Thema KI ist das oft hilfreich, weil die erste Stunde meistens damit vergeht, Erwartungen geradezurücken. In beide Richtungen.

Häufige Fragen

Das wird hier am
häufigsten gefragt.

Brauche ich dafür teure Hardware?
Weniger als die meisten denken. Für ein Modell in der Größenordnung von sieben bis acht Milliarden Parametern reicht eine gebrauchte Grafikkarte mit 12 bis 16 GB Speicher. Damit laufen Zusammenfassungen, Textentwürfe, Klassifikation und Auskunft auf eigenen Dokumenten ordentlich. Ohne Grafikkarte geht es auch, dann eben langsamer. Für viele Anwendungen im Hintergrund ist das völlig ausreichend.
Ist ein eigenes Modell so gut wie ChatGPT?
Nein, und das behauptet auch niemand. Bei komplexem Denken und langen Zusammenhängen sind die großen kommerziellen Modelle deutlich stärker. Bei klar umrissenen Aufgaben wie Klassifizieren, Zusammenfassen, Umformulieren oder Auskunft aus deinen eigenen Unterlagen ist der Unterschied dagegen oft kaum spürbar. Die ehrliche Antwort lautet deshalb meistens: beides, je nach Aufgabe.
Was ist RAG genau?
Retrieval Augmented Generation. Statt ein Modell aufwendig auf deine Daten zu trainieren, werden deine Dokumente durchsuchbar abgelegt. Bei einer Frage sucht das System zuerst die passenden Stellen heraus und legt sie dem Modell als Kontext vor. Das Modell antwortet also mit deinen Unterlagen in der Hand statt aus dem Gedächtnis. Vorteil: neue Dokumente sind sofort verfügbar, und die Antwort lässt sich bis zur Quelle zurückverfolgen.
Dürfen Kundendaten in eine KI?
Bei einem selbst gehosteten Modell verlässt kein Wort deinen Server, damit ist die Frage weitgehend entschärft. Sobald ein externes Modell ins Spiel kommt, klären wir vorher, welche Daten dorthin gehen und was vorher anonymisiert wird. Nichts passiert stillschweigend im Hintergrund.
Womit fängt man sinnvoll an?
Mit einer Aufgabe, bei der ein Fehler nichts kostet. Interne Zusammenfassungen, Vorsortierung von E-Mails, ein Assistent für die eigenen Unterlagen. Danach kennst du die Stärken und Grenzen aus eigener Anschauung und kannst über größere Schritte entscheiden.

Erst schauen, dann bauen.

Im Erstgespräch klären wir, ob KI bei dir wirklich etwas bringt. Manchmal lautet die Antwort nein, und das sage ich dann auch.

Gespräch anfragen 0174 9014114