IT & Sicherheit · Lokale KI

Lokale KI-Modelle: ein eigenes LLM im eigenen Haus, damit vertrauliche Daten im Unternehmen bleiben können

Lokale KI-Modelle arbeiten ähnlich wie ChatGPT, laufen aber auf Ihrer eigenen Hardware. Texte, Verträge, Kundendaten und interne Dokumente können verarbeitet werden, ohne dass sie an einen KI-Anbieter geschickt werden. Ob On-Premise-KI oder private KI im Büro: Wir wählen passende Hardware und lokal nutzbare Sprachmodelle mit geeigneten Lizenzbedingungen aus, richten das LLM im eigenen Haus ein und binden es so an, dass Ihr Team es einfach im Browser nutzen kann. Für Unternehmen in Deutschland, Österreich und der Schweiz, die erste Einschätzung ist kostenlos.

Kostenlose Ersteinschätzung anfordern

Was ist ein lokales LLM?

Kurz gesagt: Ein lokales LLM ist ein Sprachmodell, wie es auch hinter ChatGPT steckt, das auf Ihrer eigenen Hardware läuft statt auf den Servern eines Anbieters. Man spricht auch von lokaler KI, On-Premise-KI oder privater KI. Bei vollständig lokaler Einrichtung bleiben Eingaben und Dokumente in Ihrem Unternehmen.

Lokale KI-Modelle sind heute für viele Büroaufgaben gut genug. Bei sehr anspruchsvollen Aufgaben sind die größten Cloud-Modelle meist noch stärker. Wir zeigen ehrlich, wo die Grenze liegt.

Daten können im Haus bleiben

Bei vollständig lokaler Einrichtung werden Eingaben auf Ihrer eigenen Infrastruktur verarbeitet.

Unabhängiger

Weniger abhängig von Preiserhöhungen, geänderten Nutzungsbedingungen oder abgeschalteten Funktionen.

Für Berufsgeheimnisse

Für Kanzleien, Praxen und Beratung mit besonders vertraulichen Unterlagen: Lokaler Betrieb kann die Weitergabe von Eingaben an einen externen KI-Anbieter vermeiden. Zugriffsrechte und die zulässige Nutzung prüfen wir für den jeweiligen Einsatz.

Planbare Kosten

Hardware einmalig, dazu Strom und Pflege, aber keine Gebühren pro Anfrage oder Nutzer.

Lokale KI-Modelle

Ein eigenes LLM im eigenen Haus.

KI-generiertes Bild

Lokale KI-Modelle oder ChatGPT: der Vergleich

Kriterium	Cloud-KI wie ChatGPT	Lokale KI-Modelle
Wo die Daten verarbeitet werden	auf Servern des Anbieters	bei vollständig lokaler Einrichtung auf Ihrer eigenen Hardware
Leistung bei sehr komplexen Aufgaben	sehr hoch	gut, je nach Modell und Hardware
Kosten	laufend pro Nutzer oder Anfrage	Hardware einmalig, dazu Strom und Pflege
Abhängigkeit	vom Anbieter und seinen Regeln	gering, viele Modelle und Werkzeuge sind lokal nutzbar, je nach Lizenz
Internet für den Betrieb	erforderlich	nicht zwingend, Betrieb offline möglich

Lokales LLM, On-Premise-KI, private KI: welche Begriffe dasselbe meinen

Kurz gesagt: Für KI im eigenen Haus gibt es viele Namen. Gemeint ist fast immer ein Sprachmodell, das auf Hardware läuft, die Sie selbst kontrollieren.

Begriffe rund um KI im eigenen Haus
Begriff	Bedeutung
Lokales LLM	ein großes Sprachmodell, das auf eigener Hardware läuft statt beim Anbieter
On-Premise-KI	KI, die in den eigenen Räumen oder im eigenen Rechenzentrum betrieben wird
Self-hosted LLM	ein selbst betriebenes Sprachmodell, lokal oder auf einem eigenen gemieteten Server
Private KI oder souveräne KI	KI, bei der Sie über Daten, Modell und Betrieb selbst bestimmen
Offline-KI	KI, die ganz ohne Internetverbindung arbeitet

On-Premise-KI heißt also: Betrieb in den eigenen Räumen. Wer On-Premise-KI will, braucht eigene Hardware und jemanden, der sie pflegt. Genau das übernehmen wir. Private KI heißt dabei: Modell und Daten bleiben bei Ihnen. Ein Self-hosted LLM läuft auf eigener Hardware oder einem gemieteten Server, den Sie kontrollieren.

Warum lokale KI-Modelle statt Cloud-KI? KI ohne Cloud im Unternehmen

KI-Dienste in der Cloud sind bequem. Jede Eingabe landet dabei aber auf den Servern des Anbieters, oft außerhalb der EU. Für viele Unternehmen ist das bei sensiblen Daten keine Option. Bei einer vollständig lokal konfigurierten Installation werden Eingaben und Dokumente auf Ihrer eigenen Infrastruktur verarbeitet. Externe Anbindungen, Updates und Fernzugriffe prüfen und dokumentieren wir gesondert. Am Ende soll Ihr Team KI im Alltag nutzen können, ohne dass vertrauliche Unterlagen das Haus verlassen. KI im eigenen Haus heißt: Modell und Daten bleiben bei Ihnen. Wer KI im eigenen Haus betreibt, braucht passende Hardware und regelmäßige Pflege, gewinnt dafür aber Kontrolle. Souveräne KI heißt: Sie bestimmen über Daten, Modell und Betrieb.

Lokale KI für Unternehmen: wofür sie eingesetzt wird

Dokumente zusammenfassen

Verträge, Protokolle oder lange Berichte in wenigen Absätzen.

Interne Wissensdatenbank

Fragen an eigene Handbücher, Richtlinien und Unterlagen stellen und Antworten mit Hinweis auf die Fundstelle erhalten.

Entwürfe schreiben

E-Mails, Angebote, Texte und Beschreibungen vorbereiten.

Übersetzen

Unterlagen in andere Sprachen übertragen, ohne sie hochzuladen.

Daten auswerten

Tabellen und Listen sortieren, prüfen und erklären lassen.

Automatisierung

Skripte übergeben Dokumente automatisch an das LLM und legen die Ergebnisse ab.

Lokal, GPU-Server oder Cloud: welche KI-Betriebsform passt?

Kurz gesagt: Welche KI-Betriebsform passt, hängt vor allem von der Sensibilität der Daten ab. Je sensibler die Daten, desto eher lokal. Je größer die Rechenaufgabe, desto eher ein zusätzlicher GPU-Server. Für unkritische Aufgaben kann Cloud-KI weiter sinnvoll sein.

Betriebsform	Stärke	Passt, wenn …
Lokale KI im eigenen Haus	größte Kontrolle über die Daten	vertrauliche Unterlagen verarbeitet werden und die Hardware ausreicht
Gemieteter GPU-Server in Europa	viel Rechenleistung ohne eigene Hardware	große Modelle oder viele Nutzer gebraucht werden und Anbieter, Zugriffe und Verträge geprüft sind
Cloud-KI eines Anbieters	stärkste Modelle, kein Betriebsaufwand	die Daten unkritisch sind und die Nutzungsbedingungen passen

Viele Unternehmen kombinieren: lokale KI für Vertrauliches, Cloud-KI für allgemeine Recherche.

Welche lokale KI-Lösung braucht Ihr Unternehmen?

Für Textentwürfe und Zusammenfassungen genügt häufig ein lokal betriebener KI-Chat. Soll die KI Antworten aus Ihren internen Unterlagen geben, kommt eine Dokumentensuche mit RAG hinzu. Arbeiten mehrere Personen gleichzeitig damit, planen wir Benutzerrechte, Antwortzeiten und die nötige Hardware mit ein. Wir testen diese Aufgaben mit Beispielen aus Ihrem Arbeitsalltag, bevor wir ein Gerät und Modell empfehlen.

LLM lokal betreiben: Hardware und Software

Kurz gesagt: Ein lokales LLM braucht vor allem viel schnellen Speicher für das Modell. Welche Hardware passt, hängt von der Modellgröße und der Zahl der Nutzer ab. Ein LLM lokal zu betreiben lohnt sich vor allem, wenn Daten das Haus nicht verlassen sollen. Wer ein LLM lokal installieren und betreiben will, braucht diese Bausteine:

Arbeitsplatzrechner mit starker Grafikkarte: für einzelne Nutzer und mittelgroße Modelle.
Mini-PC mit viel gemeinsamem Arbeitsspeicher: kompakt, leise und sparsam, auch für größere Modelle geeignet.
Kleiner KI-Server im Büro: für mehrere Nutzer gleichzeitig.
Lokal nutzbare Sprachmodelle: Wir wählen eine geeignete Modellversion nach Aufgabe, Leistung und Lizenzbedingungen aus. Zu den möglichen Modellfamilien gehören Llama, Mistral, Qwen und Gemma.
Bewährte Werkzeuge: zum Beispiel Ollama oder llama.cpp für den Betrieb und Open WebUI als Oberfläche im Browser, ähnlich wie ChatGPT.

Reicht die eigene Hardware für große Aufgaben nicht, kann zusätzlich ein GPU-Server im Rechenzentrum helfen. Das ist allerdings eine andere Betriebsform, bei der Anbieter, Zugriffsrechte und Speicherung gesondert geprüft werden.

Welche Modellgröße brauche ich für lokale KI?

Nicht das größte Modell ist das beste, sondern das, das Ihre Aufgabe zuverlässig auf Ihrer Hardware erledigt. Grob lassen sich drei Klassen unterscheiden:

Modellklasse	Geeignet für	Hardware
Kleine Modelle	Zusammenfassen, einfache Entwürfe, Sortieren	ein guter Arbeitsplatzrechner
Mittlere Modelle	Fachtexte, Wissensdatenbank, Übersetzung	Rechner mit starker Grafikkarte oder Mini-PC mit viel Arbeitsspeicher
Große Modelle	anspruchsvolle Analysen, mehrere Nutzer gleichzeitig	kleiner KI-Server oder Mini-PC der oberen Klasse

Wie viel Grafikspeicher braucht ein lokales LLM?

Entscheidend ist der Speicher, in den das Modell passt, also der Grafikspeicher (VRAM) oder bei Mini-PCs der gemeinsame Arbeitsspeicher. Als grobe Faustregel braucht ein auf vier Bit quantisiertes Modell etwas mehr als ein halbes Gigabyte pro Milliarde Parameter, dazu Reserve für längere Texte:

Grobe Richtwerte für den Speicherbedarf quantisierter Sprachmodelle
Modellgröße	Grober Speicherbedarf
etwa 8 Milliarden Parameter	rund 6 bis 8 GB
etwa 14 Milliarden Parameter	rund 10 bis 12 GB
etwa 32 Milliarden Parameter	rund 20 bis 24 GB
etwa 70 Milliarden Parameter	rund 40 bis 48 GB

Die Werte schwanken je nach Modell, Quantisierung und Textlänge. Wir messen den tatsächlichen Bedarf mit Ihren Aufgaben.

Welche Klasse passt, testen wir vor dem Kauf mit Ihren typischen Aufgaben.

Quantisierung: große Modelle auf kleinerer Hardware

Kurz gesagt: Quantisierung verkleinert ein Sprachmodell, indem die Zahlen darin mit weniger Genauigkeit gespeichert werden. Dadurch braucht es deutlich weniger Speicher und läuft auch auf kleinerer Hardware, meist mit nur geringem Qualitätsverlust. Eine 4-Bit-Quantisierung spart besonders viel Speicher, eine 8-Bit-Quantisierung hält die Qualität näher am Original.

Weniger Speicher: Ein quantisiertes Modell passt oft auf eine einzelne Grafikkarte oder einen Mini-PC.
Schnellere Antworten: Weniger Daten bedeuten meist kürzere Wartezeiten.
Abwägung: Je stärker verkleinert, desto eher leidet die Qualität bei anspruchsvollen Aufgaben.

Welche Stufe passt, testen wir mit Ihren eigenen Aufgaben, statt uns auf allgemeine Tabellen zu verlassen.

Open-Source-KI und offene Modelle: was die Lizenz erlaubt

Viele lokal nutzbare Sprachmodelle werden als offene Modelle veröffentlicht. Das bedeutet nicht immer Open Source im klassischen Sinn: Oft sind nur die Modellgewichte frei verfügbar, und die Lizenz regelt, wofür das Modell genutzt werden darf. Manche Lizenzen haben Einschränkungen, etwa für sehr große Unternehmen oder bestimmte Einsatzzwecke. Wir prüfen die Lizenzbedingungen für Ihren Einsatz und wählen nur Modelle, die zu Ihrem Vorhaben passen.

KI mit eigenen Dokumenten: RAG einfach erklärt

Kurz gesagt: RAG steht für Retrieval Augmented Generation. Die KI sucht zuerst in Ihren eigenen Unterlagen die passenden Stellen und formuliert dann eine Antwort auf dieser Grundlage. So kann sie Fragen zu internen Handbüchern beantworten, ohne dass das Modell neu trainiert werden muss. Mit RAG wird ein lokales LLM zur durchsuchbaren Wissensdatenbank Ihres Unternehmens.

Einlesen: Ihre Dokumente werden in kleine Abschnitte zerlegt und durchsuchbar gemacht.
Suchen: Zu einer Frage findet das System die passenden Abschnitte.
Antworten: Das Sprachmodell formuliert eine Antwort aus diesen Abschnitten und kann auf die Fundstelle verweisen.

Auch mit RAG können Antworten falsch sein. Wichtige Ergebnisse sollten an der Fundstelle geprüft werden.

Sie möchten KI mit Ihren eigenen Unterlagen nutzen, ohne sie hochzuladen? Beschreiben Sie kurz Ihre Aufgaben.

Lokale KI kostenlos besprechen

KI-Server für Unternehmen: Workstation, Mini-PC oder Server

Ein KI-Server im Büro versorgt mehrere Nutzer gleichzeitig. Wer einen KI-Server für Unternehmen plant, sollte deshalb Nutzerzahl, Modellgröße und Antwortzeiten von Anfang an mitdenken. Für einzelne Nutzer reicht oft eine KI-Workstation. Die drei gängigen Varianten:

Hardware-Varianten für lokale KI im Unternehmen
Variante	Stärke	Passt für
KI-Workstation mit starker Grafikkarte	schnelle Antworten bei mittelgroßen Modellen	einzelne Nutzer oder kleine Teams
Mini-PC mit viel gemeinsamem Arbeitsspeicher	leise, sparsam, große Modelle möglich	Büros ohne Serverraum
KI-Server mit mehreren Grafikkarten	viele Nutzer gleichzeitig, große Modelle	Teams mit hoher Auslastung

Wir empfehlen keine bestimmte Marke, sondern die Variante, die Ihre Aufgaben im Test zuverlässig schafft. Für sehr große Aufgaben kann ein GPU-Server im Rechenzentrum die bessere Wahl sein.

KI lokal ausprobieren: die ersten Schritte am eigenen PC

Wer lokale KI zuerst selbst testen möchte, kommt mit wenigen Schritten zu einem ersten Ergebnis. So läuft es grundsätzlich ab:

Werkzeug installieren: etwa Ollama für Windows, macOS oder Linux von der offiziellen Website.
Modell laden: ein kleineres, lokal nutzbares Modell herunterladen, das zur Hardware passt.
Ausprobieren: im Terminal oder in einer Oberfläche wie Open WebUI erste Fragen stellen.
Bewerten: Reicht Qualität und Tempo für Ihre Aufgaben, oder braucht es ein größeres Modell und stärkere Hardware?

Für den Einsatz im Team kommen Benutzerkonten, Zugriffsrechte, die Anbindung eigener Dokumente und ein sicherer Zugang von unterwegs dazu. Das richten wir ein.

Lokale KI im Team: mehrere Nutzer, Rechte und Zugriff

Benutzerkonten: Jede Person meldet sich einzeln an, statt ein gemeinsames Konto zu nutzen.
Rechte: Nicht jede Abteilung soll auf alle Dokumente zugreifen können. Wir prüfen die Rechte nicht nur in der Oberfläche, sondern auch beim Abruf der Dokumente: Nutzer sollen über die KI-Suche nur Inhalte finden und als Antwort erhalten, für die sie berechtigt sind. Die Trennung testen wir mit Konten aus verschiedenen Bereichen.
Gleichzeitige Nutzung: Mehrere Anfragen zur selben Zeit brauchen mehr Leistung. Das berücksichtigen wir bei der Hardware.
Zugriff von unterwegs: über das Firmen-VPN, nicht über eine offene Freigabe ins Internet.

Interner KI-Assistent: ein eigener Chatbot für Ihr Team

Ein interner KI-Assistent beantwortet Fragen zu Ihren eigenen Unterlagen, Abläufen und Richtlinien, etwa „Wie läuft unsere Urlaubsbeantragung?“ oder „Was steht in der Vereinbarung mit Kunde X?“. Er läuft auf Ihrer lokalen KI, nutzt RAG für die Fundstellen und ist nur im Firmennetz oder per VPN erreichbar. So entsteht ein Unternehmens-Chatbot, der Wissen erschließt, ohne es nach außen zu geben. Ein solcher interner KI-Assistent spart Rückfragen im Team und hilft neuen Mitarbeitenden beim Einarbeiten.

KI offline nutzen: Betrieb ohne Internetverbindung

Eine lokale KI kann auf Wunsch komplett ohne Internetverbindung laufen. Eine solche Offline-KI arbeitet vollständig abgeschottet. Das ist sinnvoll für besonders vertrauliche Umgebungen oder Arbeitsplätze, die bewusst vom Netz getrennt sind. Modelle und Updates werden dann gezielt eingespielt, statt automatisch nachgeladen zu werden. Für die meisten Unternehmen reicht ein Betrieb im Firmennetz, bei dem ausgehende Verbindungen kontrolliert und dokumentiert sind.

Weitere Einsatzfelder: Transkription, Code und Automatisierung

Transkription lokal: Besprechungen, Diktate und Sprachnachrichten mit einem lokalen Spracherkennungsmodell in Text umwandeln, ohne Audiodateien hochzuladen.
Code-Assistent lokal: Programmierhilfe im Editor, ohne Quellcode an einen Anbieter zu schicken.
KI-Agenten und Abläufe: lokale KI mit n8n verbinden, etwa um eingehende E-Mails zu sortieren oder Berichte zu erstellen, siehe Telegram-Bots und n8n.
Bilder beschreiben: Modelle, die Bilder verstehen, können Fotos oder Scans lokal auswerten.

Datenschutzkonforme ChatGPT-Alternative: was lokal wirklich ändert

Kurz gesagt: Wenn Daten Ihr Unternehmen nicht verlassen, entfällt die Übermittlung an einen KI-Anbieter. Das vereinfacht den Datenschutz deutlich, ersetzt aber nicht alle Pflichten. Eine datenschutzkonforme KI ist bei vollständig lokalem Betrieb deutlich leichter umzusetzen. Wer eine DSGVO-konforme KI will, muss trotzdem Zugriffsrechte und Protokolle regeln:

Kein Auftragsverarbeiter für die KI: Bei rein lokalem Betrieb gibt es keinen externen KI-Anbieter, der Eingaben verarbeitet.
Zugriffsrechte: Wer darf welche Dokumente über die KI abfragen? Das muss geregelt werden.
Protokolle: Auch lokale Oberflächen speichern Verläufe. Wir legen fest, was gespeichert und wann gelöscht wird.
Lizenzen der Modelle: Lokal nutzbare Modelle haben unterschiedliche Lizenzbedingungen. Wir prüfen, ob die gewählten Modelle für Ihren Einsatz passen.

Die rechtliche Bewertung im Einzelfall übernimmt eine Rechtsanwältin oder ein Rechtsanwalt.

EU-KI-Verordnung und KI-Kompetenz: was Unternehmen beachten sollten

Auch wer KI lokal betreibt, nutzt KI im Sinne der EU-KI-Verordnung. Seit Februar 2025 sollen Unternehmen, die KI-Systeme einsetzen, dafür sorgen, dass ihre Beschäftigten über ausreichende KI-Kompetenz verfügen. Dazu gehört zu wissen, was die KI kann, wo sie Fehler macht und wie Ergebnisse geprüft werden. Wir weisen Ihr Team in die Nutzung ein und dokumentieren, wofür die KI eingesetzt wird. Welche weiteren Pflichten für Ihren Einsatz gelten, klärt eine dafür qualifizierte Stelle.

Lokale KI in Deutschland, Österreich und der Schweiz

In Deutschland und Österreich gelten DSGVO und EU-KI-Verordnung gleichermaßen, in der Schweiz das Datenschutzgesetz. Bei vollständig lokaler Verarbeitung entfällt die Frage nach Datenübermittlungen an KI-Anbieter im Ausland weitgehend. Das macht lokale KI besonders für Kanzleien, Praxen, Beratung und Unternehmen mit Berufsgeheimnissen im gesamten deutschsprachigen Raum interessant.

Was kostet lokale KI im Unternehmen?

Kurz gesagt: Die Kosten bestehen aus einmaliger Hardware, der Einrichtung und dem laufenden Betrieb. Gebühren pro Nutzer oder Anfrage fallen nicht an.

Hardware: vom Arbeitsplatzrechner mit starker Grafikkarte über einen Mini-PC mit viel Arbeitsspeicher bis zum kleinen KI-Server, je nach Modellgröße und Nutzerzahl.
Einrichtung: Modelle, Oberfläche, Benutzerkonten, VPN-Zugang und auf Wunsch die Anbindung eigener Dokumente.
Betrieb: Strom und Pflege, also Updates und neue Modelle, selbst oder als laufende Betreuung.

Weil sich Hardwarepreise schnell ändern, nennen wir hier keine Zahlen. Nach dem Test mit Ihren Aufgaben erhalten Sie ein schriftliches Angebot.

Umfang für mein Unternehmen klären

Beispiel: lokale KI für eine Kanzlei

Ein frei gewähltes, vereinfachtes Beispiel, wie ein Einsatz aussehen kann:

Ausgangslage: Das Team möchte Schriftsätze zusammenfassen und interne Musterformulierungen schneller finden, darf aber keine Mandantendaten in Cloud-Dienste geben.
Lösung: ein Mini-PC im Büro mit einem mittleren, lokal nutzbaren Modell, Oberfläche im Browser und Anbindung der eigenen Mustersammlung per RAG.
Zugriff: nur im Büronetz und für Mitarbeiter unterwegs über das Firmen-VPN.
Regeln: Verläufe werden nach festgelegter Zeit gelöscht, Ergebnisse werden vor Verwendung geprüft.

Das Beispiel zeigt nur das Prinzip. Welche Lösung passt, ergibt das Erstgespräch.

Häufige Fehler bei lokalen KI-Modellen

Hardware zu klein

Ohne Test gekauft, und das gewünschte Modell läuft nur quälend langsam.

Offen ins Internet gestellt

Die Oberfläche ist ohne Schutz von außen erreichbar. Zugriff gehört hinter ein VPN.

Heimliche Cloud-Anbindung

Eine Oberfläche nutzt im Hintergrund doch einen externen Dienst. Das prüfen wir bei der Einrichtung.

Ergebnisse ungeprüft übernommen

Auch lokale Modelle können irren. Wichtige Antworten werden an der Quelle geprüft.

Lokale KI-Modelle: Grenzen ehrlich erklärt

Leistung: Die größten Cloud-Modelle sind bei sehr anspruchsvollen Aufgaben meist noch stärker. Für viele Büroaufgaben reichen lokale Modelle gut aus.
Hardware: Große Modelle brauchen leistungsfähige und damit teurere Geräte.
Fehler: Auch lokale Modelle können sich irren oder Dinge erfinden. Wichtige Ergebnisse sollten geprüft werden.
Pflege: Neue Modelle und Updates erscheinen laufend. Wir zeigen Ihnen, wie Sie aktuell bleiben, oder übernehmen das auf Wunsch.

Unsere Erfahrung mit lokaler KI

Wir beschäftigen uns nicht nur in Kundenprojekten mit lokaler KI, sondern auch redaktionell. Auf unserem Portal alarm.de erklärt ein ausführlicher Ratgeber, welche Hardware ein Mini-PC für lokale LLM-Modelle wirklich braucht. Dieses Wissen fließt in die Auswahl für Ihr Unternehmen ein.

So sieht es aus, wenn Ihre lokale KI läuft

Stellen Sie sich vor: Ihr Team öffnet im Browser eine vertraute Chat-Oberfläche, fasst einen langen Vertrag zusammen oder fragt die eigenen Handbücher, und die Antwort kommt mit Fundstelle. Nichts davon verlässt Ihr Haus. Es gibt keine Gebühren pro Nutzer, keine geänderten Nutzungsbedingungen über Nacht, und Sie wissen genau, wo Ihre Daten liegen.

Lokale KI einrichten lassen: so gehen wir vor

Als KI-Dienstleister für lokale KI verbinden wir KI-Beratung und Umsetzung: Wir beraten nicht nur, welche Lösung passt, sondern übernehmen Auswahl, Einrichtung und auf Wunsch den Betrieb. So läuft es ab:

Erstgespräch

Wofür soll die KI eingesetzt werden, wie viele Nutzer, welche Daten?

Test und Angebot

Wir testen Ihre typischen Aufgaben mit geeigneten Modellen und beurteilen Antwortqualität und Geschwindigkeit. Sie erhalten darauf gestützt eine Empfehlung für Modell, Gerätekategorie und Einrichtung sowie ein schriftliches Angebot.

Hardware

Auswahl und Einrichtung eines passenden Rechners, Mini-PCs oder Servers.

Modelle und Oberfläche

Lokal nutzbare Sprachmodelle installieren und testen, Oberfläche im Browser einrichten.

Anbindung und Abnahme

Eigene Dokumente einbinden, Zugriff im Büro und über VPN, gemeinsame Prüfung.

Einweisung

Gute Anfragen formulieren, Ergebnisse prüfen, Modelle aktualisieren. Laufende Betreuung auf Wunsch.

Was Sie bekommen, wenn Sie lokale KI einrichten lassen

Eingerichtete Hardware: passend zu Aufgaben und Nutzerzahl.
Ausgewählte Modelle: getestet mit Ihren typischen Aufgaben, Lizenzen geprüft.
Oberfläche im Browser: mit Benutzerkonten für Ihr Team.
Anbindung Ihrer Dokumente: auf Wunsch per RAG.
Dokumentation: was läuft, welche Daten wo liegen und wie aktualisiert wird.
Einweisung: für Sie und Ihr Team.

Umfang, Hardware und Kosten stehen im schriftlichen Angebot.

Lokale KI-Modelle: passende Leistungen

Mehr Rechenleistung bei Bedarf: GPU-Server im Rechenzentrum
Sicherer Zugriff von unterwegs: Firmen-VPN und Backup
Automatische Abläufe mit der KI: Linux-Arbeitsplätze und Skripte und Telegram-Bots und n8n
Content ohne Cloud-Dienst: Content & KI

Alle Leistungen dieses Bereichs finden Sie unter IT & Sicherheit.

Lokale KI-Modelle: häufige Fragen

Was ist ein lokales LLM?

Ein Large Language Model, also ein Sprachmodell wie hinter ChatGPT, das auf Ihrer eigenen Hardware läuft statt auf den Servern eines Anbieters.

Gibt es eine lokale ChatGPT-Alternative?

Ja. Lokal nutzbare Sprachmodelle mit einer Oberfläche im Browser fühlen sich ähnlich an wie ChatGPT und können vollständig bei Ihnen laufen.

Welche Hardware brauche ich für lokale KI?

Das hängt von Modellgröße und Nutzerzahl ab. Für kleinere Modelle reicht ein Rechner mit guter Grafikkarte, für größere eignen sich Mini-PCs mit viel gemeinsamem Arbeitsspeicher oder ein kleiner Server.

Ist lokale KI DSGVO-konform?

Bei vollständig lokalem Betrieb entfällt die Übermittlung an einen KI-Anbieter. Das vereinfacht den Datenschutz erheblich. Pflichten zu Zugriffsrechten, Speicherung und Löschung gelten weiter. Die rechtliche Bewertung im Einzelfall übernimmt ein Anwalt.

Funktioniert lokale KI ohne Internet?

Ja. Nach der Einrichtung können die Modelle offline betrieben werden. Für Updates und neue Modelle wird zeitweise eine Verbindung gebraucht.

Kann die KI unsere eigenen Dokumente durchsuchen?

Ja, über RAG. Eigene Handbücher und Unterlagen lassen sich einbinden, sodass die KI Fragen dazu beantwortet und auf die Fundstelle verweisen kann.

Was kostet es, lokale KI einrichten zu lassen?

Das hängt vor allem von der Hardware, der Zahl der Nutzer und der gewünschten Anbindung eigener Dokumente ab. Nach dem Erstgespräch und einem Test erhalten Sie ein schriftliches Angebot.

Welcher Mini-PC eignet sich für lokale KI?

Geeignet sind Mini-PCs mit viel gemeinsamem Arbeitsspeicher, auf den Prozessor und Grafikeinheit gemeinsam zugreifen. Welches Modell passt, hängt von der gewünschten Modellgröße ab. Wir testen das vor dem Kauf mit Ihren Aufgaben.

Was ist Ollama?

Ollama ist ein freies Werkzeug, mit dem sich viele lokal verfügbare Sprachmodelle auf dem eigenen Rechner installieren und betreiben lassen. Zusammen mit einer Oberfläche wie Open WebUI entsteht ein lokaler Chat ähnlich wie ChatGPT.

Was ist Quantisierung bei KI-Modellen?

Eine Verkleinerung des Modells, bei der Zahlen mit weniger Genauigkeit gespeichert werden. Es braucht weniger Speicher und läuft auf kleinerer Hardware, meist mit geringem Qualitätsverlust.

Sind lokale KI-Modelle Open Source?

Oft sind nur die Modellgewichte frei verfügbar, die Lizenz regelt die Nutzung. Manche Lizenzen haben Einschränkungen. Wir prüfen die Bedingungen für Ihren Einsatz.

Was verlangt die EU-KI-Verordnung von Unternehmen, die KI nutzen?

Unter anderem sollen Beschäftigte über ausreichende KI-Kompetenz verfügen. Welche weiteren Pflichten für Ihren Einsatz gelten, klärt eine dafür qualifizierte Stelle.

Kann ich einen eigenen Chatbot für mein Team bauen?

Ja. Ein interner KI-Assistent auf Ihrer lokalen KI beantwortet Fragen zu eigenen Unterlagen mit Fundstelle und ist nur im Firmennetz oder per VPN erreichbar.

Was ist On-Premise-KI?

KI, die in den eigenen Räumen oder im eigenen Rechenzentrum betrieben wird, statt beim Anbieter in der Cloud. Ein lokales LLM ist die häufigste Form.

Wie viel Grafikspeicher braucht ein lokales LLM?

Als grobe Faustregel etwas mehr als ein halbes Gigabyte pro Milliarde Parameter bei vier Bit Quantisierung, dazu Reserve. Ein Modell mit etwa 8 Milliarden Parametern braucht rund 6 bis 8 GB.

Kann ich Besprechungen lokal transkribieren?

Ja. Lokale Spracherkennungsmodelle wandeln Aufnahmen in Text um, ohne dass Audiodateien das Unternehmen verlassen.

Lokale KI-Modelle für Ihr Unternehmen anfragen

Beschreiben Sie kurz, wofür Sie KI einsetzen möchten, wie viele Personen damit arbeiten und welche Daten besonders vertraulich sind. Wir melden uns mit einer ersten Einschätzung zu Hardware und Modellen. Erstinformation und erste Einschätzung sind kostenlos.

Kostenlose Ersteinschätzung anfordern