Offline-LLM im Unternehmen: Hardware, Lizenz und Betrieb

01

Welche Hardware trägt welche Modellgröße heute wirklich?

Drei am Markt erhältliche Kartenklassen zeigen die Spanne: 24 GB für kompakte Modelle, 48 GB für mittlere und 96 GB für deutlich größere, jeweils mit Herstellerangabe und Jahr (NVIDIA, 2022 und 2025). Die genaue Modellgröße, die auf eine Karte passt, hängt zusätzlich an Quantisierung, Kontextlänge und der Zahl gleichzeitiger Anfragen.

Wer ein Offline-LLM plant, fragt zuerst nach der Hardware und stellt schnell fest, dass Angebote von einer einzelnen Steckkarte bis zu ganzen Serverclustern reichen. Die folgende Einordnung nach Grafikspeicher, dem knappsten Gut bei lokaler Inferenz, macht drei realistische Klassen greifbar.

Für die meisten Aufgaben im Mittelstand, etwa Klassifikation, Extraktion oder Antworten aus firmeneigenen Dokumenten, genügt ein deutlich kleineres Modell als das größte, das eine Karte gerade noch trägt. Wie man die passende Größe findet, statt die größte zu kaufen, zeigt LLM-Vergleich und Modellauswahl.

02

Wie unterscheiden sich die Lizenzen offener Sprachmodelle?

Vier verbreitete Modellfamilien zeigen vier unterschiedliche Lizenzmodelle: eine Community-Lizenz mit Nutzerschwelle bei Meta, eine gemischte Lizenzlage nach Modellgröße bei Qwen, ein Nebeneinander aus freier und eingeschränkter Lizenz bei Mistral und eine eigene Nutzungsvereinbarung mit Weitergabepflicht bei Gemma. Keine der vier ist automatisch die freizügigste über alle Größen hinweg.

Offene Gewichte bedeuten nur, dass die Parameter heruntergeladen werden können. Was danach erlaubt ist, regelt ein Lizenztext, der von Anbieter zu Anbieter und oft von Modellgröße zu Modellgröße wechselt.

03

Was verlangt der laufende Betrieb eines Offline-LLM?

Der laufende Betrieb verlangt festgehaltene Versionen, eng gefassten Zugriff, laufend geprüfte Kennzahlen und eingeplante Sicherungen. Das Bundesamt für Sicherheit in der Informationstechnik beschreibt Updates, Überwachung und Absicherung generativer Modelle als eigenen Abschnitt des Lebenszyklus, der nach der Installation beginnt und nicht mit ihr endet (BSI, 2025).

1. Versionen und Modelldatei festhalten

   Modelldatei, Laufzeitversion und Quantisierungsstufe gehören mit Prüfsumme in die Versionsverwaltung. Ohne das lässt sich eine veränderte Antwort später keiner Ursache zuordnen.

2. Zugriff eng fassen

   Der Inferenz-Server ist nur intern erreichbar, verlangt Authentifizierung und vergibt Rechte nach Rolle. Ein offener Port ins Internet ist ein offener Rechendienst, unabhängig vom Modell dahinter.

3. Kennzahlen laufend prüfen

   Antwortzeit bis zum ersten Token, Durchsatz, Speicherauslastung und Fehlerquote zeigen, wann die Hardware an ihre Grenze kommt, lange bevor Nutzer sich beschweren.

4. Sicherungen einplanen

   Modelldatei, Konfiguration und ein etwaiger Such-Index brauchen ein Sicherungskonzept mit klarer Aufbewahrungsfrist, wie jeder andere produktive Dienst im Haus.

5. Updates in einer Testumgebung prüfen

   Eine neue Modellversion läuft zuerst gegen einen Prüfsatz aus echten Aufgaben und geht erst danach in den produktiven Betrieb über. Ein erprobter Rückweg zur vorherigen Version gehört dazu.

Keiner dieser fünf Punkte ist einmalig erledigt. Wer den Betrieb als Daueraufgabe einplant, vermeidet das häufigste Muster bei Offline-LLM-Vorhaben: eine Installation, die technisch funktioniert und danach niemandem mehr gehört.

Wer welche Antwort im fertigen System überhaupt sehen darf, ist eine eigene Frage der Zugriffsrechte auf die zugrunde liegenden Dokumente, nicht nur auf das Modell. Sie ist ausführlich in Berechtigungen in KI-Wissenssystemen beschrieben.

04

Eigener Server oder gehostetes Modell: wie entscheidet man?

Drei Fragen führen zur passenden Architektur: Dürfen die Daten das eigene Netz technisch verlassen, gibt es jemanden, der den Betrieb dauerhaft verantwortet, und ist die Last gleichmäßig hoch oder stark schwankend? Aus den Antworten ergibt sich, ob ein eigener Server, ein gehostetes Modell oder eine Aufteilung nach Datenklasse der nächste sinnvolle Schritt ist.

Mischformen sind der Normalfall, nicht die Ausnahme: vertrauliche Anfragen laufen lokal, unkritische über einen gehosteten Dienst. Was das für Datenresidenz und Auftragsverarbeitung konkret bedeutet, vertieft KI mit EU-Datenresidenz.

05

Wie beginnt man ein Offline-LLM-Vorhaben, ohne sich zu verheben?

Der naheliegende erste Schritt ist nicht die Hardwarebestellung, sondern ein kleiner, echter Anwendungsfall: eine eng umrissene Aufgabe, ein Prüfsatz aus wiederkehrenden Fragen mit bekannter richtiger Antwort, und zwei oder drei offene Modelle unterschiedlicher Größe, die zunächst auf vorhandener oder geliehener Hardware gegeneinander laufen.

Erst wenn Qualität und Speicherrechnung für diesen Fall feststehen, folgen Serverbeschaffung, Absicherung und ein Betriebsplan mit den fünf Punkten von weiter oben. Diese Reihenfolge verhindert die teuerste Fehlentscheidung bei Offline-LLM-Vorhaben: Hardware für eine Modellgröße zu kaufen, die sich im Test als unnötig groß erweist.

iiterate Technologies GmbH entwickelt KI-Anwendungen und Individualsoftware von der Architektur über die Umsetzung bis zum Betrieb, auf Kundeninfrastruktur oder in EU-Hosting, mit Schwerpunkten auf lokalen Sprachmodellen, RAG und der Anbindung an Bestandssysteme (Leistungen).