On-Premise vs. Cloud-LLM: Wann lokale KI die richtige Wahl ist
On-Prem oder Cloud ist selten eine Modellfrage, sondern eine Frage von Datenhoheit, Kosten und Kontrolle.
Die Entscheidung zwischen einem lokal betriebenen Sprachmodell und einem Cloud-Dienst ist selten eine Frage des besten Modells. Sie entscheidet sich an drei Punkten: wo Ihre Daten liegen dürfen, wie planbar Ihre Last ist und wie viel Kontrolle Sie über den Betrieb behalten wollen. Wer mit diesen drei Fragen beginnt, kommt zu einer belastbaren Antwort. Wer mit dem Modellnamen beginnt, optimiert das Falsche.
Dieser Beitrag stellt beide Wege nüchtern gegenüber und beschreibt, für welche Situation welcher Weg trägt.
01. Die Frage ist nicht das Modell, sondern die Daten
Ein Cloud-LLM bedeutet, dass Ihre Anfragen und der mitgeschickte Kontext einen fremden Server erreichen. Für viele Inhalte ist das unproblematisch. Für Verträge, Personendaten, Konstruktionsunterlagen oder Patientendaten ist es oft der Punkt, an dem die Rechtsabteilung das Projekt stoppt.
On-Premise bedeutet, dass das Modell auf Ihrer eigenen Hardware läuft und kein Datensatz das Haus verlässt. Sie tauschen den bequemen Betrieb durch einen Anbieter gegen die volle Kontrolle über Daten und Verfügbarkeit. Die Lehre aus einem Anbieterwechsel, den kein Nutzer entschieden hat, haben wir in Die Fable-5-Lektion zur Souveränität beschrieben.
02. On-Premise und Cloud im direkten Vergleich
Die folgende Gegenüberstellung fasst die Punkte zusammen, an denen sich die beiden Wege wirklich unterscheiden. Keiner der beiden ist grundsätzlich überlegen, sie passen zu unterschiedlichen Lagen.
| Dimension | On-Premise | Cloud |
|---|---|---|
| Datenhoheit | Daten bleiben im Haus | Daten verlassen das Haus |
| Startaufwand | Hardware und Aufbau nötig | in Stunden nutzbar |
| Kosten bei konstanter Last | meist günstiger pro Anfrage | meist teurer pro Anfrage |
| Kosten bei schwankender Last | Hardware steht zeitweise still | zahlt nur tatsächliche Nutzung |
| Kontrolle über Verfügbarkeit | vollständig bei Ihnen | hängt am Anbieter |
| DSGVO und Auditierbarkeit | direkt nachweisbar | über Auftragsverarbeitung |
03. Die Kostenrechnung ehrlich aufgemacht
Cloud wirkt am Anfang günstiger, weil keine Hardware nötig ist und nur die tatsächliche Nutzung zählt. Das gilt, solange die Last niedrig oder schwankend ist. Sobald viele Anfragen konstant über den Tag laufen, kippt die Rechnung oft, weil jede Anfrage einzeln bezahlt wird.
On-Premise dreht das Verhältnis um: Die Anschaffung der Hardware ist eine einmalige Investition, danach sinken die Kosten pro Anfrage deutlich. Der faire Vergleich rechnet deshalb nicht den Listenpreis pro Anfrage, sondern die Gesamtkosten über zwei bis drei Jahre bei Ihrer erwarteten Last. Welche Hardware dafür realistisch ist und was sie kostet, steht in Lokales LLM im Unternehmen: Hardware, Kosten, Realität.
04. Datenhoheit, DSGVO und der EU AI Act
Für regulierte Branchen ist die Entscheidung oft schon getroffen, bevor die Kosten betrachtet werden. Wenn Daten die EU nicht verlassen dürfen oder ein Auditor genau nachvollziehen muss, wo eine Verarbeitung stattfindet, ist der lokale Betrieb der direktere Nachweis. Bei einem Cloud-Dienst lässt sich Vergleichbares über Auftragsverarbeitung und EU-Hosting erreichen, der Aufwand für den Nachweis ist aber meist höher.
Der EU AI Act verschärft diese Anforderung für bestimmte Einsatzzwecke zusätzlich. Was konkret auf Unternehmen zukommt und bis wann, behandeln wir in EU AI Act 2026: Was Unternehmen jetzt umsetzen müssen.
05. Ein pragmatischer Mittelweg
In der Praxis ist die Antwort selten rein. Viele Unternehmen betreiben sensible Arbeitslasten lokal und nutzen die Cloud für unkritische Aufgaben, bei denen Tempo und Spitzenleistung zählen. Offene Modelle machen diesen Mittelweg leichter, weil dasselbe Modell lokal und in einer EU-Cloud betrieben werden kann, ohne den Anbieter zu wechseln.
Wie weit offene Modelle inzwischen tragen, zeigen die jüngsten Veröffentlichungen, etwa Kimi K2.7 Code und Nemotron 3 von NVIDIA. Der sinnvolle Einstieg ist deshalb keine Grundsatzentscheidung für ein Lager, sondern eine Einordnung jeder Arbeitslast nach Sensibilität und Last.
Dazu arbeiten wir
