Research
·
5 MIN
Subquadratische LLMs: günstiger langer Kontext fürs On-Prem-RAG
Subquadratische Modelle senken die Kosten für langen Kontext. Ein echter Hebel fürs On-Prem-RAG, aber noch jung.
LOCATION
Deutschland
SERIES
RAG Architectures
AUTHOR
Aashwin Shrivastava
PUBLISHED
Subquadratische Modelle sind ein echter Hebel für die Ökonomie von langem Kontext auf eigener Hardware. Begrenzter Speicher für den Schlüssel-Wert-Cache und zwei- bis dreifacher Durchsatz bei langen Eingaben sind Physik, nicht Marketing. Aber 2026 kommt der Wert für Mittelstands-RAG noch überwiegend aus der Retrieval-Qualität und einem soliden, gut unterstützten Modell, nicht aus der Wette auf eine junge Architektur.
Dieser Text erklärt, warum langer Kontext teuer ist, welche subquadratischen Ansätze es gibt, was die lautesten Versprechen davon belegt sind, und was das konkret fürs On-Prem-RAG bringt. Die Empfehlung am Ende ist unspektakulär und genau deshalb tragfähig.
01.
Warum langer Kontext teuer ist
Der Grund liegt in der Mathematik der Selbstaufmerksamkeit: ihr Aufwand wächst quadratisch mit der Länge der Eingabe.
In einem klassischen Transformer vergleicht jeder Token jeden anderen. Verdoppelt sich die Kontextlänge, vervierfacht sich grob der Rechenaufwand für die Aufmerksamkeit. Dazu kommt der Speicher: der Schlüssel-Wert-Cache, den das Modell während der Generierung mitführt, wächst linear mit der Länge und frisst auf einer festen GPU schnell den verfügbaren Speicher. Das ist der eigentliche Engpass beim On-Prem-Betrieb, wo die Hardware gesetzt ist und nicht elastisch dazugemietet wird.
Genau hier setzen subquadratische Ansätze an. Sie versuchen, die Sequenzkosten Richtung linear zu drücken, also O(n) statt O(n hoch zwei), und den Speicher pro Token zu begrenzen. Was das für die Hardware-Realität im Unternehmen bedeutet, haben wir in lokales LLM durchgerechnet.
02.
Die subquadratische Landschaft
Es gibt mehrere Wege, und der praktische Gewinner der Jahre 2024 bis 2026 ist nicht der reinste, sondern der hybride.
Zustandsraum-Modelle (Mamba). Mamba (Dezember 2023) und Mamba-2 (Mai 2024) modellieren Sequenzen in linearer Zeit mit einem festen Zustandsspeicher statt eines wachsenden Caches (arXiv). Der Preis: ein fester Zustand ist ein verlustbehafteter Kompressor und schwächer beim exakten Erinnern weit zurückliegender Stellen.
Lineare Aufmerksamkeit (RWKV, RetNet). Formulieren die Aufmerksamkeit so um, dass die Kosten etwa linear wachsen. Ähnlicher Kompromiss bei der assoziativen Erinnerung.
Hybride in Produktion. Niemand liefert reine subquadratische Modelle in Spitzenqualität aus. Stattdessen mischen alle eine Minderheit voller Aufmerksamkeits-Schichten mit einer Mehrheit aus Zustandsraum- oder linearen Schichten: Jamba (AI21, 2024), MiniMax-01 (Januar 2025), Falcon-H1 (Mai 2025), NVIDIAs Nemotron-H, IBM Granite 4.0 (Oktober 2025) und Qwen3-Next (September 2025). Die vollen Schichten bewahren die Erinnerung, die schlanken kaufen den Kosten- und Speichervorteil.
Die NVIDIA-Linie hinter Nemotron, die genau diesen hybriden Aufbau nutzt, haben wir in Nemotron 3 beschrieben.
03.
Was 'subQ' verspricht, und was davon belegt ist
Der Begriff verlangt Vorsicht, denn er trägt zwei Bedeutungen, eine architektonische und eine vermarktete.
Neben der allgemeinen subquadratischen Familie gibt es ein konkretes Produkt: das Start-up Subquadratic kam im Mai 2026 mit einer Finanzierung von rund 29 Millionen Dollar aus dem Verborgenen und wirbt mit einer subquadratischen, sparsamen Aufmerksamkeit. Die Schlagzeilen sind groß: ein Forschungsmodell mit 12 Millionen Token Kontext, rund ein Fünftel der Kosten gegenüber Spitzenmodellen, ein Vielfaches an Geschwindigkeit (The New Stack).
Die ehrliche Einordnung: ein Teil ist von Dritten geprüft, etwa ein RULER-128K-Ergebnis, die spektakulären Zahlen zu 12 Millionen Token und zum Geschwindigkeitsfaktor sind dagegen Anbieterangaben aus Einzeldurchläufen und nicht unabhängig reproduziert. Das ist ein vielversprechender Hinweis, keine Beschaffungsgrundlage. Genau diese Trennung, belegt gegenüber behauptet, ist die Disziplin, die wir bei jedem neuen Modell anlegen.
04.
Was das fürs On-Prem-RAG bringt
Der konkrete Gewinn ist Speicher und Durchsatz auf fester Hardware, und das ist für On-Prem-RAG genau die richtige Stellschraube.
Begrenzter Cache, planbarer Speicher. Die Zustandsraum-Schichten tragen einen festen Zustand, der Speicher explodiert also nicht mit der Länge. IBM nennt für Granite 4.0 über 70 Prozent weniger Bedarf bei langem Kontext, eine Herstellerangabe, aber plausibel und in Richtung mehr gleichzeitiger Sitzungen pro GPU.
Modell und Kontext auf einer Karte. NVIDIA berichtet, dass ein Nemotron-H-Modell mit 51 Milliarden Parametern samt Cache in eine einzelne 80-GB-Karte passt, ebenfalls eine Herstellerangabe.
Lockerere Chunking-Disziplin. Günstigerer Kontext erlaubt größere Fenster und weniger ängstliches Zerschneiden der Dokumente.
Ehrliche Vorbehalte gehören dazu. Bei erinnerungslastigem RAG, etwa der exakten Fundstelle über sehr lange Texte, liegen reine subquadratische Modelle noch hinter voller Aufmerksamkeit, Hybride schließen die Lücke weitgehend, aber nicht ganz. Das Werkzeug-Umfeld, also Quantisierung, Serving und Feintuning, hinkt den etablierten dichten Modellen hinterher. Und der wichtigste Satz: langer Kontext ist nicht gleich gutes Retrieval. Ein solides Modell mit gutem RAG schlägt heute fast immer den Versuch, einfach Millionen Token hineinzukippen. Was RAG überhaupt leistet, steht in Was ist RAG und Die Kraft von RAG.
05.
Wie ich das heute behandle
Subquadratisch ist beobachten wert, aber keine Wette wert. So gehe ich damit um:
Die RAG-Schicht modellunabhängig bauen. Hinter einer stabilen Schnittstelle, sodass sich ein Hybrid der Granite-4-Klasse einsetzen lässt, sobald das Werkzeug-Umfeld reif ist.
Mit einem soliden, gut unterstützten Modell starten, nicht mit der neuesten Architektur, und den Wert aus der Retrieval-Qualität holen.
Unbelegte Versprechen ignorieren. Ein behaupteter Faktor von tausend wartet, bis ihn jemand Unabhängiges reproduziert.
Das ist dasselbe Muster, das wir bei On-Prem gegen Cloud ziehen: bewusst entscheiden, tauschbar bauen (On-Premise vs. Cloud-LLM). Die spannende Frage ist nicht, ob subquadratische Modelle eines Tages den langen Kontext billig machen. Sie werden es vermutlich. Die Frage ist, ob eure Architektur bereit ist, den Gewinn mitzunehmen, ohne dass ihr heute darauf wettet. Ist eure RAG-Schicht so gebaut, dass ihr das Modell tauschen könnt, ohne alles neu zu schreiben?
