Subkwadratische LLM's: goedkopere lange context voor on-prem RAG

De reden ligt in de wiskunde van self-attention: de rekenkosten groeien kwadratisch met de lengte van de invoer.

In een klassieke transformer vergelijkt elke token elke andere token. Verdubbelt de contextlengte, dan verviervoudigt ruwweg de rekenlast voor de attention. Daar komt het geheugen bij: de key-value-cache die het model tijdens het genereren bijhoudt, groeit lineair met de lengte en verslindt op een vaste GPU snel het beschikbare geheugen. Dat is het eigenlijke knelpunt bij on-premise gebruik, waar de hardware vaststaat en niet elastisch kan worden bijgehuurd.

Precies hier grijpen subkwadratische aanpakken in. Ze proberen de kosten per sequentie richting lineair te drukken, dus O(n) in plaats van O(n tot de macht twee), en het geheugen per token te beperken. Wat dit betekent voor de hardware-realiteit in het bedrijfsleven, hebben we doorgerekend in lokale LLM.

Er zijn meerdere wegen, en de praktische winnaar van de jaren 2024 tot 2026 is niet de zuiverste, maar de hybride.

• State-space-modellen (Mamba). Mamba (december 2023) en Mamba-2 (mei 2024) modelleren sequenties in lineaire tijd met een vast toestandsgeheugen in plaats van een groeiende cache (arXiv). De prijs: een vaste toestand is een compressor met verlies en zwakker in het exact onthouden van ver terugliggende passages.
• Lineaire attention (RWKV, RetNet). Herformuleren de attention zodanig dat de kosten ongeveer lineair groeien. Vergelijkbare afweging bij associatief geheugen.
• Hybrides in productie. Niemand levert pure subkwadratische modellen van topkwaliteit. In plaats daarvan mengt iedereen een minderheid aan volledige attention-lagen met een meerderheid aan state-space- of lineaire lagen: Jamba (AI21, 2024), MiniMax-01 (januari 2025), Falcon-H1 (mei 2025), NVIDIA's Nemotron-H, IBM Granite 4.0 (oktober 2025) en Qwen3-Next (september 2025). De volledige lagen bewaren het geheugen, de slanke lagen kopen het voordeel op kosten en geheugen.

De NVIDIA-lijn achter Nemotron, die precies deze hybride opbouw gebruikt, hebben we beschreven in Nemotron 3.

De term vraagt om voorzichtigheid, want hij draagt twee betekenissen, een architecturale en een vermarkte.

Naast de algemene subkwadratische familie bestaat er een concreet product: de start-up Subquadratic kwam in mei 2026 met een financiering van ongeveer 29 miljoen dollar uit de schaduw en profileert zich met een subkwadratische, spaarzame attention. De koppen zijn groot: een onderzoeksmodel met 12 miljoen tokens context, ongeveer een vijfde van de kosten ten opzichte van topmodellen, een veelvoud aan snelheid (The New Stack).

De eerlijke duiding: een deel is door derden geverifieerd, zoals een RULER-128K-resultaat, de spectaculaire cijfers over 12 miljoen tokens en de snelheidsfactor zijn daarentegen leveranciersclaims uit eenmalige runs en niet onafhankelijk gereproduceerd. Dat is een veelbelovende aanwijzing, geen basis voor inkoop. Precies dit onderscheid, bewezen tegenover beweerd, is de discipline die wij bij elk nieuw model hanteren.

De concrete winst is geheugen en doorvoer op vaste hardware, en dat is voor on-premise RAG precies de juiste hendel.

• Beperkte cache, voorspelbaar geheugen. De state-space-lagen dragen een vaste toestand, het geheugen explodeert dus niet met de lengte. IBM noemt voor Granite 4.0 meer dan 70 procent minder behoefte bij lange context, een leveranciersclaim, maar plausibel en in de richting van meer gelijktijdige sessies per GPU.
• Model en context op één kaart. NVIDIA meldt dat een Nemotron-H-model met 51 miljard parameters inclusief cache op één enkele 80 GB-kaart past, eveneens een leveranciersclaim.
• Losser chunking-discipline. Goedkopere context maakt grotere vensters mogelijk en minder angstvallig opknippen van documenten.

Eerlijke voorbehouden horen erbij. Bij geheugenintensieve RAG, zoals de exacte vindplaats in zeer lange teksten, liggen pure subkwadratische modellen nog achter op volledige attention, hybrides dichten het gat grotendeels, maar niet helemaal. De tooling eromheen, dus kwantisering, serving en finetuning, loopt achter op de gevestigde dense modellen. En de belangrijkste zin: lange context is niet hetzelfde als goede retrieval. Een solide model met goede RAG verslaat vandaag bijna altijd de poging om simpelweg miljoenen tokens erin te kieperen. Wat RAG eigenlijk oplevert, staat in Wat is RAG en De kracht van RAG.

Subkwadratisch is het observeren waard, maar geen gok waard. Zo ga ik ermee om:

1. De RAG-laag modelonafhankelijk bouwen. Achter een stabiele interface, zodat een hybride van de Granite-4-klasse kan worden ingezet zodra de tooling eromheen volwassen is.
2. Starten met een solide, goed ondersteund model, niet met de nieuwste architectuur, en de waarde uit de kwaliteit van retrieval halen.
3. Onbewezen beloftes negeren. Een beweerde factor duizend wacht tot iemand onafhankelijk hem reproduceert.

Dat is hetzelfde patroon dat wij hanteren bij on-premise tegenover cloud: bewust beslissen, verwisselbaar bouwen (On-premise vs. cloud-LLM). De interessante vraag is niet of subkwadratische modellen op een dag lange context goedkoop maken. Dat zullen ze vermoedelijk doen. De vraag is of uw architectuur klaar is om die winst mee te nemen, zonder dat u er vandaag op wedt. Is uw RAG-laag zo gebouwd dat u het model kunt verwisselen zonder alles opnieuw te schrijven?