Lokale LLM in het bedrijf: hardware, kosten, realiteit
Een lokale LLM heeft minder hardware nodig dan gedacht. Doorslaggevend is de juiste modelgrootte voor de taak.
Vertaling automatisch gegenereerd met AI. De Duitse versie is het redactioneel gecontroleerde origineel.
Een taalmodel in eigen huis draaien staat tegenwoordig dichter bij het mkb dan de discussie doet vermoeden. Veel praktische toepassingen draaien op een enkele professionele videokaart, niet op een datacenter. De meest voorkomende dure fout is niet te weinig hardware, maar de keuze voor een te groot model voor een taak die een kleiner model net zo goed aankan.
Dit artikel zet op een rij welke hardware welke modelgrootte aankan, hoe de kostenberekening over drie jaar eruitziet en wat het dagelijkse beheer werkelijk vraagt.
01. Welke hardware een lokale LLM werkelijk nodig heeft
De doorslaggevende maat is het grafisch geheugen, dus de VRAM van de GPU. Die bepaalt welk model eigenlijk geladen kan worden. Door quantisatie, dus een zuinigere getalrepresentatie van de modelgewichten, daalt deze behoefte aanzienlijk, meestal zonder merkbaar kwaliteitsverlies voor vaktaken.
Als vuistregel geldt: een model uit de klasse van 7 tot 8 miljard parameters draait gequantiseerd op een kaart met ongeveer 16 tot 24 gigabyte VRAM. Modellen rond 30 miljard parameters hebben meestal een kaart met circa 48 gigabyte nodig. Voor de echt grote modellen boven 70 miljard parameters zijn meerdere kaarten nodig. Veel mkb-gevallen blijven binnen de eerste twee klassen.
02. Modelgrootte: kleiner is vaak genoeg
De verleiding is groot om het sterkste beschikbare model te nemen. In de praktijk is de passende modelgrootte een functie van de taak, niet van ambitie. Voor classificatie, extractie uit documenten of het beantwoorden van vragen uit een kennisbank volstaat vaak een kleiner model, zodra een goede retrieval de juiste passages aanlevert.
Precies hier betaalt zich het verband uit dat wij elders al lieten zien: een goed afgestemde retriever maakt een kleiner model bruikbaar en bespaart hardware. Hoe ver open modellen inmiddels reiken, is te zien aan recente releases, zoals Kimi K2.7 Code en Nemotron 3 van NVIDIA, die open beschikbaar zijn en op eigen hardware draaien.
03. De kostenberekening over drie jaar
Een enkele professionele GPU kost, afhankelijk van de klasse, een middelgroot tot hoog viercijferig bedrag, daarbovenop komen server, stroom en beheer. Dat is een eenmalige investering. Daartegenover staat bij een clouddienst de betaling per aanvraag, die meegroeit met het gebruik.
De eerlijke vergelijking rekent niet met de dagprijs, maar met de totale kosten over twee tot drie jaar bij uw verwachte belasting. Bij constant, hoog gebruik verdient de lokale hardware zich in deze periode vaak terug. Bij lage of sterk wisselende belasting blijft de cloud meestal goedkoper. De volledige afweging staat in On-premise vs. cloud-LLM: wanneer lokale AI de juiste keuze is.
04. Beheer, onderhoud en de realiteitscheck
De hardware is het zichtbare deel, het beheer het onderschatte deel. Een lokaal model wil bijgewerkt, bewaakt en beveiligd worden. Er is iemand nodig die modellen installeert, de vectordatabase onderhoudt en ingrijpt bij storingen. Voor kleinere teams is dat de eigenlijke inspanning, niet de aankoop van de kaart.
Het voordeel: tools die lokaal werken en niets naar buiten geven, passen naadloos in deze architectuur. Een voorbeeld uit ons eigen werk is Graphify, dat een codebase lokaal omzet in een kennisgraaf, zonder dat code het apparaat verlaat. Dergelijke lokale bouwstenen verlagen de beheerinspanning, omdat ze geen extra gegevensdeling naar buiten vereisen.
05. Een realistische start
De verstandige start is klein en concreet: een duidelijk afgebakend toepassingsgeval, een model uit de kleinere klasse, een enkele GPU en een netjes opgezette retrieval. Daaruit leert het team het beheer, en de volgende uitbreidingsstap wordt beslist op basis van ervaring, niet van het datasheet.
Wie wil beginnen met kennis uit documenten, vindt de passende opzet in Wat is RAG? Retrieval-augmented generation voor het mkb uitgelegd. Waarom operationele controle over de modellen op lange termijn telt, staat in De Fable-5-les over soevereiniteit.
