Lokalny LLM w firmie: sprzęt, koszty, rzeczywistość

Decydującym parametrem jest pamięć graficzna, czyli VRAM karty GPU. To ona określa, jaki model w ogóle da się załadować. Dzięki kwantyzacji, czyli bardziej oszczędnej reprezentacji liczbowej wag modelu, to zapotrzebowanie wyraźnie spada, zazwyczaj bez odczuwalnej utraty jakości w zadaniach specjalistycznych.

W przybliżeniu obowiązuje zasada: model klasy 7 do 8 miliardów parametrów działa po kwantyzacji na karcie z około 16 do 24 gigabajtami VRAM. Modele rzędu 30 miliardów parametrów potrzebują zazwyczaj karty z około 48 gigabajtami. Dla naprawdę dużych modeli powyżej 70 miliardów parametrów potrzebnych jest kilka kart. Wiele przypadków z sektora MŚP mieści się w pierwszych dwóch klasach.

Pokusa, by wybrać najmocniejszy dostępny model, jest duża. W praktyce właściwy rozmiar modelu jest funkcją zadania, a nie ambicji. Do klasyfikacji, ekstrakcji z dokumentów czy odpowiadania na pytania z bazy wiedzy często wystarcza mniejszy model, gdy tylko dobry retrieval dostarcza właściwe fragmenty.

Właśnie tutaj opłaca się zależność, którą pokazaliśmy już gdzie indziej: dopracowany retriever czyni mniejszy model użytecznym i oszczędza sprzęt. Jak daleko sięgają dziś modele otwarte, widać po aktualnych publikacjach, na przykład Kimi K2.7 Code i Nemotron 3 od NVIDIA, które są dostępne otwarcie i działają na własnym sprzęcie.

Pojedyncza profesjonalna karta GPU kosztuje, w zależności od klasy, od średniej do wysokiej kwoty czterocyfrowej, do tego dochodzą serwer, prąd i eksploatacja. To jednorazowa inwestycja. Naprzeciw niej stoi w usłudze chmurowej płatność za zapytanie, która rośnie wraz z użyciem.

Uczciwe porównanie liczy nie cenę dzienną, lecz całkowite koszty w perspektywie dwóch do trzech lat przy Państwa oczekiwanym obciążeniu. Przy stałym, wysokim wykorzystaniu lokalny sprzęt często się w tym okresie amortyzuje. Przy niskim lub silnie wahającym się obciążeniu chmura pozostaje zazwyczaj tańsza. Pełne rozważenie tego kompromisu znajduje się w On-premise kontra LLM w chmurze: kiedy lokalna AI jest właściwym wyborem.

Sprzęt to widoczna część, eksploatacja to część niedoceniana. Lokalny model chce być aktualizowany, monitorowany i zabezpieczany. Potrzebny jest ktoś, kto wgrywa modele, pielęgnuje bazę wektorową i interweniuje w przypadku błędu. Dla mniejszych zespołów to prawdziwy nakład pracy, nie zakup karty.

Zaleta: narzędzia, które działają lokalnie i niczego nie przekazują na zewnątrz, wpisują się w tę architekturę. Przykładem z naszej własnej pracy jest Graphify, który lokalnie zamienia bazę kodu w graf wiedzy, bez opuszczania urządzenia przez kod. Takie lokalne elementy budulcowe obniżają nakład na eksploatację, ponieważ nie wymagają dodatkowego udostępniania danych na zewnątrz.

Sensowny start jest mały i konkretny: jasno określony przypadek użycia, model mniejszej klasy, pojedyncza GPU i czysto skonfigurowany retrieval. Na tej podstawie zespół uczy się eksploatacji, a kolejny etap rozbudowy zostaje ustalony na podstawie doświadczenia, nie karty katalogowej.

Kto chce zacząć od wiedzy zawartej w dokumentach, znajdzie odpowiednią architekturę w Czym jest RAG? Retrieval-Augmented Generation dla sektora MŚP wyjaśnione. Dlaczego operacyjna kontrola nad modelami liczy się długoterminowo, opisuje Lekcja Fable 5 o suwerenności.