Subkwadratowe LLM-y: tańszy długi kontekst dla On-Prem RAG

Powód leży w matematyce mechanizmu samouwagi (self-attention): jej koszt rośnie kwadratowo wraz z długością danych wejściowych.

W klasycznym transformerze każdy token porównywany jest z każdym innym. Gdy długość kontekstu się podwaja, koszt obliczeniowy uwagi rośnie w przybliżeniu czterokrotnie. Do tego dochodzi pamięć: pamięć podręczna klucz-wartość, którą model przenosi podczas generowania, rośnie liniowo wraz z długością i szybko zużywa dostępną pamięć na stałej karcie GPU. To rzeczywiste wąskie gardło w eksploatacji On-Premise, gdzie sprzęt jest ustalony i nie można go elastycznie dokupić.

Właśnie w tym miejscu wkraczają podejścia subkwadratowe. Starają się one obniżyć koszt sekwencji w kierunku liniowym, czyli O(n) zamiast O(n do kwadratu), oraz ograniczyć zużycie pamięci na token. Co to oznacza dla realiów sprzętowych w przedsiębiorstwie, wyliczyliśmy w lokalne LLM.

Istnieje kilka dróg, a praktycznym zwycięzcą lat 2024-2026 nie jest podejście najczystsze, lecz hybrydowe.

• Modele przestrzeni stanów (Mamba). Mamba (grudzień 2023) i Mamba-2 (maj 2024) modelują sekwencje w czasie liniowym, wykorzystując stałą pamięć stanu zamiast rosnącej pamięci podręcznej (arXiv). Cena: stały stan jest kompresorem stratnym i słabszym w dokładnym przypominaniu odległych fragmentów.
• Uwaga liniowa (RWKV, RetNet). Przeformułowują mechanizm uwagi tak, by koszt rósł w przybliżeniu liniowo. Podobny kompromis w zakresie pamięci asocjacyjnej.
• Hybrydy w produkcji. Nikt nie dostarcza czystych modeli subkwadratowych na najwyższym poziomie jakości. Zamiast tego wszyscy łączą mniejszość pełnych warstw uwagi z większością warstw przestrzeni stanów lub liniowych: Jamba (AI21, 2024), MiniMax-01 (styczeń 2025), Falcon-H1 (maj 2025), Nemotron-H od NVIDIA, IBM Granite 4.0 (październik 2025) oraz Qwen3-Next (wrzesień 2025). Pełne warstwy zachowują pamięć, a szczupłe kupują korzyść kosztową i pamięciową.

Linię NVIDIA stojącą za Nemotron, która wykorzystuje dokładnie tę hybrydową konstrukcję, opisaliśmy w Nemotron 3.

Termin ten wymaga ostrożności, ponieważ niesie dwa znaczenia: architektoniczne i marketingowe.

Obok ogólnej rodziny subkwadratowej istnieje konkretny produkt: start-up Subquadratic wyszedł z ukrycia w maju 2026 roku z finansowaniem na poziomie około 29 milionów dolarów i reklamuje się subkwadratową, oszczędną uwagą (sparse attention). Nagłówki są głośne: model badawczy z kontekstem 12 milionów tokenów, około jedna piąta kosztów w porównaniu do najlepszych modeli, wielokrotnie wyższa szybkość (The New Stack).

Uczciwa ocena: część jest zweryfikowana przez podmioty trzecie, na przykład wynik RULER-128K, natomiast spektakularne liczby dotyczące 12 milionów tokenów i współczynnika szybkości to dane dostawcy z pojedynczych przebiegów, niezweryfikowane niezależnie. To obiecująca wskazówka, a nie podstawa do zakupu. Właśnie to rozróżnienie, potwierdzone kontra deklarowane, jest dyscypliną, którą stosujemy przy każdym nowym modelu.

Konkretną korzyścią jest pamięć i przepustowość na stałym sprzęcie, a to dla On-Prem RAG jest właśnie odpowiednia dźwignia.

• Ograniczona pamięć podręczna, przewidywalna pamięć. Warstwy przestrzeni stanów niosą stały stan, więc zużycie pamięci nie eksploduje wraz z długością. IBM podaje dla Granite 4.0 ponad 70 procent mniejsze zapotrzebowanie przy długim kontekście, co jest deklaracją producenta, ale wiarygodną i idącą w kierunku większej liczby równoczesnych sesji na GPU.
• Model i kontekst na jednej karcie. NVIDIA podaje, że model Nemotron-H z 51 miliardami parametrów wraz z pamięcią podręczną mieści się na pojedynczej karcie 80 GB, co jest również deklaracją producenta.
• Luźniejsza dyscyplina fragmentacji (chunking). Tańszy kontekst pozwala na większe okna i mniej lękliwe dzielenie dokumentów na fragmenty.

Uczciwe zastrzeżenia też się należą. W przypadku RAG intensywnie korzystającego z pamięci, na przykład dokładnego dotarcia do fragmentu w bardzo długich tekstach, czyste modele subkwadratowe wciąż ustępują pełnej uwadze, hybrydy zamykają tę lukę w dużej mierze, ale nie całkowicie. Otoczenie narzędziowe, czyli kwantyzacja, serwowanie i dostrajanie (fine-tuning), pozostaje w tyle za ugruntowanymi modelami gęstymi. I najważniejsze zdanie: długi kontekst to nie to samo co dobry retrieval. Solidny model z dobrym RAG pokonuje dziś niemal zawsze próbę zwykłego wrzucenia milionów tokenów. To, co RAG w ogóle daje, opisaliśmy w Czym jest RAG oraz Potęga RAG.

Podejście subkwadratowe warto obserwować, ale nie warto na nie stawiać. Tak właśnie do tego podchodzę:

1. Budować warstwę RAG niezależną od modelu. Za stabilnym interfejsem, tak by można było wdrożyć hybrydę klasy Granite 4, gdy tylko otoczenie narzędziowe dojrzeje.
2. Zaczynać od solidnego, dobrze wspieranego modelu, a nie od najnowszej architektury, i czerpać wartość z jakości retrievalu.
3. Ignorować niepotwierdzone obietnice. Deklarowany tysiąckrotny wzrost poczeka, aż ktoś niezależny go odtworzy.

To ten sam wzorzec, który stosujemy w zestawieniu On-Premise kontra chmura: świadomie decydować, budować wymiennie (On-Premise vs. Cloud LLM). Interesujące pytanie nie brzmi, czy modele subkwadratowe pewnego dnia uczynią długi kontekst tanim. Prawdopodobnie tak się stanie. Pytanie brzmi, czy Państwa architektura jest gotowa, by przejąć tę korzyść, nie stawiając dziś na to zakładu. Czy Państwa warstwa RAG jest zbudowana tak, że mogą Państwo wymienić model bez przepisywania wszystkiego od nowa?