Baidu Unlimited-OCR: długi dokument w jednym przebiegu, on-prem

Sercem rozwiązania jest zmieniony mechanizm uwagi w dekoderze, który utrzymuje pamięć na stałym poziomie. Klasyczne modele OCR oparte na transformerach pozwalają, by tak zwany KV-cache rósł wraz z długością dokumentu. Im dłuższy plik PDF, tym więcej pamięci, aż w końcu przestaje się on mieścić w jednym przebiegu przetwarzania.

Unlimited-OCR zastępuje ten element mechanizmem Reference Sliding Window Attention (R-SWA). Dzięki temu KV-cache pozostaje stały, niezależnie od długości dokumentu. Właśnie to oznacza pojęcie one-shot long-horizon parsing: długi dokument jest odczytywany w jednym przebiegu, zamiast być dzielony na fragmenty, których wyniki trzeba potem scalać.

Na uwagę zasługuje sposób trenowania modelu. Zespół nie zaczynał od zera, lecz doszkolił checkpoint DeepSeek-OCR: zamroził enkoder i dostroił jedynie dekoder w około 4.000 krokach. Model wpisuje się więc w prostą linię rozwoju DeepSeek-OCR, którą omówiliśmy już w kontekście całego stosu technologicznego. Kod i wagi modelu są dostępne publicznie na GitHubie.

Prawdziwym problemem przy długich dokumentach nie jest pojedyncza strona, lecz zachowanie spójności między stronami. Gdy model dzieli 60-stronicowy dokument na bloki po dziesięć stron, ginie właśnie to, co liczy się w codziennej pracy B2B: tabela przechodząca przez podział strony, klauzula odnosząca się do wcześniejszego fragmentu, pozycja, której punkt odniesienia znajduje się dwadzieścia stron wcześniej.

Stały KV-cache pozwala utrzymać cały dokument w jednym kontekście. Pamięć nie rośnie wraz z długością, dzięki czemu struktura zostaje zachowana na wszystkich stronach. Przy okazji rośnie też szybkość: Baidu podaje w trybie base 5.580 tokenów na sekundę wobec 4.951 w przypadku DeepSeek-OCR, a przy limicie wyjściowym 6.000 tokenów różnica wynosi około 35 procent.

Pod względem dokładności Unlimited-OCR osiąga na OmniDocBench v1.5 wynik 93,23 punktu, czyli 6,22 więcej niż bazowy model DeepSeek-OCR, a na v1.6 wynik 93,92. To liczby pochodzące z publikacji naukowej. Na Państwa własnych dokumentach ostatecznie liczy się to, jak model radzi sobie z Państwa tabelami, pieczątkami i formularzami, a nie średnia z publicznego zestawu testowego. Pokrewny jest rozwój w obszarze subkwadratowych LLM, które czynią długi kontekst on-premise tańszym.

Korzyść pojawia się tam, gdzie długie, ustrukturyzowane dokumenty trzeba zamienić w czyste, przeszukiwalne dane. Kilka konkretnych przykładów:

• Umowy i umowy ramowe. Odesłania i załączniki pozostają czytelne w kontekście, zamiast rozpadać się na granicach bloków.
• Instrukcje techniczne i normy. Długie dokumenty z rysunkami, tabelami i numerowanymi sekcjami przetwarzane w jednym przebiegu.
• Wielostronicowe faktury i dokumenty księgowe. Czysto wyekstrahowany tekst to wstępny etap ustrukturyzowanego dalszego przetwarzania, na przykład w kierunku e-faktury.
• Archiwa i akta. Zasoby, które dotąd istniały wyłącznie jako skany, stają się czytelne maszynowo, bez przekazywania ich do usługi chmurowej.

Niemal we wszystkich przypadkach OCR nie jest celem, lecz pierwszym krokiem. Czysto sparsowany tekst stanowi podstawę bazy wiedzy z RAG: im lepsze parsowanie, tym lepiej wyszukiwanie znajduje później właściwe miejsce.

Nie każde zadanie związane z dokumentami wymaga klasycznego rozpoznawania tekstu, i jest to uczciwy kompromis do rozważenia. Istnieje już cała gałąź podejść, które w ogóle nie zamieniają dokumentów na tekst, lecz przeszukują je jako obraz, za pomocą modeli takich jak ColPali czy ColQwen. To podejście bez OCR opisaliśmy osobno.

Reguła, która sprawdziła się u nas:

• Potrzebują Państwo faktycznych znaków (kwot na fakturach, klauzul umownych, ustrukturyzowanej ekstrakcji, przekazania do innego systemu): wtedy trudno obejść się bez OCR, a model taki jak Unlimited-OCR jest w tym mocny.
• Potrzebują Państwo odpowiedniego miejsca, a nie pełnego tekstu (odpowiedzi na pytanie dotyczące dużego zbioru, odnalezienia rysunku): wtedy wizualne wyszukiwanie dokumentów może być bardziej bezpośrednią drogą.

Często oba podejścia współistnieją. Unlimited-OCR sprawia, że część OCR tego stosu staje się tańsza i bardziej niezawodna przy długich dokumentach.

Dobry wynik w benchmarku to powód, by przetestować model, nie powód, by wdrożyć go produkcyjnie. Zanim wdrożyłbym Unlimited-OCR w procesie klienckim, sprawdziłbym cztery rzeczy:

🔸 Niemieckie dokumenty i pismo odręczne. Wyniki benchmarków niewiele mówią o niemieckich formularzach, starych aktach czy odręcznych notatkach. To wymaga własnego zestawu testowego złożonego z prawdziwych dokumentów.

🔸 Tabele i układ strony. W dokumentach B2B o użyteczności decyduje wierność odwzorowania tabel i kolumn. Tu opłaca się bezpośrednie porównanie z dotychczasowym stosem.

🔸 Sprzęt i eksploatacja. 3B jako MoE z około 500M aktywnymi parametrami jest realistyczne on-premise. To, co to konkretnie oznacza pod względem pamięci GPU i przepustowości, trzeba zmierzyć przed wdrożeniem, a nie oszacować.

🔸 Licencja i pochodzenie. MIT pozwala na komercyjne zastosowanie on-premise bez zastrzeżeń. To, że ślad modelu prowadzi do jednego z autorów DeepSeek-OCR, jest sygnałem jakości, ale nie zastępuje własnej weryfikacji.

Tym, co naprawdę mnie interesuje w tej publikacji, jest mniej sam model, a bardziej kierunek: długie dokumenty w jednym przebiegu, wystarczająco małe dla własnej serwerowni, na licencji, która nikogo nie ogranicza. Właśnie tam przetwarzanie dokumentów w sektorze MŚP staje się teraz praktyczne. Które z Państwa dokumentów przepuściliby Państwo przez to jako pierwsze?