Koniec z OCR? Wizualne wyszukiwanie dokumentów i co zmienia dla sektora MŚP
Modele wizualnego wyszukiwania znajdują tabele i skany, na których OCR-RAG zawodzi. Co to oznacza w praktyce.
Tłumaczenie wygenerowane automatycznie przez AI. Wersja niemiecka jest oryginałem zweryfikowanym redakcyjnie.
Gdy wyszukiwanie AI w Państwa dokumentach zawodzi akurat przy ważnych aktach, winny jest zwykle nie model językowy, lecz odczyt, który go poprzedza. Właśnie w tym miejscu wkracza wizualne wyszukiwanie dokumentów. Zamiast najpierw wymuszać na zeskanowanej stronie zamianę na tekst przez OCR, przeszukuje ona stronę bezpośrednio jako obraz, z układem, tabelami i pieczątkami. Dla sektora MŚP, który rzadko ma czysty markdown, za to mnóstwo PDF-ów, skanów i formularzy, to najistotniejszy postęp tego roku.
01. Gdzie klasyczny RAG zawodzi w sektorze MŚP
RAG zamienia Państwa dokumenty w przeszukiwalną wiedzę. Słabym punktem jest pierwszy etap: rozpoznawanie tekstu. Faktura od dostawcy z tabelą pozycji, dwukolumnowa umowa, zeskanowana karta danych z rysunkiem wymiarowym: OCR regularnie źle je składa. Tabela zamienia się w pustynię liczb, kolumny się mieszają, rysunek znika. Model dostaje wtedy już uszkodzony tekst i odpowiada odpowiednio do tego. Z naszego doświadczenia wynika, że przy prawdziwych aktach większa część błędów powstaje właśnie tutaj, na długo zanim model językowy w ogóle dochodzi do głosu.
02. Jak omija to wyszukiwanie wizualne
Modele wizualnego wyszukiwania pomijają rozpoznawanie tekstu podczas przeszukiwania. Rozbijają obraz strony na wiele małych fragmentów, osadzają każdy z nich i porównują zapytanie bezpośrednio z nimi. Dzięki temu zachowana zostaje informacja, że liczba znajduje się w komórce tabeli, a nie w tekście ciągłym. W czołówce są trzy nazwy: ColPali jako punkt odniesienia, ColQwen jako zwykle mocniejszy wariant oparty na Qwen, oraz ModernVBERT jako mały, nadający się do on-premise model. Cały zestaw narzędzi wraz z bazą wektorową porządkujemy w przeglądzie stacku. Dla praktycznego spojrzenia wystarczy: strona jest widziana, a nie zgadywana.
03. Szczerze o kosztach
Ten zysk nie jest darmowy. Wiele wektorów na stronę wymaga znacznie więcej pamięci indeksu niż pojedynczy wektor tekstowy. Przy archiwum złożonym z czystego, przejrzystego tekstu ciągłego klasyczny RAG tekstowy pozostaje tańszy i wystarczający. Wyszukiwanie wizualne opłaca się tam, gdzie informację niesie układ strony, a to w sektorze MŚP jest raczej regułą niż wyjątkiem. A w przypadkach, gdy ostatecznie i tak potrzebują Państwo przeszukiwalnego tekstu, na przykład do kopiowania lub jako ścieżkę audytu, OCR pozostaje sensowny, jako uzupełnienie, a nie zastępstwo.
04. Pierwszy krok jest mały
Nie trzeba do tego niczego dużego przebudowywać. Proszę wziąć dwadzieścia dokumentów, na których dzisiejsze wyszukiwanie zawodzi, i zadać dokładnie te pytania, które dziś dają błędne wyniki. Jeśli wyszukiwanie wizualne znajdzie wiersz tabeli, który zgubił OCR, mają Państwo swoją odpowiedź, na własnych aktach, nie na benchmarku. Piękno tego rozwiązania: cała konstrukcja działa lokalnie, dane pozostają w firmie. Dlaczego to liczy się przy wrażliwych dokumentach, opisujemy w On-Premise kontra Cloud.
