ModernVBERT: mały model, gotowy na On-Prem
ColModernVBERT osiąga z 250M parametrów niemal poziom ColPali i mieści się na skromnym sprzęcie.
Tłumaczenie wygenerowane automatycznie przez AI. Wersja niemiecka jest oryginałem zweryfikowanym redakcyjnie.
Najciekawszą liczbą w wyszukiwaniu wizualnym w 2025 roku nie jest ta największa, lecz najmniejsza. ColModernVBERT osiąga z 250 milionami parametrów niemal poziom ColPali, modelu starszego o rok i około dziesięciokrotnie większego. Brzmi to jak detal dla kolekcjonerów modeli, ale to właśnie ta różnica sprawia, że wizualne wyszukiwanie dokumentów on-prem staje się przystępne cenowo.
01. DLACZEGO ROZMIAR STAJE SIĘ TU PRZESZKODĄ
Wizualne modele wyszukiwania, takie jak ColPali czy ColQwen, są bardzo trafne, ale są też duże. On-prem, czyli na własnym sprzęcie w firmie, szybko staje się to kwestią kosztów: duże modele wymagają mocnych GPU, więcej pamięci, więcej energii. Dla wielu wdrożeń w sektorze MŚP przeszkodą nie jest jakość, lecz rachunek za sprzęt. Właśnie tutaj mniejszy model daje przewagę.
02. CO MODERNVBERT ROBI INACZEJ
ModernVBERT to kompaktowy koder wizualno-językowy z 250 mln parametrów (artykuł). Łączy nowoczesny 150-milionowy koder tekstu oparty na ModernBERT z niewielkim koderem obrazu i dopasowuje oba komponenty za pomocą celu Masked Language Modeling. ColModernVBERT to wariant dostrojony do wyszukiwania. Wynik według artykułu: mimo około dziesięciokrotnie mniejszej liczby parametrów model osiąga wynik jedynie o 0,6 nDCG@5 niższy od ColPali w zagregowanym benchmarku ViDoRe, uzyskując tym samym wyniki, do których dotąd potrzebne były niemal dziesięciokrotnie większe modele. Model i kod są dostępne publicznie.
03. DLACZEGO TO SIĘ LICZY DLA SUWERENNOŚCI
Mały, otwarty i skuteczny model to właśnie kombinacja, która umożliwia lokalne działanie. Mieści się na skromnym GPU, wagi są dostępne publicznie, a dokumenty pozostają w firmie, ponieważ wyszukiwanie nie trafia do obcego punktu końcowego. To nie jest funkcja bezpieczeństwa dodana później, lecz cecha samej architektury. Szerszy kontekst tego, dlaczego lokalność i otwartość idą w parze, omawiamy w On-Premise kontra Cloud.
04. KIEDY MAŁY MODEL JEST WŁAŚCIWYM WYBOREM
Nie zawsze potrzebny jest największy model. Jeśli Państwa sprzęt jest ograniczony, a dokumenty to typowe dokumenty biznesowe, ColModernVBERT jest często uczciwszym wyborem niż ColQwen: niemal ta sama jakość, ułamek kosztów. Jeśli potrzebują Państwo ostatniej odrobiny trafności na szczególnie gęstych stronach, warto porównać z większym modelem. Jak oba modele współdziałają w pełnym stosie z Qdrant, opisujemy w przeglądzie.
