Methodology
·
3 MIN
Der OCR-freie Dokumenten-Stack 2026: ColPali, ColQwen, ModernVBERT und Qdrant
Visuelle Retrieval-Modelle durchsuchen die Seite als Bild statt per OCR. Ein nüchterner Überblick.
LOCATION
Rheinland-Pfalz
SERIES
RAG Architectures
AUTHOR
Aashwin Shrivastava
PUBLISHED
Für Dokumenten-RAG ist OCR 2026 nicht mehr der selbstverständliche erste Schritt. Eine Reihe visueller Retrieval-Modelle durchsucht die Seite direkt als Bild, also samt Layout, Tabellen und Diagrammen, ohne sie vorher in Text zu zerlegen. Das verändert, wo in einer RAG-Architektur die Fehler entstehen und welche Bausteine man überhaupt noch braucht. Vier Namen tauchen dabei immer wieder auf: ColPali, ColQwen, ModernVBERT und Qdrant. Dieser Text ordnet sie ein, ohne Hype, mit den Stellen, an denen sich der Wechsel lohnt, und denen, an denen er es nicht tut.
01.
Warum OCR der wackelige Teil der Pipeline war
OCR war lange der Punkt, an dem stille Fehler in die Antwort kamen. Der klassische Weg ist eine Kette: Seite scannen, per OCR in Text wandeln, in Stücke schneiden, einbetten, abrufen. Jede Stufe verliert etwas. Eine zweispaltige Seite wird falsch zusammengefügt, eine Tabelle zerfällt in zusammenhanglose Zahlen, ein Diagramm fällt ganz heraus, weil es kein Text ist. In unserer Erfahrung steckt bei schwierigen Dokumenten der größere Teil des Qualitätsproblems nicht im Sprachmodell, sondern hier, im Lesen. Visuelles Retrieval setzt genau an dieser Stufe an: es überspringt die Texterkennung beim Suchen und arbeitet auf dem Bild der Seite.
02.
Die vier Bausteine, kurz erklärt
ColPali. Die Referenz, im Juli 2024 vorgestellt (arXiv). Sie baut auf dem Vision-Sprachmodell PaliGemma auf und erzeugt rund 1024 Bildausschnitt-Vektoren pro Seite, jeder 128-dimensional. Statt die Seite in einen einzigen Vektor zu pressen, bleibt die Granularität erhalten. Der Abgleich passiert über Late Interaction, eine aus ColBERT übernommene Technik, die wir hier genauer aufschlüsseln.
ColQwen. Dasselbe Rezept, andere Basis: ColQwen2.5 setzt auf Qwen2.5-VL statt PaliGemma und liegt auf dem ViDoRe-Benchmark meist vorn. Wer heute neu anfängt, beginnt sinnvoll hier.
ModernVBERT. Der Effizienz-Hebel. ColModernVBERT hat 250M Parameter, also rund zehnmal weniger als ColPali, und liegt laut Paper trotzdem nur 0,6 nDCG@5 darunter. Das ist der Baustein, der visuelles Retrieval on-prem bezahlbar macht.
Qdrant. Die Infrastruktur darunter. Qdrant speichert die Multi-Vektoren dieser Modelle nativ und rechnet die Late-Interaction-Bewertung beim Suchen (Doku). Ohne eine Vektordatenbank, die mehrere Vektoren pro Seite versteht, läuft keiner der drei Encoder.
03.
Wann sich der Wechsel lohnt, und wann nicht
Visuelles Retrieval gewinnt dort, wo das Layout die Information trägt. Gescannte Verträge, Rechnungen, Datenblätter, Präsentationen, Formulare, mehrsprachige Akten: alles, woran eine OCR-Kette regelmäßig scheitert. Es spart außerdem die gesamte Wartung dieser Kette.
Es ist aber kein Pauschalgewinn. Mehrere Vektoren pro Seite kosten mehr Speicher und mehr Index als ein einzelner Text-Vektor, oft um ein Vielfaches. Bei sauberem, reinem Fließtext ist klassisches Text-RAG weiterhin günstiger und völlig ausreichend. Und manche Aufgaben brauchen am Ende doch Text, etwa Volltextsuche, Kopieren oder eine Prüfspur. Dafür gibt es weiterhin gute Gründe für OCR, im Hybrid neben dem visuellen Retrieval.
04.
Ein nüchterner Fahrplan
Mit den eigenen Dokumenten testen, nicht mit dem Benchmark. ViDoRe ist ein guter Anhaltspunkt, aber Ihre Aktenlage ist es nicht. Nehmen Sie die zwanzig Seiten, an denen Ihre heutige Suche scheitert.
Mit ColQwen oder ColModernVBERT starten, je nach Hardware. Auf knapper GPU ist das kleine Modell oft das ehrlichere.
Qdrant als Multi-Vektor-Speicher aufsetzen, Late Interaction nur in der Re-Ranking-Stufe, um den Index klein zu halten.
Den Speicherpreis vorab rechnen. Die Indexgröße ist die Stelle, die später wehtut, nicht die Modellwahl.
Wer den größeren Bogen sucht, also warum lokale Modelle und eigenes Retrieval überhaupt zusammengehören: das steht in On-Premise gegen Cloud. Die einzelnen Bausteine vertiefen wir in eigenen Texten, beginnend beim Mittelstand-Blick.
