Baidu präsentiert Unlimited OCR für die effiziente Verarbeitung langer Dokumente

Die Verarbeitung langer Dokumente stellt für Optical Character Recognition (OCR)-Systeme seit Langem eine Herausforderung dar. Herkömmliche Modelle stoßen bei der Analyse von mehr als etwa zehn Seiten in einem einzigen Durchlauf an ihre Grenzen. Der Hauptgrund hierfür ist der sogenannte KV-Cache, ein Speicherpuffer, in dem große Sprachmodelle (LLMs) alle zuvor verarbeiteten Token während der Generierung ablegen. Da moderne End-to-End-OCR-Systeme LLMs als Decoder nutzen, wächst dieser Puffer mit jeder neuen Zeile Text, was zu einem exponentiellen Anstieg des Speicherverbrauchs und einer sukzessiven Verlangsamung der Generierung führt. In der Praxis umgehen Systeme dieses Problem, indem sie Dokumente seitenweise verarbeiten und den Cache nach jedem Schritt zurücksetzen.

Forschende von Baidu haben nun mit „Unlimited OCR“ ein Modell entwickelt, das diesen Beschränkungen entgegenwirken soll. Das Modell ist darauf ausgelegt, Dutzende von Dokumentenseiten in einem einzigen Inferenzlauf zu verarbeiten, wobei der Speicherverbrauch und die Verarbeitungsgeschwindigkeit unabhängig von der Textlänge konstant bleiben. Dies wird durch einen neuartigen Aufmerksamkeitsmechanismus ermöglicht.

Inspiration durch menschliches Gedächtnis

Baidu veranschaulicht die Problematik der bisherigen OCR-Modelle mit einer menschlichen Analogie: Eine Person, die ein Buch abschreibt, liest nicht alles bereits Geschriebene erneut. Stattdessen konzentriert sie sich auf die Quelle, die zuletzt geschriebenen Zeichen und die nächsten Zeichen, die übertragen werden müssen. Ältere Passagen verblassen dabei durch eine Art "weiches Vergessen". Die Forscher streben an, mit „Unlimited OCR“ dieses menschliche Muster des Arbeitsgedächtnisses nachzubilden.

Konstante Speichernutzung durch Fixed-Window-Ansatz

Die Kerninnovation von „Unlimited OCR“ ist die sogenannte „Reference Sliding Window Attention“ (R-SWA). Bei diesem Mechanismus kann jedes generierte Token weiterhin auf alle Referenz-Token (visuelle Bild-Token und den Prompt) zugreifen. Im Gegensatz dazu greift es bei bereits generierten Ausgaben nur auf die letzten 128 Token zurück. Dies gewährleistet, dass der KV-Cache während des gesamten Verarbeitungsprozesses konstant bleibt und nicht linear mit der Ausgabelänge wächst.

Bei herkömmlicher Sliding Window Attention würden visuelle Token ebenfalls laufenden Zustandsänderungen unterliegen, was zu einer allmählichen Unschärfe der Bildmerkmale und einer Verschlechterung der Erkennungsleistung führen könnte. R-SWA schließt visuelle Token von diesen Übergängen aus. Sie werden einmal kodiert und bleiben unverändert. Der KV-Cache funktioniert hierbei wie eine Warteschlange, bei der jedes neue Token das älteste Token verdrängt. Während bei Standard-Multi-Head-Attention der Speicherverbrauch mit steigender Token-Anzahl unbegrenzt anwächst, begrenzt R-SWA diesen auf die feste Summe aus Präfixlänge und Fenstergröße.

Architektur und Training von Unlimited OCR

„Unlimited OCR“ basiert auf dem Open-Source-Modell Deepseek OCR. Baidu behält dessen DeepEncoder bei und kombiniert ihn mit einer Mixture-of-Experts-Architektur, die über drei Milliarden Parameter verfügt, von denen jedoch während der Inferenz nur etwa 500 Millionen aktiv sind. Der DeepEncoder komprimiert ein 1024x1024 Pixel großes PDF-Bild auf 256 Token.

Zwei Auflösungsmodi wurden übernommen: Der „Base“-Modus verarbeitet mehrseitige Dokumente, während der „Gundam“-Modus dynamische Auflösung für einzelne Seiten nutzt. Jede Standard-Attention-Schicht im Decoder wurde durch R-SWA ersetzt.

Das Training des Modells erfolgte mit etwa zwei Millionen Dokumentenbeispielen, wobei das Verhältnis von einseitigen zu mehrseitigen Daten 9:1 betrug. Die Annotation für einseitige Dokumente wurde von Paddle OCR übernommen. Mehrseitige Daten wurden synthetisch erstellt, indem einzelne Seiten zu Dokumenten mit zwei bis 50 Seiten zusammengefügt wurden. Alle Daten wurden in Sequenzen von 32.000 Token gepackt; das Training lief über 4.000 Schritte auf 8x16 Nvidia A800 GPUs. Der DeepEncoder blieb dabei fixiert, und nur die Parameter des Sprachmodells wurden aktualisiert.

Leistungsbewertung und Ergebnisse

Laut den Autoren erreicht „Unlimited OCR“ auf dem OmniDocBench v1.5-Dokumentenbenchmark eine Gesamtpunktzahl von 93 Prozent, was sechs Prozentpunkte über der Deepseek OCR-Baseline liegt. Der Benchmark bewertet verschiedene Unteraufgaben. Die Fehlerrate bei der reinen Texterkennung, gemessen als Editierdistanz (Anzahl der Korrekturen pro Zeichen), sinkt leicht. Die Erkennung von Tabellenstrukturen verbessert sich deutlich um fast sechs Prozentpunkte. Auf der neueren Version v1.6 erreicht das Modell 93,92 Prozent und positioniert sich damit an der Spitze der End-to-End-Systeme.

Im Langzeit-Test, bei dem das Modell viele Seiten in einem einzigen Durchlauf verarbeitet, bleibt die Fehlerrate selbst bei über 40 Seiten unter 0,11. Die Autoren führen die verbleibenden Fehler nicht auf verlorenen Kontext zurück, sondern auf die Auflösungsbegrenzung des DeepEncoders im Base-Modus, wenn der Text sehr klein wird.

Die Beschränkung des Fensters auf 128 Token bei einzelnen Seiten beeinträchtigt die Genauigkeit nicht. Tatsächlich trägt sie sogar leicht zur Verbesserung bei. Die Forscher vermuten, dass R-SWA das Modell dazu zwingt, sich stärker auf die spezifische OCR-Aufgabe zu konzentrieren, während volle Aufmerksamkeit bei wachsender Ausgabelänge zu Divergenzen neigen kann.

Der konstante Cache wirkt sich auch positiv auf die Geschwindigkeit aus. Im Base-Modus erreicht „Unlimited OCR“ 5.580 Token pro Sekunde gegenüber 4.951 Token bei Deepseek OCR, was einer Steigerung von 12,7 Prozent entspricht. In einem theoretischen Vergleich der Obergrenzen mit idealer Parallelisierung ist das Modell bei etwa 6.000 Ausgabe-Token um 35 Prozent schneller als die Baseline, deren Durchsatz mit zunehmender Länge stetig abnimmt. Für die Analyse langer Dokumente, die Kernstärke des Modells, erreicht es laut Baidu eine Editierdistanz unter 0,11 und einen Distinct-35-Score von 97 Prozent, selbst bei über 40 Seiten.

Zukünftige Entwicklungen und Transfermöglichkeiten

Die aktuelle Kontextlänge des Modells von 32.000 Token begrenzt die Anzahl der Seiten, die es aufnehmen kann, da visuelle Token mit jeder zusätzlichen Seite ansteigen. Baidu plant, in Kürze Modelle mit 128.000 Token zu trainieren und schließlich einen Prefill-Pool zu entwickeln, der es dem Modell ermöglicht, relevante KV-Blöcke selbstständig abzurufen, ähnlich dem Durchblättern eines Buches. Die Autoren sehen R-SWA auch als übertragbar auf andere referenzbasierte Aufgaben wie Spracherkennung und Übersetzung.

Der Quellcode und die Modellgewichte sind auf GitHub und Hugging Face verfügbar. Das Modell läuft auf ModelScope sowie den Inferenz-Engines vLLM und SGLang. Eine Demo ist auf Hugging Face Spaces zugänglich.

OCR hat sich zu einem aktiven Forschungsfeld innerhalb der KI entwickelt, wobei Modelle hauptsächlich um Token-Effizienz konkurrieren. Das Interesse reicht über die reine Dokumentenerkennung hinaus. Da bildbasierter Text deutlich weniger Rechenleistung benötigt als sein digitales Äquivalent, könnte die Methode die Speicherkapazität von Sprachmodellen für lange Chat-Verläufe oder große Dokumente erweitern. Entwickler nutzen dies bereits, um Token-Kosten bei Modellen wie Anthropic's Fable 5 zu senken, indem sie Text in PNG-Dateien verstecken.

Deepseek hat Anfang des Jahres mit Deepseek OCR 2 in diese Richtung geforscht, einem Encoder, der Bildinformationen semantisch neu anordnet, anstatt sie starr von oben links nach unten rechts zu lesen. Es erreicht 91,09 Prozent auf OmniDocBench v1.5.

Mistral AI baut seine Position mit Mistral OCR 3 aus, das eine verbesserte Erkennung von Handschrift, Formularen und komplexen Tabellen verspricht. Für Baidu fügt sich diese Arbeit in eine breitere KI-Offensive ein. Das Unternehmen hat kürzlich Ernie 5.1 veröffentlicht, ein multimodales Modell, das als bestes chinesisches Modell auf LMArena eingestuft wurde.

Schnell scannbare Bücher sind auch als Trainingsdaten für neue Sprachmodelle attraktiv, ein Thema, das eine hitzige Debatte auslöst. Forscher haben gezeigt, dass große Sprachmodelle nahezu wörtliche Passagen aus urheberrechtlich geschützten Büchern wie "Harry Potter" und "Der Hobbit" reproduzieren können.

Bibliographie

- Baidu. (2026, Juni 18). baidu/Unlimited-OCR. GitHub. - Yin, Y., Liu, H., Xie, Q., Liu, C., Yang, S., Wang, S., Liu, Z., Zou, H., Chen, J., Wei, S., Wu, J., Huang, M., Wu, Z., Wang, G., Du, T., & Jia, L. (2026). Unlimited OCR Works Welcome the Era of One-shot Long-horizon Parsing. arXiv. - Kemper, J. (2026, Juli 5). Baidu’s “Unlimited OCR” processes dozens of document pages in one pass by treating memory like human forgetting. The Decoder. - Benigni, A. (2026, Juni 25). Baidu’s Unlimited OCR parses dozens of pages in a single forward pass — AI Insiders. AI Insiders. - AI/TLDR. (2026, Juni 22). Baidu Unlimited-OCR — 3B vision model parses… | AI/TLDR. AI/TLDR. - Razzaq, A. (2026, Juni 25). Baidu Releases Unlimited OCR, a 3B Model That Keeps the KV Cache Flat for Long-Document Parsing - MarkTechPost. MarkTechPost. - Developers Digest. (2026, Juni 23). Unlimited OCR: Baidu’s Open-Source Solution for Long Document Parsing - Developers Digest. Developers Digest.