Evaluierung der OCR-Qualität historischer Dokumente für KI-Sprachmodelle

Die Digitalisierung historischer Dokumente hat Bibliotheken und Archive vor die Herausforderung gestellt, große Mengen an Textdaten mittels Optical Character Recognition (OCR) zu erfassen. Die dabei entstandenen Texte, oft fehlerbehaftet durch die Limitierungen älterer OCR-Technologien und die Beschaffenheit der Originaldokumente, stellen ein signifikantes Problem für das Training moderner KI-Sprachmodelle dar. Diese Modelle, die das Rückgrat vieler aktueller Anwendungen im Bereich der natürlichen Sprachverarbeitung bilden, zeigen eine deutlich reduzierte Lerneffizienz, wenn sie auf verrauschten OCR-Daten trainiert werden.

Eine Studie im Rahmen des Talkie-Projekts quantifizierte diesen Effekt und zeigte auf, dass ein Sprachmodell, das auf OCR-Texten trainiert wurde, nur 30 Prozent der Effizienz eines Modells erreichte, das auf manuell transkribierten Daten basierte. Diese Erkenntnis unterstreicht die Dringlichkeit, die Qualität der digitalisierten Textbestände zu verbessern, um das volle Potenzial von KI-Sprachmodellen ausschöpfen zu können.

Das FineBooks-Projekt: Eine umfassende Evaluierung

Vor diesem Hintergrund starteten Hugging Face und EleutherAI das FineBooks-Projekt, eine Initiative zur systematischen Bewertung der Leistungsfähigkeit aktueller Open-Source-OCR-Modelle. Das Ziel war es, festzustellen, ob diese Modelle in der Lage sind, die Qualität der Textdaten aus historischen Büchern so zu verbessern, dass sie für das Training von KI-Sprachmodellen geeignet sind.

Methodik und Datengrundlage

Im Rahmen des Projekts wurden 14 Open-Weight-OCR-Modelle auf einem Korpus von 2.165 Seiten aus historischen Büchern getestet. Als Referenzdatensatz dienten manuell transkribierte Seiten der Biodiversity Heritage Library (BHL), die im Rahmen des IMPACT-Projekts und BHL-Europe zwischen 2011 und 2012 erstellt wurden. Diese Seiten, die in Englisch, Französisch, Deutsch und Latein vorlagen, wiesen eine extrem niedrige Fehlerrate von etwa einem Zeichen pro 2.000 auf und bildeten eine robuste Grundlage für die Messung der OCR-Qualität.

Leistungsindikatoren und Ergebnisse

Die Qualität der OCR-Modelle wurde anhand der Zeichenfehlerrate (Character Error Rate, CER) bewertet. Die Ergebnisse wurden in einem öffentlich zugänglichen Leaderboard veröffentlicht. Bemerkenswert war, dass die besten Modelle eine Zeichengenauigkeit von über 97 Prozent erreichten. Die Kosten für die Nachbearbeitung lagen dabei bei weniger als zwei US-Dollar pro tausend Seiten, was die Skalierbarkeit des Ansatzes unterstreicht.

Überraschende Erkenntnisse zur Modellgröße

Eine der auffälligsten Beobachtungen des FineBooks-Projekts war die geringe Korrelation zwischen der Größe eines Modells und seiner OCR-Qualität bei historischen Dokumenten. Mehrere kleinere Modelle übertrafen in ihrer Leistung größere und komplexere Modelle:

• Das führende dots.mocr-Modell mit nur 3 Milliarden Parametern erreichte eine Genauigkeit von 97,6 Prozent.
• Im Vergleich dazu erzielte das Qwen3.5-9B-Modell, das fast dreimal so groß ist, eine geringere Genauigkeit.
• OvisOCR2, mit nur 0,9 Milliarden Parametern, belegte den zweiten Platz und zeigte eine hohe Effizienz bei geringen Kosten.

Diese Ergebnisse deuten darauf hin, dass für die spezifische Aufgabe der OCR von historischen Texten nicht unbedingt die größten Modelle die besten Leistungen erbringen. Die Effizienz und Spezialisierung kleinerer Modelle scheinen hier von Vorteil zu sein.

Anwendungsbereiche und Limitationen

Die Autoren des FineBooks-Projekts bewerten die erzielte OCR-Qualität differenziert nach dem vorgesehenen Einsatzzweck:

Eignung für das Training von Sprachmodellen

Für das Training von KI-Sprachmodellen wird die Leistung der Top-Modelle als ausreichend erachtet. Die signifikant geringere Fehlerrate im Vergleich zu älteren OCR-Pipelines und die realistischen Kosten machen eine Nachbearbeitung großer Sammlungen, wie der BHL, praktikabel. Eine Verbesserung der Trainingsdaten durch solche Verfahren kann die Lerneffizienz von Sprachmodellen erheblich steigern und somit zu leistungsfähigeren KI-Anwendungen führen.

Herausforderungen für Bibliotheken und Wissenschaft

Für Bibliotheken ergeben sich jedoch weiterhin Herausforderungen. Ihre bestehenden Systeme sind oft auf Formate wie ALTO XML angewiesen, die wortgenaue Koordinaten der Textelemente speichern. Die neuen OCR-Modelle geben hingegen oft Markdown oder einfachen Text ohne diese Positionsinformationen aus, was eine direkte Integration in die bestehende Bibliotheksinfrastruktur erschwert.

Im akademischen Bereich reichen die Genauigkeitswerte für wissenschaftliche Transkriptionen noch nicht aus. Dies liegt oft nicht an fehlerhaften Zeichenerkennungen im eigentlichen Sinne, sondern an der automatischen Modernisierung archaischer Zeichen (z.B. langes „ſ“) oder Ligaturen. Eine gezielte Feinabstimmung der Modelle könnte dieses Problem beheben, erfordert jedoch zusätzliche Forschungs- und Entwicklungsarbeit.

Ausblick und zukünftige Entwicklungen

Das FineBooks-Projekt beschränkte sich in seiner aktuellen Evaluation auf Antiqua-Schriftarten in vier Sprachen und auf einspaltige Buchseiten. Fraktur, nicht-lateinische Schriften oder handschriftliche Texte wurden nicht berücksichtigt. Das Team plant jedoch, etwa 200.000 gemeinfreie BHL-Dokumente mit einem der besten Modelle nachzubearbeiten und die resultierenden Textdaten als Open Dataset zur Verfügung zu stellen. Die fortlaufende Aufnahme neuer Modelle in das Leaderboard und die Verfügbarkeit des Evaluierungsframeworks als Open-Source-Ressource fördern die weitere Forschung und Entwicklung in diesem Bereich.

Die Optimierung von OCR-Prozessen für historische Dokumente bleibt eine zentrale Aufgabe, um das kulturelle Erbe digital zugänglich zu machen und gleichzeitig die Grundlage für fortschrittliche KI-Anwendungen zu schaffen. Die Ergebnisse des FineBooks-Projekts bieten wertvolle Einblicke in den aktuellen Stand der Technik und weisen den Weg für zukünftige Verbesserungen.

Bibliographie

1. Bastian, Matthias. "Old OCR text cripples language model training, and FineBooks wants to fix that at scale." The Decoder, 10. August 2026. the-decoder.com/old-ocr-text-cripples-language-model-training-and-finebooks-wants-to-fix-that-at-scale/
2. FineBooks. "Historical Books OCR Leaderboard." Hugging Face Blog. huggingface.co/blog/finebooks/historical-books-ocr-leaderboard
3. Kanerva, Jenna, et al. "OCR Error Post-Correction with LLMs in Historical Documents: No Free Lunches." Proceedings of the Third Workshop on Resources and Representations for Under-Resourced Languages and Domains (RESOURCEFUL 2025), 2. März 2025. aclanthology.org/2025.resourceful-1.8/
4. Kim, Allen, et al. "Cleaning Dirty Books: Post-OCR Processing for Previously Scanned Texts." Findings of the Association for Computational Linguistics: EMNLP 2021, 7.-11. November 2021. aclanthology.org/2021.findings-emnlp.356/
5. Todorov, Konstantin, and Giovanni Colavizza. "An Assessment of the Impact of OCR Noise on Language Models." arXiv preprint arXiv:2202.00470, 2022. ar5iv.labs.arxiv.org/html/2202.00470
6. van Strien, Daniel. "Re-OCR Your Digitised Collections for ~$0.002/Page." danielvanstrien.xyz/posts/2026/re-ocr-collections/
7. Thomas, Alan, Robert Gaizauskas, and Haiping Lu. "Leveraging LLMs for Post-OCR Correction of Historical Newspapers." LT4HALA 2024@LREC-COLING-2024, 25. Mai 2024. aclanthology.org/anthology-files/anthology-files/pdf/lt4hala/2024.lt4hala-1.14.pdf
8. Bourne, Jonathan. "training Language Models to correct OCR errors using synthetic data." arXiv preprint arXiv:2409.19735v1, 29. September 2024. arxiv.org/html/2409.19735v1
9. Harvard Library. "Institutional Books 1.0: A 242B token dataset from Harvard Library's collections, refined for accuracy and usability." arXiv preprint arXiv:2506.08300v1, 10. Juni 2025. arxiv.org/abs/2506.08300v1