Verbesserung der Wissenskonsistenz in Wikipedia durch KI-gestützte Inkonsistenz-Erkennung

Herausforderung der Wissenskonsistenz in grossen Korpora: Eine Analyse mit Large Language Models

Die digitale Ära hat uns eine Fülle von Informationen beschert, wobei Plattformen wie Wikipedia als zentrale Wissensspeicher dienen. Die Zuverlässigkeit dieser Quellen ist von entscheidender Bedeutung, da sie nicht nur von Milliarden von Menschen weltweit genutzt werden, sondern auch als Trainingsgrundlage für fortschrittliche Künstliche Intelligenz (KI)-Systeme, einschliesslich Large Language Models (LLMs) und Retrieval-Augmented Generation (RAG)-Systeme, dienen. Eine neue Forschungsarbeit des Stanford Open Virtual Assistant Lab (OVAL) unter der Leitung von Sina J. Semnani und Monica S. Lam widmet sich der kritischen Frage der Wissenskonsistenz innerhalb dieser grossen Korpora und präsentiert innovative Ansätze zur Erkennung von Widersprüchen.

Die Notwendigkeit der Korpus-Ebenen-Inkonsistenz-Erkennung

Wikipedia, als grösstes offenes Wissenskorpus, ist ein Spiegel menschlichen Wissens – mit all seinen Stärken und Schwächen. Trotz sorgfältiger redaktioneller Prozesse können sich Inkonsistenzen einschleichen. Diese können aus veralteten Informationen, mangelndem Bewusstsein für verwandte Inhalte bei der Bearbeitung oder schlichten menschlichen Fehlern resultieren. Die schiere Grösse des Korpus macht eine umfassende manuelle Überprüfung praktisch unmöglich. Hier setzt die Forschung an, indem sie die Aufgabe der Korpus-Ebenen-Inkonsistenz-Erkennung (CLID) formalisiert. Ziel ist es, angesichts eines Fakts aus einem Korpus mindestens einen anderen Fakt innerhalb desselben Korpus zu identifizieren, der diesem widerspricht.

CLAIRE: Ein Agentensystem zur Unterstützung menschlicher Editoren

Im Zentrum der vorgestellten Lösung steht CLAIRE (Corpus-Level Assistant for Inconsistency REcognition), ein agentenbasiertes System, das die Stärken von LLM-Reasoning mit fortgeschrittenen Retrieval-Technologien kombiniert. CLAIRE ist darauf ausgelegt, potenziell inkonsistente Aussagen zusammen mit kontextuellen Beweisen für die menschliche Überprüfung zu identifizieren. Dies geschieht in einem iterativen Prozess, bei dem Recherche- und Verifikationsschritte miteinander verknüpft sind, um die Effizienz der Inkonsistenzerkennung zu maximieren.

In einer Nutzerstudie mit erfahrenen Wikipedia-Editoren zeigte CLAIRE beeindruckende Ergebnisse: 87,5 % der Teilnehmer berichteten von einem höheren Vertrauen bei der Identifizierung von Inkonsistenzen, und die Teilnehmer identifizierten 64,7 % mehr Inkonsistenzen in derselben Zeitspanne im Vergleich zur Nutzung herkömmlicher Suchmaschinen. Dies unterstreicht das Potenzial von KI-gestützten Systemen, die menschliche Expertise zu ergänzen und die Qualität grosser Wissensdatenbanken zu verbessern.

Funktionsweise von CLAIRE

CLAIRE integriert zwei zentrale Hilfswerkzeuge, um die Recherche- und Verifikationsaufgaben zu optimieren:

• Clarify: Dieses Werkzeug fordert Klärungen an, um Entitäten zu disambiguieren. Es identifiziert Mehrdeutigkeiten in Fakten und abgerufenen Beweisen, sammelt zusätzlichen Kontext und erstellt prägnante Zusammenfassungen, die wesentliche Unterschiede hervorheben.
• Explain: Bei unbekannten Konzepten oder Fachterminologie fragt dieses Werkzeug ein LLM nach einer kurzen, verständlichen Erklärung. Dies ermöglicht ein gezielteres Sammeln von Beweisen, insbesondere bei komplexen oder nuancierten Behauptungen.

Die Integration dieser Werkzeuge hilft, häufige Fehlerquellen wie die Verwechslung gleichnamiger Entitäten oder die fehlende Berücksichtigung von Kontext (numerisch, sprachlich, zeitlich, perspektivisch) zu minimieren. CLAIRE generiert zudem einen Inkonsistenz-Score, der die Vertrauenswürdigkeit der Erkennung quantifiziert und menschlichen Editoren hilft, Prioritäten zu setzen.

WIKICOLLIDE: Ein neues Benchmark-Dataset

Ein wesentlicher Beitrag dieser Forschungsarbeit ist die Einführung von WIKICOLLIDE, dem ersten Benchmark-Dataset für tatsächliche Wikipedia-Inkonsistenzen. Im Gegensatz zu synthetisch generierten Datensätzen enthält WIKICOLLIDE reale, zuvor unentdeckte Widersprüche, die die Nuancen und komplexen faktischen Beziehungen der realen Welt widerspiegeln. Das Dataset umfasst 955 atomare Fakten aus Wikipedia, die manuell als konsistent oder inkonsistent mit dem Korpus gekennzeichnet wurden.

Die Analyse von WIKICOLLIDE offenbarte verschiedene Arten von Inkonsistenzen, wobei numerische Diskrepanzen mit 54,7 % den grössten Anteil ausmachen. Davon sind 42 % "Off-by-One"-Fehler, oft in historischen Daten, während der Rest substanziellere Unterschiede aufweist. Logische Widersprüche machen 17,5 % aus, während der verbleibende Anteil auf unterschiedliche Definitionen, zeitliche oder räumliche Konflikte, Entitäts-Disambiguierungsfehler und divergierende Kategorisierungen zurückzuführen ist.

Inkonsistenzen in Wikipedia: Eine quantitative Einschätzung

Durch eine Stichprobenanalyse mit CLAIRE-Unterstützung schätzen die Forscher, dass mindestens 3,3 % der Fakten in der englischen Wikipedia widersprüchlich sind. Hochgerechnet auf die gesamte Enzyklopädie entspricht dies zwischen 37,6 Millionen und 121,9 Millionen inkonsistenten Fakten. Diese Zahlen unterstreichen die Dringlichkeit einer systematischen Inkonsistenzerkennung.

Die Inkonsistenzraten variieren auch stark zwischen verschiedenen Artikelkategorien. Historische Artikel weisen mit 17,7 % die höchste Rate auf, gefolgt von "Alltag" (16,9 %) und "Gesellschaft & Sozialwissenschaften" (14,3 %). Im Gegensatz dazu zeigen Kategorien, die präzises technisches Wissen und quantifizierbare Informationen erfordern – wie Mathematik (5,6 %) und Technologie (9,4 %) – deutlich niedrigere Raten.

Darüber hinaus wurden Inkonsistenzen in weit verbreiteten Wikipedia-basierten NLP-Benchmarks festgestellt: In AmbigQA widersprechen 4,0 % der Beispiele anderen Informationen im Korpus, und in FEVEROUS sind 7,3 % der als "Supports" gekennzeichneten Behauptungen in Korpus-Level-Inkonsistenzen verwickelt. Dies stellt die zugrunde liegende Annahme der Korpus-Konsistenz in der Faktenprüfung infrage.

Leistung automatischer Detektoren und zukünftige Perspektiven

Die Evaluierung verschiedener automatischer Systeme zur CLID auf dem WIKICOLLIDE-Dataset zeigte, dass CLAIRE mit GPT-4o als LLM-Backbone die besten Ergebnisse bei Genauigkeit und AUROC erzielt. Dennoch besteht erheblicher Verbesserungsbedarf, da das beste vollautomatisierte System lediglich eine AUROC von 75,1 % erreichte.

Eine Fehleranalyse identifizierte systematische Schwächen der aktuellen Systeme, insbesondere bei der Verwechslung gleichnamiger Entitäten und kontextabhängigen Fehlklassifikationen. Beispielsweise können geringfügige numerische Abweichungen, unterschiedliche Übersetzungen von Eigennamen oder Fakten aus verschiedenen Zeitperioden fälschlicherweise als Inkonsistenzen markiert werden.

Die Forschung betont die Notwendigkeit, kontextuelles Verständnis zu verbessern, um solche Fehler zu reduzieren. Trotz dieser Herausforderungen demonstriert die Arbeit, dass LLM-basierte Systeme wie CLAIRE ein praktisches Werkzeug zur Verbesserung der Wissenskonsistenz in grossem Massstab darstellen können. Dies legt einen positiven Kreislauf nahe: LLMs helfen, sauberere und zuverlässigere Korpora zu kuratieren, was wiederum sowohl den menschlichen Wissenszugang als auch die darauf aufbauenden KI-Systeme verbessert.

Fazit

Die Erkennung von Wissensinkonsistenzen auf Korpus-Ebene ist eine komplexe, aber entscheidende Aufgabe für die Qualitätssicherung grosser Wissensdatenbanken. Die Einführung von CLAIRE und des WIKICOLLIDE-Datasets markiert einen wichtigen Fortschritt in diesem Bereich. Sie bietet nicht nur ein praktisches Werkzeug für menschliche Editoren, sondern auch eine solide Grundlage für die weitere Forschung und Entwicklung automatisierter Systeme. Während die Technologie noch Herausforderungen zu bewältigen hat, insbesondere im Hinblick auf nuanciertes kontextuelles Verständnis, ist das Potenzial von LLM-basierten Ansätzen zur Schaffung einer präziseren und zuverlässigeren Wissensbasis immens.

Bibliographie

- Sina J. Semnani, Jirayu Burapacheep, Arpandeep Khatua, Thanawan Atchariyachanvanit, Zheng Wang, Monica S. Lam. "Detecting Corpus-Level Knowledge Inconsistencies in Wikipedia with Large Language Models". Veröffentlicht am 27. September 2025. Online verfügbar unter: https://huggingface.co/papers/2509.23233 (Abgerufen am 17. Mai 2024). - Stanford Open Virtual Assistant Lab (OVAL) Publications. Online verfügbar unter: https://oval.cs.stanford.edu/publications (Abgerufen am 17. Mai 2024). - "Wikipedia:Signs of AI writing". Online verfügbar unter: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing (Abgerufen am 17. Mai 2024). - Rosario Uceda Sosa, Maria Chang, Karthikeyan Natesan Ramamurthy, Moninder Singh. "Conceptual Diagnostics for Knowledge Graphs and Large Language Models". Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 6: Industry Track), Seiten 531–540, Wien, Österreich. Association for Computational Linguistics. Juli 2025. Online verfügbar unter: https://aclanthology.org/2025.acl-industry.37/ (Abgerufen am 17. Mai 2024).