Neues Framework CiteGuard verbessert Zitationsgenauigkeit in KI-generierten Texten

Verbesserung der Zitationsgenauigkeit in KI-generierten Texten: Eine Analyse von CiteGuard

Die Integration von Großen Sprachmodellen (LLMs) in wissenschaftliche Schreibprozesse hat das Potenzial, die Effizienz und Produktivität erheblich zu steigern. Gleichwohl haben sich Bedenken hinsichtlich der Qualität und Zuverlässigkeit der generierten Inhalte gezeigt, insbesondere im Hinblick auf die Präzision und Verlässlichkeit von Zitaten. Ein aktueller Forschungsbeitrag stellt mit „CiteGuard“ ein Framework vor, welches sich dieser Herausforderung annimmt und die Zitationszuordnung in LLM-generierten Texten durch eine retrieval-gestützte Validierung signifikant verbessern soll.

Die Herausforderung der Zitationsgenauigkeit bei LLMs

Die Fähigkeit von LLMs, kohärente und sachlich korrekte Texte zu erstellen, ist beeindruckend. Jedoch offenbart sich eine Schwäche bei der präzisen und korrekten Zitationszuordnung, insbesondere im wissenschaftlichen Kontext. Frühere Ansätze, die LLMs selbst zur Bewertung von Zitaten heranziehen („LLM-as-a-Judge“), haben sich als nicht ausreichend zuverlässig erwiesen. Diese Modelle können zwar offensichtlich falsche Zitationen erkennen, lehnen aber oft korrekte Zitationen ab, weil ihnen der notwendige Kontext fehlt. Dies führt zu einer niedrigen „Recall“-Rate von lediglich 16-17%.

CiteGuard: Ein neuer Ansatz zur Zitationsvalidierung

CiteGuard positioniert die Zitationsevaluation neu als Problem der Zitationszuordnungs-Ausrichtung. Dabei wird bewertet, ob die von LLMs generierten Zitationen jenen entsprechen, die ein menschlicher Autor für denselben Text verwenden würde. Das Framework ist als retrieval-gestütztes Agentenmodell konzipiert, das eine verlässlichere Grundlage für die Zitationsvalidierung bieten soll.

Methodik und innovative Retrieval-Aktionen

Die wesentliche Verbesserung von CiteGuard gegenüber bestehenden Baselines wie CiteAgent liegt in der Einführung erweiterter Retrieval-Aktionen. Während CiteAgent stark auf die „read“-Aktion angewiesen ist, die einen zuverlässigen Zugriff auf vollständige PDF-Dokumente voraussetzt, minimiert CiteGuard diese Abhängigkeit durch zwei neue Schlüsselaktionen:

• ask_for_more_context: Diese Aktion ermöglicht es dem Agenten, proaktiv nach zusätzlichem Kontext für eine Behauptung zu fragen, wenn der anfängliche Textausschnitt nicht ausreicht.
• search_text_snippet: Diese Funktion erlaubt die direkte Suche innerhalb von Dokumentinhalten, wodurch die Notwendigkeit des vollständigen Zugriffs auf PDF-Dateien reduziert wird.

Diese flexibleren Retrieval-Methoden tragen maßgeblich zur Robustheit und Genauigkeit von CiteGuard bei. Die Analyse zeigte auch, dass das gezielte Abrufen relevanter Textstellen gegenüber der Bereitstellung des gesamten Dokumententextes zwar einen geringfügigen Genauigkeitsverlust von etwa 3,07% mit sich bringen kann, dies jedoch mit einer erheblichen Reduzierung der benötigten Token einhergeht (bis zu 4-mal weniger Token).

Leistungsbewertung und Ergebnisse

Die Evaluation von CiteGuard erfolgte auf dem CiteME-Benchmark, welcher 130 Textauszüge aus menschlich verfassten Manuskripten in verschiedenen Bereichen der Computerwissenschaften umfasst. Die Aufgabe bestand darin, für jeden Auszug eine fehlende Zitation zu ergänzen.

CiteGuard übertraf die vorherige Baseline signifikant und erzielte eine Genauigkeit von bis zu 65,4% bei der korrekten Referenzierung. Dies ist bemerkenswert, da die menschliche Leistung auf demselben Benchmark bei 69,7% liegt. Insbesondere in Kombination mit dem Open-Source-Modell DeepSeek-R1 erreichte CiteGuard diese hohe Performance. Die Fähigkeit von CiteGuard, auch plausible alternative Zitationen vorzuschlagen, die von menschlichen Annotatoren als relevant eingestuft wurden, unterstreicht die Qualität des Frameworks.

Ein weiterer wichtiger Befund ist die Modellagnostik von CiteGuard. Sowohl proprietäre Modelle wie GPT-4o als auch Open-Source-Modelle wie Qwen3 konnten relevante Alternativen effektiv identifizieren, was die breite Anwendbarkeit des Ansatzes demonstriert.

Vergleich mit Paper Findern

Im Vergleich zu spezialisierten Paper Findern, wie dem AI2 Paper Finder, zeigte CiteGuard eine vergleichbare oder sogar überlegene Leistung. Die Top-1-Genauigkeit von CiteGuard mit DeepSeek-R1 lag bei 65,4%, während der AI2 Paper Finder 38,5% erreichte. Dies deutet darauf hin, dass CiteGuard durch die Integration des Kontextes des Textausschnitts eine höhere Zuverlässigkeit erlangen kann.

Implikationen für die B2B-Anwendung

Für Unternehmen, die LLMs im Bereich der Wissensgenerierung, Berichterstattung oder Content-Erstellung einsetzen, bietet CiteGuard entscheidende Vorteile:

• Erhöhte Vertrauenswürdigkeit: Die verbesserte Zitationsgenauigkeit reduziert das Risiko von Halluzinationen und Fehlinformationen, was die Glaubwürdigkeit von KI-generierten Inhalten stärkt.
• Effizienzsteigerung: Die Fähigkeit, präzise Zitationen zu generieren und zu validieren, kann manuelle Überprüfungsaufwände minimieren und so die Effizienz in der Content-Produktion steigern.
• Flexible Ressourcennutzung: Die reduzierten Anforderungen an vollständige Dokumente und die Möglichkeit, kontextbezogen Informationen abzurufen, optimieren den Einsatz von Rechenressourcen und Token-Budgets.
• Qualitätssicherung in der Forschung: Insbesondere im wissenschaftlichen und technischen Bereich, wo präzise Referenzierung unerlässlich ist, kann CiteGuard als wertvolles Werkzeug zur Qualitätssicherung dienen.

Fazit

Die Entwicklung von CiteGuard stellt einen wichtigen Fortschritt in der Bewältigung der Herausforderungen dar, die mit der Zitationsgenauigkeit von Großen Sprachmodellen verbunden sind. Durch seinen retrieval-gestützten Validierungsansatz und die Einführung intelligenter Retrieval-Aktionen erreicht CiteGuard eine bemerkenswerte Leistung, die nahe an die menschliche Genauigkeit heranreicht. Dies eröffnet neue Perspektiven für die vertrauenswürdige und effiziente Nutzung von LLMs in anspruchsvollen B2B-Anwendungen, insbesondere in Bereichen, in denen die Verlässlichkeit von Quellen von größter Bedeutung ist.

Bibliographie

- Choi, Y. M., Guo, X., Wang, Q., et al. (2025). CiteGuard: Faithful Citation Attribution for LLMs via Retrieval-Augmented Validation. arXiv preprint arXiv:2510.17853. - Gangwani, I., & Bansal, A. (2025). CiteGuard: Retrieval-Augmented Citation Verification for LLM-Powered Peer Review. NeurIPS 2025 Workshop AI4Science. - Cohen-Wang, B., Shah, H., Georgiev, K., & Madry, A. (2024). ContextCite: Attributing Model Generation to Context. arXiv preprint arXiv:2409.00729. - Qi, J., Sarti, G., Fernández, R., & Bisazza, A. (2024). Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing. - Shen, J., Zhou, T., Chen, Y., Liu, K., & Zhao, J. (2025). CiteLab: Developing and Diagnosing LLM Citation Generation Workflows via Human-LLM Interaction. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations). - HITsz-TMG. (2023). A Survey of Attributions for Large Language Models. GitHub repository.