Fortschritte und Herausforderungen bei der Dokumentenabfrage durch KI-Agenten

Die Fähigkeit von KI-Agenten, komplexe Fragen auf der Grundlage grosser Dokumentensammlungen zu beantworten, hat in den letzten Jahren erhebliche Fortschritte gemacht. Doch eine aktuelle Untersuchung der Mindverse-Analysten, basierend auf dem neuen MADQA-Benchmark, offenbart eine bemerkenswerte Diskrepanz: Während die besten KI-Systeme eine ähnliche Genauigkeit wie menschliche Sucher erreichen können, tun sie dies oft durch einen "Brute-Force"-Ansatz, der schwache strategische Planung durch umfangreiche, nicht immer effiziente Suche kompensiert.

Strategische Navigation oder stochastische Suche?

Der MADQA-Benchmark und seine Erkenntnisse

Der MADQA-Benchmark (Multimodal Agentic Document Question Answering) wurde entwickelt, um die strategischen Denkfähigkeiten multimodaler Agenten zu bewerten. Er umfasst 2.250 von Menschen erstellte Fragen, die sich auf 800 heterogene PDF-Dokumente beziehen. Die Studie zeigt, dass die besten Agenten zwar die Genauigkeit menschlicher Sucher erreichen, aber bei der Art der Fragen, die sie erfolgreich beantworten, sowie bei ihrer Vorgehensweise signifikante Unterschiede aufweisen.

Die zentrale Erkenntnis ist, dass diese Agenten dazu neigen, sich auf eine "Brute-Force"-Suche zu verlassen, um mangelnde strategische Planung auszugleichen. Dies führt zu ineffizienten Schleifen und einer Leistungsdifferenz von fast 20 % gegenüber einer optimalen ("Oracle") Leistung. Das bedeutet, dass die Modelle zwar die richtigen Antworten finden können, aber oft nicht auf dem effizientesten oder intelligentesten Weg.

DeepSearchQA: Eine Erweiterung der Bewertung

Ein ähnlicher Ansatz wird im DeepSearchQA-Benchmark verfolgt, der darauf abzielt, die umfassende Suchfähigkeit von Agenten zu bewerten. Im Gegensatz zu traditionellen Benchmarks, die oft auf die Beantwortung einzelner Fragen abzielen, konzentriert sich DeepSearchQA auf die Fähigkeit von Agenten, komplexe Suchpläne auszuführen und umfassende Antwortlisten zu generieren. Dieser Benchmark testet drei entscheidende, oft unterbewertete Fähigkeiten:

• Systematische Sammlung: Die Fähigkeit, fragmentierte Informationen aus verschiedenen Quellen zusammenzutragen.
• Entitätsauflösung: Das Erkennen identischer Entitäten trotz unterschiedlicher Darstellungsformen.
• Abbruchkriterien: Die Fähigkeit zu beurteilen, wann eine Suche abgeschlossen ist, ohne ein explizites Beendigungssignal.

Die Ergebnisse von DeepSearchQA bestätigen die Beobachtungen des MADQA-Benchmarks: Auch hier zeigen fortschrittliche Modelle wie der Gemini Deep Research Agent und GPT-5 Pro High Reasoning zwar hohe Genauigkeitsraten, aber auch Schwächen bei der Balance zwischen Präzision und Vollständigkeit. Ein signifikanter Anteil der Fehler ist auf "Unter-Retrieval" (nicht alle relevanten Informationen finden) oder "Über-Retrieval" (Halluzinationen oder irrelevante Informationen hinzufügen) zurückzuführen.

Herausforderungen und Lösungsansätze

Die "Last Mile Problem"-Herausforderung

Die Diskrepanz zwischen der F1-Score (einem ausgewogenen Mass für Präzision und Recall) und der Rate der "vollständig korrekten" Antworten wird als "Last Mile Problem" bezeichnet. Ein hoher F1-Score kann erreicht werden, wenn ein Agent die meisten Informationen findet, aber die vollständige Korrektur und Filterung von irrelevanten Daten oft nicht gelingt. Dies unterstreicht die Notwendigkeit strenger, set-basierter Metriken, die nicht nur die Vollständigkeit, sondern auch die Korrektheit und Relevanz der gefundenen Informationen bewerten.

WebDetective: Hint-freie Multi-Hop-Fragen

Ein weiterer Benchmark, WebDetective, beleuchtet eine spezifische Schwäche aktueller Modelle: ihre Schwierigkeit bei der Beantwortung von "hint-freien" Multi-Hop-Fragen. Diese Fragen enthalten keine direkten Hinweise auf den Lösungspfad oder spezifische Attribute, die die Antwort eingrenzen könnten. Stattdessen müssen die Agenten den relevanten Kontext und die Argumentationsketten autonom entdecken.

Die Evaluierung von 25 hochmodernen Modellen mit ReAct-ähnlicher Tool-Nutzung zeigt, dass selbst die besten Systeme nur etwa 50 % Genauigkeit erreichen. Dies deutet darauf hin, dass die Informationssynthese, und nicht nur das Abrufen, ein entscheidender Engpass ist. Modelle zeigen zudem eine geringe Fähigkeit zur angemessenen Verweigerung einer Antwort, wenn Evidenz fehlt, und tendieren stattdessen zu Halluzinationen.

Neue Architekturen und Strategien

Um diesen Herausforderungen zu begegnen, werden verschiedene innovative Ansätze entwickelt:

• MACT (Multi-Agent Collaboration framework with Test-Time scaling): Dieser Rahmen nutzt vier spezialisierte Agenten (Planung, Ausführung, Bewertung, Antwort), die zusammenarbeiten, um visuelle Dokumente zu verstehen und Fragen zu beantworten. Ein dedizierter Bewertungsagent überprüft die Korrektheit und leitet bei Fehlern zur Überarbeitung an frühere Agenten zurück.
• EvidenceLoop: Dieser agentische Workflow integriert Kontextbindung, Speicherverwaltung und Verifizierungsschritte, um die Kohärenz der Argumentation über längere Suchverläufe zu gewährleisten. Er zielt darauf ab, die Entdeckung von Evidenzketten explizit zu unterstützen und Halluzinationen vorzubeugen.
• S3-Attention (Sparse & Semantic Streaming Attention): Dieser Ansatz adressiert das Problem der Speicherbegrenzung bei langen Kontexten, indem er interne Aufmerksamkeitszustände des Modells in spärliche, semantische Merkmale zerlegt. Dies ermöglicht ein "endogenes Retrieval", bei dem das Modell Evidenz unter Verwendung seiner eigenen internen Signale abruft, anstatt sich auf externe, potenziell fehlausgerichtete Retrieval-Methoden zu verlassen.

Implikationen für die Entwicklung von KI-Agenten

Die gewonnenen Erkenntnisse sind für die Weiterentwicklung von KI-Agenten von grosser Bedeutung. Sie zeigen, dass reine Leistungsmetriken, wie die Genauigkeit, oft nicht ausreichen, um die wahren Fähigkeiten und Schwächen von Modellen zu erfassen. Eine tiefgehende Analyse der Fehlerursachen – sei es unzureichende Suche, mangelnde Synthesefähigkeit oder das Fehlen angemessener Abbruchkriterien – ist entscheidend.

Die Entwicklung von Benchmarks wie MADQA, DeepSearchQA und WebDetective, die auf die Messung strategischer Planung, umfassender Informationsbeschaffung und hint-freier Argumentation abzielen, ist ein wichtiger Schritt, um KI-Systeme zu schaffen, die nicht nur korrekt, sondern auch effizient und intelligent agieren. Insbesondere die Fähigkeit zur Selbstkorrektur und zur kalibrierten Verweigerung einer Antwort bei Unsicherheit erweist sich als kritischer Faktor für robuste und vertrauenswürdige KI-Agenten.

Für Unternehmen, die KI-Lösungen implementieren, bedeuten diese Entwicklungen, dass die Auswahl und Bewertung von KI-Agenten über oberflächliche Genauigkeitswerte hinausgehen muss. Es ist wichtig, die zugrunde liegenden Mechanismen und die Robustheit der Modelle gegenüber komplexen und unstrukturierten Daten zu verstehen. Die Fähigkeit, aus grossen Dokumentenmengen nicht nur Informationen zu extrahieren, sondern diese auch strategisch zu verknüpfen, zu synthetisieren und fundierte Entscheidungen zu treffen, wird zum entscheidenden Wettbewerbsvorteil.

Fazit

Die aktuelle Forschung zeigt, dass die Entwicklung von KI-Agenten, die menschliche Argumentationsfähigkeiten wirklich nachahmen, noch vor grossen Herausforderungen steht. Die besten Modelle erreichen zwar beeindruckende Genauigkeiten, verlassen sich aber oft auf ressourcenintensive Methoden und zeigen Schwächen bei der strategischen Planung und der epistemischen Bescheidenheit. Die neuen Benchmarks und innovativen Architekturen bieten jedoch einen klaren Weg, um diese Lücken zu schliessen und die nächste Generation wirklich intelligenter und autonomer KI-Agenten zu entwickeln.

Bibliography

- Borchmann, Ł., Van Landeghem, J., Turski, M., Padarha, S., Kearns, R. O., Mahdi, A., ... & Datta, A. (2026). Strategic Navigation or Stochastic Search? How Agents and Humans Reason Over Document Collections. arXiv preprint arXiv:2603.12180. - DeepSeek-AI et al. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv preprint arXiv:2501.12948. - Gupta, N., Chatterjee, R., Haas, L., Tao, C., Wang, A., Liu, C., ... & Das, D. (2026). DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents. arXiv preprint arXiv:2601.20975. - Han, S., Xia, P., Zhang, R., Sun, T., Li, Y., Zhu, H., & Yao, H. (2025). MDocAgent: A Multi-Modal Multi-Agent Framework for Document Understanding. arXiv preprint arXiv:2503.13964. - Gor, M., Daumé III, H., Zhou, T., & Boyd-Graber, J. (2024). Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 21533-21564. - Ma, Q., Wang, D., Wang, Y., Ning, L., Zhu, S., Zhang, X., ... & He, Z. (2026). S3-Attention: Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference. arXiv preprint arXiv:2601.17702. - Song, M., Liu, R., Wang, X., Jiang, Y., Xie, P., Huang, F., Poria, S., & Zhou, J. (2025). Demystifying Deep Search: A Holistic Evaluation with Hint-free Multi-Hop Questions and Factorised Metrics. arXiv preprint arXiv:2510.05137. - Yu, X., Chen, Z., Zhang, Y., Lu, S., Shen, R., Zhang, J., ... & Yan, S. (2025). Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling. arXiv preprint arXiv:2508.03404.