Benchmark findet erhebliche Mängel in KI-generierten Forschungsarbeiten

Keine Einreichung erfüllte sämtliche Anforderungen

Das zentrale Ergebnis ist deutlich: Keine der 135 Folgearbeiten erfüllte sämtliche Bedingungen des Benchmarks. 114 Einreichungen fielen bei der Integritätsprüfung durch – rund 84 Prozent der Gesamtzahl. Die häufigsten Beanstandungen betrafen laut der detaillierteren Auswertung Abweichungen zwischen Paper und Code (90 Einreichungen), Zahlen, die den dokumentierten Belegen widersprachen (85), sowie Behauptungen über Arbeiten, die nicht tatsächlich ausgeführt worden waren (68). Diese Fehlerkategorien überschneiden sich und dürfen daher nicht zu einer Gesamtzahl addiert werden. [1][2][3]

Auch bei den anderen Prüftoren zeigten sich Lücken. Unter strenger Bewertung war nur eine Einreichung vollständig; sie bestand zugleich die Integritätsprüfung. Keine Arbeit erreichte dagegen die fachliche Schwelle der Suffizienz. Bei den richtungsspezifischen Kriterien wurden insbesondere nicht erfüllte Methoden- oder Protokollanforderungen (120 Einreichungen), unzureichende Analyse oder Erklärung (104) und fehlende wissenschaftliche Zielsetzungen (83) beanstandet. [3]

Ein einzelner Bestwert ändert das Gesamtbild nicht: Der im Benchmark am stärksten bewertete Agent bestand die strenge Integritätsprüfung bei 11 von 15 Einreichungen. Dennoch bestand keine seiner Arbeiten – ebenso wie die Einreichungen der übrigen Agenten – alle drei Prüftore zugleich. Integrität allein war demnach nicht gleichbedeutend mit erfolgreicher Forschung im Sinne der gestellten Aufgaben. [3]

Beanstandete Aussagen sind nicht automatisch Täuschungsabsicht

Die Fehlerbefunde verlangen eine präzise Einordnung. Die Prüfergebnisse beschreiben, dass Aussagen nicht zu Code oder Protokollen passten, Zahlen durch die vorhandenen Aufzeichnungen nicht gestützt wurden oder eine Arbeit als erledigt dargestellt wurde, obwohl die verlangten Nachweise fehlten. Daraus lässt sich nicht ableiten, dass ein Agent absichtlich getäuscht hat. Die Auswertung erfasst Verstöße gegen die festgelegten Kriterien, nicht die Absicht hinter einer Ausgabe. [3]

Für Organisationen, die KI-Agenten in Forschungs- oder Entwicklungsabläufen erproben, ist diese Unterscheidung wichtig: Ein formal überzeugender Bericht kann nicht als Nachweis gelten, dass die beschriebenen Experimente stattgefunden haben. Als Analyse legt der Benchmark nahe, Ergebnisse mit ausführbarem Code, Protokollen und nachvollziehbaren Zahlen zu verknüpfen und diese Belege unabhängig vom Fließtext zu prüfen. Diese Schlussfolgerung orientiert sich an den im Benchmark festgestellten Diskrepanzen; sie ist keine Aussage darüber, dass jedes KI-System in jeder Forschungsumgebung dieselben Fehler aufweist. [3][4]

Rubriken helfen bei der Prüfung, ersetzen aber keine Fachbegutachtung

Eine zentrale methodische Frage lautet, ob ein automatisierter Prüfer lediglich die Kriterien bestätigt, die zuvor für ihn formuliert wurden. Die Autoren ließen deshalb Fachwissenschaftler anonymisierte KI-Arbeiten bewerten und verglichen ihre Rückmeldungen mit den Rubriken. Laut der Zusammenfassung auf alphaXiv erfasste die Rubrikpipeline alle 41 Expertenkritiken dazu, ob eine Folgearbeit ihre vorgegebene Forschungsrichtung erfüllt hatte. [3]

Weniger vollständig war die Abdeckung bei Bewertungen der wissenschaftlichen Qualität und möglichen Bedeutung. Die Rubriken deckten 75,34 Prozent dieser Expertenkritikpunkte ab; bei 63,64 Prozent stimmten die Rubrikenbewertungen mit den Kritikpunkten überein, im Durchschnitt pro Paper waren es 68,68 Prozent. Die Autoren positionieren das Verfahren damit als prüfbares Instrument für notwendige Anforderungen, nicht als vollständigen Ersatz für ein Urteil über wissenschaftliche Qualität, Argumentation oder Bedeutung. [3]

Das ist für die Interpretation der Erfolgsquote relevant: Der Benchmark zeigt, wie die getesteten Einreichungen unter einer konkreten, von Fachleuten definierten Rubrik abschneiden. Er misst nicht sämtliche Dimensionen wissenschaftlicher Leistung. Die Prüfung durch Fachpersonen bleibt nach der Einordnung der Autoren erforderlich, wenn über die Erfüllung formaler Anforderungen hinaus der wissenschaftliche Wert einer Arbeit beurteilt werden soll. [3]

Was die Ergebnisse für Unternehmen nahelegen

Für Unternehmen, die KI-Agenten in Forschung, Materialentwicklung oder datenintensiver Produktentwicklung einsetzen, ist die wichtigste praktische Konsequenz keine pauschale Ablehnung solcher Systeme, sondern eine klare Trennung von Textproduktion und verifizierter Arbeit. Der Benchmark prüfte neben dem Manuskript auch Code, Daten und Ausführungsnachweise; gerade die Widersprüche zwischen diesen Bestandteilen gehörten zu den häufigsten Beanstandungen. [3][4]

Als Analyse spricht das für Arbeitsabläufe, in denen ein Agent seine Aussagen direkt mit überprüfbaren Ergebnissen verknüpfen muss und in denen Vollständigkeit, Nachvollziehbarkeit und fachliche Zielerreichung getrennt geprüft werden. Ein erzeugter Forschungsbericht sollte demnach nicht allein deshalb als belastbar gelten, weil er schlüssig formuliert ist. Ob diese Prüfarchitektur in einem konkreten Unternehmensprozess angemessen ist, hängt allerdings von den dort geltenden Fachstandards und Risiken ab; dazu liefert der Benchmark keine allgemeingültige Vorgabe. [3]

Ebenso wenig lässt sich aus den Resultaten ein Vergleich der kommerziellen Leistungsfähigkeit bestimmter Agenten ableiten. Die veröffentlichte Zusammenfassung berichtet über neun getestete Systeme und die Ergebnisse im Benchmark, liefert in den hier verfügbaren Angaben aber keine Grundlage für eine allgemeine Rangliste oder Aussagen zu Kosten und Produktivitätsgewinnen. Entscheidend ist vielmehr, dass selbst eine bestandene Integritätsprüfung keine Garantie dafür war, die wissenschaftlichen Erfolgskriterien zu erfüllen. [1][3]

Begrenzter Geltungsbereich und vorläufiger Publikationsstatus

Die Aussagekraft des Benchmarks ist durch seinen Umfang begrenzt. Untersucht wurden 15 rechnergestützte Aufgaben in fünf Wissenschaftsgebieten, die in Code bearbeitet werden konnten. Die Ergebnisse belegen deshalb nicht, wie Agenten bei allen Arten wissenschaftlicher Arbeit oder bei nicht rechnergestützten Forschungsaufgaben abschneiden würden. Auch die Aussage, dass keiner der getesteten Agenten die Anforderungen erfüllte, bezieht sich auf diese Aufgaben und das angewandte Bewertungsverfahren – nicht auf die grundsätzliche Möglichkeit, dass KI-Systeme Forschung unterstützen können. [2][3]

Der arXiv-Eintrag kennzeichnet den Beitrag als Preprint unter Begutachtung und nennt den 13. Oktober 2026 als Einreichungsdatum. Die Hugging-Face-Seite führt den 12. Oktober als Veröffentlichungsdatum und den 19. Oktober als Datum der Einreichung auf der Plattform. Diese Metadaten weichen voneinander ab und erlauben keine eindeutige Rekonstruktion der Veröffentlichungsschritte; der Status als begutachteter Zeitschriften- oder Konferenzbeitrag ist damit nicht belegt. [1][2]

Das Projektverzeichnis stellt Aufgabenmaterialien, Ergebnisse und Bewertungen bereit und beschreibt den Code unter der Apache-2.0-Lizenz. Zugleich weist es darauf hin, dass die ursprünglichen Forschungsarbeiten weiterhin den jeweiligen Rechtebedingungen ihrer Autoren und Verlage unterliegen. [4]

Quellen

1. [1] Paper page - Into the Unknown: Benchmarking AI agents on open scientific research problems — https://huggingface.co/papers/2610.19159 (abgerufen am 2026-10-19)
2. [2] [2610.19159] Into the Unknown: Benchmarking AI agents on open scientific research problems — https://arxiv.org/abs/2610.19159 (abgerufen am 2026-10-19)
3. [3] Into the Unknown: Benchmarking AI agents on open scientific research problems | alphaXiv — https://www.alphaxiv.org/abs/2610.19159 (abgerufen am 2026-10-19)
4. [4] GitHub - prometheus-eval/into-the-unknown: Official code repository for "Into the Unknown: Benchmarking AI agents on open scientific research problems" · GitHub — https://github.com/prometheus-eval/into-the-unknown (abgerufen am 2026-10-19)