Benchmark zeigt Schwächen von KI-Agenten bei wissenschaftlichen Schlüsselentscheidungen

Der Benchmark konzentriert sich auf schwierige Fälle

Die 248 Fälle wurden aus einem größeren Bestand ausgewählt, für den während der Konstruktion zahlreiche Modellantworten gesammelt wurden. Behalten wurden vor allem Entscheidungen, bei denen Antworten zwischen dem ursprünglichen und dem korrigierten Plan variierten. Vier Fälle, bei denen diese Variation fehlte, nahmen die Autoren nach einer zusätzlichen Prüfung der Dokumentation auf. Sie beschreiben das Ergebnis ausdrücklich als diagnostischen Benchmark für Entscheidungen, bei denen Modelle uneins sind. [2]

Diese Auswahl ist für die Interpretation zentral. Sie macht den Test zu einer gezielten Prüfung problematischer oder umstrittener Entscheidungen, nicht zu einer repräsentativen Stichprobe aller Forschungsaufgaben oder aller Agentenentscheidungen. Die gemessene Genauigkeit lässt sich daher nicht unmittelbar als allgemeine Erfolgsquote autonomer Forschung lesen. Sie zeigt vielmehr, wie getestete Modelle in einer bewusst herausfordernden Auswahl von dokumentierten Korrekturfällen abschneiden. [2]

Insgesamt verteilen sich die Fälle auf angewandte Mathematik und wissenschaftliches Rechnen, Robotik und Regelung, KI und maschinelles Lernen, biologische Bildgebung, Mechanik und Materialwissenschaften sowie Geowissenschaften. Die größten Gruppen sind angewandte Mathematik und wissenschaftliches Rechnen mit 85 Fällen, Robotik und Regelung mit 58 sowie KI und maschinelles Lernen mit 59. Die übrigen Felder sind mit deutlich weniger Fällen vertreten, darunter fünf Fälle aus den Geowissenschaften. [2]

Vier von fünf Modellen lagen im zentralen Test unter Zufallsniveau

Bei mittlerem Reasoning-Aufwand und Zugriff auf die Projektunterlagen bevorzugten vier der fünf getesteten Frontier-Modelle häufiger den ursprünglichen Agentenplan als die menschlich korrigierte Alternative. Auf den ausgewählten Fällen lagen diese vier Modelle damit unter der Zufallsmarke für eine binäre Auswahl. Die höchste Genauigkeit, die ein Modell in der Projektbedingung über die getesteten Reasoning-Einstellungen erreichte, betrug 63,5 Prozent. [1] [2]

Als Vergleich erreichten neu hinzugezogene Forschende 73,4 Prozent Genauigkeit. Dieser Wert ist ein menschlicher Referenzwert aus dem Benchmark-Protokoll und sollte nicht mit einer umfassenden Messung menschlicher Forschungsleistung verwechselt werden. Die verfügbaren Angaben belegen einen Unterschied innerhalb dieses Tests, nicht, dass menschliche Fachleute bei jeder Forschungsentscheidung zuverlässiger als Modelle wären. [1] [2]

Die Ergebnisse deuten außerdem darauf hin, dass zusätzliche Informationen nicht automatisch helfen: Bei mittlerem Aufwand erzielte jedes der fünf Modelle mit Projektunterlagen eine niedrigere Genauigkeit als ohne diese Unterlagen. Auch erneutes Überdenken der Antwort verbesserte die Gesamtgenauigkeit nicht konsistent. Die Befunde beschreiben die getesteten Modelle, Fälle und Einstellungen; sie belegen nicht, dass Kontext oder längeres Nachdenken grundsätzlich schaden. [1] [2]

Fehler entstehen oft vor dem nächsten Rechenlauf

Die Kategorien des Benchmarks zeigen, welche Arten von Urteil gefragt sind. Dazu zählen Planung, Anpassung an frühere Ergebnisse, das Erkennen von Auffälligkeiten, die Einschätzung, ob Belege für eine Schlussfolgerung ausreichen, sowie die Ausrichtung auf die eigentliche Forschungsfrage. Die Kategorien überschneiden sich: Ein einzelner Fall kann mehr als eine Art von Fehlurteil betreffen. [2]

Ein Beispiel betrifft ein Projekt zu Sprachmodellen, in dem ein kleineres Modell auf mehreren Testgruppen null Punkte erzielte. Der Agent schlug vor, auf ein größeres Modell umzusteigen. Die Forschenden ließen das kleinere Modell zunächst bestehen und prüften die Auswertung. Eine spätere Kontrolle zeigte, dass der Scorer Antworten nicht korrekt aus dem generierten Text extrahiert hatte. Ein Modellwechsel bei unverändertem Scorer hätte den Messfehler nicht behoben. [2]

In einem zweiten Beispiel ging es um die Simulation von Stoff. Ein Agent hielt vier von sechs Parametern bei null und wollte die Suche nach passenden Werten für die übrigen Parameter verfeinern. Die Forschenden forderten stattdessen, alle sechs Parameter zu fitten und den eingeschränkten Ansatz als Vergleich zu behandeln. Nach Darstellung des Papers beruhte die Einschränkung auf einer früheren Agentenentscheidung und nicht auf einer Messung, die die Nullwerte bestätigte. [2]

Mehr Kontext und Überprüfung lösen das Problem nicht zuverlässig

Die Autoren benennen einen weiteren Effekt: Bei zusätzlicher Überprüfung kann ein Modell eine zunächst richtige Wahl wieder zurücknehmen und zum zuvor verworfenen Plan zurückkehren. Das Paper bezeichnet dieses Muster als „re-trapping“. Es macht deutlich, dass ein weiterer Denk- oder Prüfungsdurchgang nicht automatisch eine stabilere Entscheidung hervorbringt. [2]

Auch mehr Regeln und automatisierte Kontrollen greifen nach Einschätzung der Autoren zu kurz, wenn sie nicht festlegen, welche Annahme angesichts konkreter Ergebnisse überprüft werden sollte. Eine Anweisung, eine Messung zu kontrollieren, sagt noch nicht, wo ein Fehler liegt oder welcher Test ihn sichtbar machen kann. Das ist eine im Paper formulierte Begründung für den Fokus auf kontextbezogene Urteilskraft; sie belegt nicht, dass technische Prüfmechanismen generell nutzlos wären. [2]

Für Unternehmen mit automatisierten F&E-Workflows ergibt sich daraus eine begrenzte, aber praktische Schlussfolgerung: Die Verfügbarkeit von Laufzeit, Rechenressourcen und Projektkontext sollte nicht mit der Fähigkeit gleichgesetzt werden, wissenschaftlich sinnvolle nächste Schritte auszuwählen. Wo Entscheidungen teure oder lang laufende Experimente auslösen, spricht der Benchmark dafür, die Qualität solcher Entscheidungen gesondert zu prüfen. Das ist eine Analyse der Testergebnisse und kein im Paper nachgewiesener Produktivitäts- oder Kosteneffekt. [1] [2]

Ein ergänzender Test, kein Gesamturteil über Forschungsagenten

SciΠvot ergänzt Benchmarks, die andere Abschnitte wissenschaftlicher Arbeit prüfen. Die Autoren unterscheiden etwa Aufgaben zur Reproduktion veröffentlichter Experimente, zur Optimierung klar definierter Forschungsziele oder zur Ausführung wissenschaftlicher Daten-Workflows. SciΠvot konzentriert sich dagegen auf die Auswahl zwischen einem ursprünglichen und einem menschlich korrigierten Forschungsplan, gestützt auf den Projektstand vor dem Eingriff. [2]

Diese Eingrenzung ist zugleich die Stärke und die Grenze des Ansatzes. Sie erlaubt, Entscheidungen aus realen, länger laufenden Projekten zu untersuchen, statt nur abstrakte Szenarien vorzugeben. Sie beantwortet aber nicht, wie häufig solche Fehler in der gesamten Forschung auftreten, ob ein Agent ohne vorgelegte Alternativpläne selbst eine bessere Korrektur formulieren kann oder wie die Ergebnisse auf andere Projekte übertragbar sind. Die Autoren betonen, dass die ausgewählten Fälle keine allgemeine Messung wissenschaftlicher Entscheidungen darstellen. [2]

Die Veröffentlichung liegt als arXiv-Version vor; die Hugging-Face-Seite führt den Eintrag als am 14. Oktober veröffentlicht, während die arXiv-Version mit dem Datum 15. Oktober 2026 gekennzeichnet ist. Die abweichenden Datumsangaben ändern die berichteten Ergebnisse nicht, sollten aber bei einer zeitlichen Einordnung berücksichtigt werden. [1] [2]

Der zentrale Beitrag des Papers ist damit zunächst methodisch: Menschliche Eingriffe aus längeren Forschungsprojekten werden in überprüfbare Vergleichsfälle übersetzt. Die Resultate weisen auf Schwierigkeiten heutiger Modelle bei ausgewählten Entscheidungen hin und liefern einen Ansatz, solche Fähigkeiten systematischer zu untersuchen. Ob ein Training mit diesen Fällen die Forschungsleistung auf neuen Projekten verbessert oder den Bedarf an menschlicher Aufsicht senkt, ist durch die berichteten Benchmark-Ergebnisse noch nicht belegt. [1] [2]

Quellen

1. [1] Paper page - SciΠvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents — https://huggingface.co/papers/2610.21082 (abgerufen am 2026-10-19)
2. [2] SciΠvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents — https://arxiv.org/html/2610.21082 (abgerufen am 2026-10-19)