Schwächen autonomer KI-Agenten in der wissenschaftlichen Forschung: Eine kritische Analyse

Führende KI-Unternehmen wie Anthropic und OpenAI haben in jüngster Zeit die Fähigkeit ihrer Modelle hervorgehoben, den Prozess der KI-Forschung erheblich zu beschleunigen oder sogar autonom durchzuführen. Eine neue, umfassende Studie unter der Leitung der Princeton University, in Zusammenarbeit mit dem UK AI Security Institute, liefert nun jedoch eine differenziertere Perspektive auf diese ambitionierten Behauptungen. Die Untersuchung, die auf einer neuartigen Bewertungsmethode basiert, legt nahe, dass, während KI-Agenten ingenieurtechnische Aspekte der Forschung bewältigen können, ihnen entscheidende Fähigkeiten im wissenschaftlichen Urteilsvermögen und in der offenen Problemlösung fehlen.

Bewertung autonomer KI-Forschung: Eine neue Methode

Die Autoren der Studie argumentieren, dass bisherige Evaluationen autonomer KI-Forschung oft auf eng definierte, überprüfbare Aufgaben beschränkt waren oder sich auf Peer-Review-Verfahren stützten, die als "überdehnt, stochastisch und von geringer Überprüfungsqualität" kritisiert werden. Um diese Einschränkungen zu überwinden, entwickelten die Forscher einen Ansatz namens "Shadow Evaluation".

Die Shadow-Evaluation-Methode

Bei der "Shadow Evaluation" erhielten KI-Agenten die Kernforschungsfrage eines unveröffentlichten wissenschaftlichen Papiers. Die ursprünglichen menschlichen Autoren dieser Papiere, die Monate mit der Erforschung dieser Fragen verbracht hatten, bewerteten anschließend die von der KI generierten Ergebnisse. Da die Forschungsergebnisse noch nicht online verfügbar waren, konnte die KI nicht auf bereits vorhandene Trainingsdaten zurückgreifen, was eine echte Testumgebung für ihre Fähigkeiten schuf.

Für die Experimente kooperierte das Team mit den Autoren zweier Einreichungen für die NeurIPS 2026 Konferenz. Die erste Arbeit untersuchte, wie Persönlichkeitsmerkmale von Sprachmodellen durch deren Gewichtungen gesteuert werden können. Die zweite entwickelte eine Methode namens TabPFN, die erkennt, wenn ein tabellarisches Vorhersagemodell auf Einsatzdaten trifft, die stark von seinen Trainingsdaten abweichen und dessen Genauigkeit beeinträchtigen.

Experimentelle Durchführung

Die Hauptexperimente wurden mit Claude Opus 4.8 mit Extra-High Reasoning durchgeführt. Jeder Agent erhielt ein Zeitfenster von sechs Tagen, ein API-Budget von 3.000 US-Dollar, ein GPU-Budget sowie vollen Zugang zu einer virtuellen Maschine und dem offenen Web. Die Agenten operierten innerhalb eines "Scaffolds", einer Softwareumgebung, die Modellaufrufe orchestriert und Werkzeuge bereitstellt. Dies ermöglichte es dem Modell, Aufgaben an Sub-Agenten zu delegieren und die eigene Ressourcennutzung zu überwachen. Externe KI-Review-Tools konnten ebenfalls konsultiert werden.

Als Framework wurde OpenClaw verwendet, ein Open-Source-Agenten-Framework. Der Kern-Agent startete Sub-Agenten und langlaufende GPU-Jobs, wobei ein automatischer "Heartbeat" vom Scaffold ihn weckte, sobald Jobs abgeschlossen waren, um Ergebnisse zu sammeln.

Die Ergebnisse dieser Bewertung waren eindeutig: Die Originalautoren bewerteten die von der KI erstellten Papiere als Konferenz-Gutachter und lehnten beide ab. Eine der Arbeiten erhielt sogar ein "Strong Reject". Die Kritikpunkte umfassten unter anderem schlecht motivierte Daten und Experimente, unleserliche Prosa und das Fehlen neuer Beiträge. Ein Gutachter bezeichnete die Argumentation als einen "Beweis durch Beispiel"-Fehlschluss, der "höchst unwissenschaftlich" sei. Ein anderer nannte die experimentellen Entscheidungen "bizarr" und die Ergebnisse eindeutig das Produkt von "Post-hoc-Entscheidungen".

Systematische Schwachstellen autonomer KI-Agenten

Die Analyse der Agentenprotokolle deckte wiederkehrende und systematische Schwächen auf, die über die spezifischen Forschungsprobleme hinausgingen.

Mangelndes Urteilsvermögen und fehlende Kreativität

Den Agenten fehlte es an einem grundlegenden Urteilsvermögen darüber, was die Kriterien für eine publizierbare Forschung erfüllt. Sie generierten zwar plausible Hypothesen, verwarfen diese jedoch oft aufgrund kleiner, handverlesener oder synthetischer Datensätze. Darüber hinaus zeigten die Agenten Mängel in der kreativen Problemlösung. Wurden anfängliche Hypothesen falsifiziert, neigten die Agenten dazu, bestehende Behauptungen zu verengen, anstatt neue Richtungen zu verfolgen. Ihre internen KI-Reviews führten über fünfzehn Revisionsrunden hinweg nie zu einer einzigen Annahme, doch die Agenten gingen die Kernkritikpunkte nie wirklich an.

Ineffizientes Zurückverfolgen und Ressourcenmanagement

Auch das effektive Zurückverfolgen von Schritten gelang den Agenten nicht. Beide gaben ihre ambitioniertesten Forschungsziele innerhalb der ersten zehn Stunden auf. Im "Personas"-Durchlauf beendete der Agent seine Exploration bereits nach fünf Stunden, obwohl für diese Phase 36 bis 48 Stunden eingeplant waren.

Das Ressourcenbewusstsein war ebenfalls mangelhaft. Beide Durchläufe endeten mit weniger als der Hälfte des API-Budgets. Ein Agent erklärte das Projekt sieben Stunden vor Ablauf der Frist als abgeschlossen, kurz nachdem sein eigener Gutachter eine weitere Ablehnung zurückgegeben hatte.

Instruction Drift und formale Mängel

Die Agenten litten zudem unter einem "Instruction Drift", bei dem sie explizite Anweisungen über einen langen Kontext hinweg allmählich vergaßen. Beide Papiere überschritten die Längenbegrenzungen und wären bei NeurIPS direkt abgelehnt worden. Eine Arbeit enthielt keine einzige Visualisierung im Haupttext, während das von Menschen verfasste Original 15 Abbildungen aufwies. Meta AI beschrieb kürzlich ein eng verwandtes Phänomen, den "Behavioral State Decay", bei dem ein Agent eine Anforderung frühzeitig erkennt, sie aber später verletzt, während er einen unabhängigen Fehler behebt.

Ingenieurleistung versus wissenschaftliches Urteilsvermögen

Trotz der deutlichen Mängel im wissenschaftlichen Urteilsvermögen zeigten die KI-Agenten beeindruckende Fähigkeiten in den ingenieurtechnischen Aspekten der Forschung. Sie führten Literaturrecherchen durch, debuggten GPU-Code, absolvierten Hunderte von Experimenten und Robustheitstests und erstellten vollständige Papiere in LaTeX – all dies ohne menschliche Hilfe. Lediglich drei menschliche Interventionen waren erforderlich: eine Fehlerbehebung am Scaffold, eine Fristverlängerung und die Aufforderung zur Überarbeitung zwecks besserer Lesbarkeit.

Die Forscher stellten auch kein signifikantes "Reward Hacking" fest. Die Agenten manipulierten weder Ergebnisse noch verzerrten sie Daten, um bessere Bewertungen zu erzielen. Tatsächlich taten sie das Gegenteil: Sie begannen mit ambitionierten Behauptungen und korrigierten diese in Richtung negativer Ergebnisse.

Um die Zuverlässigkeit dieser Ergebnisse zu überprüfen, wiederholten die Forscher ein Experiment mit GPT-5.6 Sol und OpenAIs Codex-Scaffold. Dabei zeigten sich nahezu alle der zuvor beobachteten Fehlermuster. GPT-5.6 verbrauchte das Budget von 3.000 US-Dollar in etwas mehr als zwei Tagen, was zu unterdimensionierten Experimenten führte.

Diskrepanz zwischen Studienergebnissen und Laboransprüchen

Die Erkenntnisse dieser Studie stehen im Widerspruch zu den Aussagen führender KI-Labore. Anthropic veröffentlichte im Juni einen Beitrag mit dem Titel "When AI Builds Itself", in dem interne Daten zur Beschleunigung der eigenen Forschung geteilt und die Idee einer global koordinierten Entwicklungspause ("AI Pause") diskutiert wurde. OpenAI behauptete, GPT-5.6 Sol habe bei der Nachschulung eines kleineren Modells geholfen und den Forschern mehrere Wochen Arbeit erspart. Die Autoren der Studie merken an, dass dieser Beitrag nicht einmal in der 81-seitigen Systemkarte erwähnt wird.

Zwar verbesserte ein höherer Argumentationsaufwand die Qualität, wie vorläufige Tests ohne Argumentation zeigten. Die Forscher vermuten jedoch, dass mehr Zeit oder Rechenleistung die Ergebnisse nicht wesentlich verändern würden. Die Einwände der Gutachter zielten auf die Qualität der experimentellen Entscheidungen ab, nicht auf die Quantität.

Die Autoren der Studie kommen zu dem Schluss, dass aktuelle Modelle zwar die technische Seite der KI-Forschung bewältigen können, aber "keine wochenlangen, ergebnisoffenen KI-Forschungsfragen lösen können". Obwohl die Studie nur zwei Papiere umfasste und die Gutachter nicht "blind" waren (sie kannten sowohl ihre eigene Forschungsfrage als auch die Tatsache, dass sie KI-generierte Arbeiten bewerteten), waren die Ergebnisse derart eindeutig schwach, dass diese Einschränkungen das Gesamtbild wahrscheinlich nicht verändern. Das Team hat Gutachten, Protokolle und Agenten-Repositories online zur Verfügung gestellt, damit andere Forscher sich selbst ein Urteil bilden können.

Peer Review als unzureichender Maßstab

Frühere Behauptungen über autonome Forschungserfolge stützten sich fast ausschließlich auf angenommene Einreichungen, doch die bloße Annahme sagt wenig über die Forschungsqualität aus. "The AI Scientist-v2" von Sakana AI reichte 2025 drei Papiere bei einem ICLR-Workshop ein. Eines davon wurde mit einem Durchschnittswert von 6,33, knapp über der Schwelle, angenommen und nach der Überprüfung zurückgezogen, als die Forscher Zitierfehler feststellten. Die Akzeptanzraten bei Workshops liegen zwischen 60 und 70 Prozent, deutlich über den 20 bis 30 Prozent bei Hauptkonferenzen. Die "Shadow Evaluation" umgeht dieses Problem, indem sie die Bewertung wieder den Originalautoren überlässt.

Sakana AI hat im Juni 2026 ein spezielles Forschungslabor für rekursive Selbstverbesserung gegründet. Eine spätere Version des "AI Scientist" schrieb laut dem Unternehmen ein Papier, das das Peer Review bestand. Die zugehörige Forschung wurde im März 2026 in Nature veröffentlicht.

Die Suche nach KI, die neues Wissen schafft

Parallel zu diesen empirischen Ergebnissen wächst die Kritik. Tom Zahavy von Google Deepmind argumentiert in seinem Positionspapier "LLMs can't jump", dass Sprachmodellen der kognitive Mechanismus fehlt, um etwas wirklich Neues zu schaffen. Der "AI Scientist" kombiniert lediglich bestehende Konzepte, während DeepMinds AlphaEvolve zwar in der Optimierung glänzt, aber ein klares Fehlersignal benötigt, um zu funktionieren.

Jüngste mathematische Durchbrüche könnten dieser Ansicht zu widersprechen scheinen, tun dies aber wahrscheinlich nicht. Im Mai widerlegte ein OpenAI-Modell eine Vermutung über die Einheitsabstandsgeometrie, die Paul Erdős 1946 aufgestellt hatte. Der Fields-Medaillenträger Tim Gowers bezeichnete das Ergebnis als "Meilenstein in der KI-Mathematik". Kurz darauf löste Claude Mythos dasselbe Problem mit einem, wie Anthropic-Ingenieur Sholto Douglas es nannte, "niedlichen, einfachen Beweis". OpenAI bestätigte daraufhin Astra, eine neue Modellfamilie, die Berichten zufolge zehn offene Probleme in Mathematik und theoretischer Informatik gelöst hat, an denen das Fachgebiet mindestens ein Jahrzehnt lang feststeckte.

Mathematische Beweise sind jedoch Deduktion, die notwendige Schlussfolgerungen aus festen Regeln ableitet oder große Lösungsräume systematisch durchsucht. Das ist beeindruckend, aber es ist das, wofür aktuelle Modelle gebaut sind. Forschung erfordert auch Abduktion, den kreativen Sprung, der eine Ursache erfindet, um ein überraschendes Phänomen zu erklären. Neue Forschungsfragen zu formulieren, die richtigen Experimente zu entwerfen und aus den Ergebnissen belastbare Schlussfolgerungen zu ziehen – all dies können die heutigen Modelle noch nicht leisten.

Bibliografie

- Kirgis, P. et al. (2026). Can AI agents conduct open-ended AI research? Early evidence from two case studies. Preprint auf arXiv: https://arxiv.org/html/2607.27191v1 - Hutson, M. (2026). AI isn’t ready to research itself. Nature. https://www.nature.com/articles/d41586-026-02494-5 - Kemper, J. (2026). Study contradicts Anthropic and OpenAI claims that autonomous AI research is within reach. The Decoder. https://the-decoder.com/study-contradicts-anthropic-and-openai-claims-that-autonomous-ai-research-is-within-reach/ - Satterfield, R. (2026). AI Agents Master Research Engineering, Fail at Open-Ended Science: Princeton. Tech Times. https://www.techtimes.com/articles/322391/20260731/ai-agents-master-research-engineering-fail-open-ended-science-princeton.htm - Noah Intelligence. (2026). Princeton study reveals AI agents struggle with open-ended scientific judgement despite engineering feats. https://noah-news.com/princeton-study-reveals-ai-agents-struggle-with-open-ended-scientific-judgement/ - ArXivSignals. (2026). Can AI agents conduct open-ended AI research? Early evidence from two case studies. https://arxivsignals.io/papers/2607.27191 - Bisht, H. et al. (2026). Agentic AI Scientists Are Not Built For Autonomous Scientific Discovery. Preprint auf arXiv: https://arxiv.org/html/2605.08956 - Trehan, D. & Chopra, P. (2026). Why LLMs Aren’t Scientists Yet: Lessons from Four Autonomous Research Attempts. Preprint auf arXiv: https://arxiv.org/html/2601.03315v1 - METR. (2026). Summary of METR's predeployment evaluation of GPT-5.6 Sol. Blogpost von METR: https://metr.org/blog/2026-06-26-gpt-5-6-sol/ - Edwards, N. et al. (2026). REXBENCH: Can coding agents autonomously implement AI research extensions?. Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), S. 16380–16417. https://aclanthology.org/2026.acl-long.745.pdf