Physik-Benchmark trennt wissenschaftlichen Fortschritt von belastbarem Abschluss

Zwei Messgrößen trennen Teilfortschritt und vollständige Antwort

PhysClosureBench bewertet wissenschaftliche Arbeit auf zwei Ebenen. Der Atomic Score erfasst lokale Leistungen anhand von 20 aufgabenspezifischen Kriterien. Jedes Kriterium zählt einen halben Punkt; der Gesamtwert reicht somit von 0 bis 10. Die Kriterien sind fünf Funktionsbereichen zugeordnet: Formulierung des physikalischen und numerischen Problems, Erzeugung der geforderten Ausgaben, Identifikation relevanter Merkmale, Begründung des Mechanismus sowie Validierung und Anwendungsbereich. [2][4]

Der zweite Maßstab heißt Research Closure und reicht von RC0 bis RC4. RC4 bezeichnet den vollständigen Abschluss: Die für die konkrete Aufgabe erforderlichen Belege und Gültigkeitsbedingungen sind erfüllt. Bei RC3 ist die Hauptaussage zwar gestützt, doch bleiben wesentliche Validierungs- oder Anwendungsgrenzen offen. RC2 steht für eine teilweise Untersuchung, bei der zentrale Belege vorhanden sind, aber etwa der entscheidende Mechanismus ungeklärt bleibt. RC1 kennzeichnet eine begrenzte Untersuchung mit fehlendem wesentlichem Ergebnis; RC0 bedeutet, dass kein sinnvoller Abschluss erreicht wurde. [2][4]

Entscheidend ist, dass RC4 nicht einfach durch einen bestimmten Punktwert im Atomic Score erreicht wird. Die Abschlussstufe richtet sich nach den wissenschaftlichen Anforderungen der jeweiligen Aufgabe und danach, ob die fehlenden Elemente die Hauptaussage tragen. Ein hoher Teilwert kann daher mit einer unvollständigen Antwort einhergehen. Umgekehrt legt das Schema keine starre Arbeitsabfolge fest: Verschiedene Untersuchungswege können zum Abschluss führen, sofern sie die konkreten Anforderungen erfüllen. [2][4]

Gute Teilwerte reichen häufig nicht bis RC4

Die Forschenden prüften sieben Sprachmodelle: Claude-Opus-5, GPT-5.6-Sol, Kimi-K3, DeepSeek-V4.1-Flash, Qwen-3.8-Max, GLM-5.3-Flash und Gemini-3.1-Pro. Für jedes Modell wurden alle 50 Aufgaben dreimal unabhängig bearbeitet. Das ergibt insgesamt 1.050 bewertete Versuche, beziehungsweise 150 pro Modell. [2][4]

Claude-Opus-5 erreichte den höchsten mittleren Atomic Score: 6,29 von 10 Punkten. Zugleich kam das Modell in 32,7 Prozent seiner Versuche auf RC4. Damit ist es in der untersuchten Konfiguration das stärkste Modell nach beiden berichteten Kennzahlen – doch auch bei diesem Modell war vollständiger Abschluss in der Mehrzahl der Versuche nicht erreicht. Gemini-3.1-Pro lag mit einem mittleren Atomic Score von 2,85 und einer RC4-Quote von 0,7 Prozent am unteren Ende der berichteten Ergebnisse. [2][4]

Besonders deutlich wird die Differenz zwischen Fortschritt und Abschluss bei den leistungsstärkeren Versuchen: Über alle Modelle hinweg blieben 36,2 Prozent der Versuche mit mindestens 8 von 10 Punkten im Atomic Score unter RC4. Die Studie zeigt damit, dass ein hoher Bewertungswert für einzelne wissenschaftliche Leistungen nicht ausreicht, um eine vollständig begründete Antwort nachzuweisen. [1][2]

Auch die Wiederholbarkeit ist begrenzt. Für Claude-Opus-5 erreichten nur 18,0 Prozent der Aufgaben in allen drei unabhängigen Durchläufen RC4. Über alle sieben Modelle hinweg war die Zahl der Aufgaben, die ein Modell bei jeder der drei Wiederholungen vollständig abschloss, laut Abstract deutlich geringer als die Zahl der Aufgaben, bei denen es RC4 zumindest in einem Durchlauf erreichte. Die Kennzahlen beantworten also unterschiedliche Fragen: Eine erfolgreiche Einzelbearbeitung belegt nicht, dass derselbe Agent die Aufgabe zuverlässig erneut lösen kann. [1][4]

Belege, Interpretation und Gültigkeitsgrenzen sind Teil der Bewertung

Die Studie versteht wissenschaftlichen Abschluss nicht als bloße Richtigkeit eines einzelnen Outputs. Relevant ist, ob die Belege ausreichen, um die Forschungsfrage innerhalb des angegebenen physikalischen Geltungsbereichs zu beantworten. Die Autorinnen und Autoren führen als mögliche Ursachen für unvollständigen Abschluss die Fehlinterpretation erzeugter Ergebnisse und ungeklärte Grenzen der physikalischen Anwendbarkeit an. Das Abstract beschreibt diese Fehlerarten, liefert im bereitgestellten Textauszug aber keine Grundlage, um ihre Häufigkeit oder ihre Verteilung auf einzelne Modelle genauer zu beziffern. [1][2]

Diese Unterscheidung ist für die Einordnung der Punktzahlen wichtig. Ein Agent kann beispielsweise ein gefordertes Ergebnis erzeugen und dennoch nicht belegen, dass die daraus gezogene Erklärung mit den relevanten Bedingungen der Aufgabe vereinbar ist. Ebenso kann eine Schlussfolgerung für einen bestimmten Parameterbereich gelten, ohne dass ihre Übertragbarkeit auf einen anderen Bereich gezeigt wurde. Das sind Erläuterungen des Bewertungsprinzips; die konkreten Beispiele und Grenzen hängen jeweils von der Aufgabe ab. [2][4]

Die Benchmark-Aufgaben gehen laut Studie auf veröffentlichte Physikarbeiten zurück. Fachleute prüften die Aufgaben und Rubriken; zudem reproduzierten die Forschenden die zugrunde liegenden Quellergebnisse manuell, bevor sie Aufgaben aufnahmen. Diese Reproduktionen dienten auch dazu, die verfügbaren Rechen- und Zeitbudgets festzulegen. Die Agenten arbeiteten in isolierten, netzwerkfreien Umgebungen mit aufgabenspezifischen CPU- und Zeitlimits. [4]

Bewertung mit Sprachmodell und begrenzter Expertenstichprobe

Die Auswertung erfolgte in einem mehrstufigen automatisierten Verfahren. Jede Einsendung erhielt zunächst eine unabhängige Erstbewertung durch GPT-5.6-Sol mit hoher Reasoning-Einstellung; eine gezielte Überprüfung schloss sich an. Bei einer verbleibenden wesentlichen Meinungsverschiedenheit, die den Atomic Score, Research Closure oder die Gültigkeit des Versuchs beeinflussen konnte, wurde eine zusätzliche Klärung ausgelöst. Bewertet wurden die von den Agenten erzeugten Belege. Prüfungen durch das Bewertungssystem sollten fehlende Analysen oder Interpretationen nicht ersetzen. [4]

Fünf physikgeschulte Fachleute prüften 100 Bewertungskarten zu allen 50 Aufgaben und gaben insgesamt 200 ausgewählte Urteile zu einzelnen Kriterien ab. Bei den ausgewählten Atomic-Score-Kriterien stimmten die abschließenden menschlichen Einschätzungen in 81,8 Prozent der Fälle mit der automatisierten Bewertung überein. Bei Kriterien, die ausdrücklich mit Research Closure verknüpft waren, lag die Übereinstimmung bei 75,9 Prozent. [4]

Für die Einordnung heißt das: Die Ergebnisse beruhen nicht auf einer vollständigen manuellen Doppelbewertung sämtlicher 1.050 Versuche. Die ausgewiesenen Übereinstimmungswerte beziehen sich auf eine ausgewählte Stichprobe. Das schränkt nicht automatisch die berichteten Resultate ein, macht aber die Auswertungsmethode und die begrenzte Reichweite der menschlichen Kontrolle zu einem relevanten Teil ihrer Interpretation. [4]

Was Unternehmen aus dem Ergebnis ableiten können – und was nicht

Für Unternehmen, die KI-Agenten in Forschung, Entwicklung oder technischer Analyse einsetzen, liegt die praktische Bedeutung vor allem in der Wahl der Evaluationskriterien. Die Studie legt nahe, nicht nur einzelne richtige Antworten, ausgeführten Code oder erreichte Zwischenziele zu bewerten. Zusätzlich kann geprüft werden, ob ein Agent die zur Entscheidung nötigen Belege benennt, Ergebnisse korrekt interpretiert und den Geltungsbereich seiner Schlussfolgerung offenlegt. Das ist eine aus dem Benchmark abgeleitete Evaluationsperspektive, kein Nachweis, dass ein bestimmtes Prüfverfahren für jede Branche bereits validiert wäre. [2][4]

Die Wiederholungen sprechen außerdem dafür, Leistung und Zuverlässigkeit getrennt zu betrachten. Wenn ein Agent ein Ergebnis einmal erzielt, belegt das noch keine stabile Leistung über vergleichbare Durchläufe hinweg. Für risikorelevante Anwendungen kann daher neben der Qualität des besten Ergebnisses auch die Häufigkeit vollständiger, reproduzierbarer Antworten wichtig sein. Die Studie misst diese Frage innerhalb ihrer Physikaufgaben; sie weist nicht nach, wie sich dieselben Raten auf industrielle Forschung, Medizin oder andere Einsatzfelder übertragen lassen. [2][4]

Der Geltungsbereich bleibt eng umrissen: 50 Aufgaben aus einem zusammenhängenden Spektrum der Physik, sieben untersuchte Modellkonfigurationen und jeweils drei Durchläufe. Die Ergebnisse belegen damit Unterschiede innerhalb dieses Benchmarks, nicht eine allgemeine Rangliste aller KI-Agenten oder einen Leistungsvergleich für sämtliche wissenschaftlichen Disziplinen. Auch die im Beitrag berichteten Zahlen sind Ergebnisse der Studienautorinnen und -autoren; die bereitgestellten Quellen dokumentieren keine unabhängige Replikation der Evaluation. [2][4][5]

PhysClosureBench verschiebt den Bewertungsmaßstab damit von der Frage „Hat der Agent etwas wissenschaftlich Relevantes geleistet?“ zu einer anspruchsvolleren Anschlussfrage: „Reichen seine Belege, Interpretationen und Gültigkeitsbedingungen aus, um genau diese Forschungsfrage zu schließen?“ Die Resultate zeigen, dass diese beiden Leistungsstufen auseinanderfallen können – und dass ein einzelner erfolgreicher Durchlauf noch keine verlässliche Fähigkeit belegt. [1][2][4]

Quellen

1. [1] Paper page - From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research — https://huggingface.co/papers/2610.21767 (abgerufen am 2026-10-19)
2. [2] [2610.21767] From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research — https://arxiv.org/abs/2610.21767 (abgerufen am 2026-10-19)
3. [4] From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research — https://arxiv.org/html/2610.21767 (abgerufen am 2026-10-19)
4. [5] From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics · The Singularity Report — https://thesingularityreport.com/physics/2026/10/18/from-research-goals-to-scientific-closure-evaluating-agents-through-evidence-supported-physics (abgerufen am 2026-10-19)