SciEvalKit als neues Werkzeug zur Bewertung wissenschaftlicher Fähigkeiten von KI-Modellen

SciEvalKit: Ein Open-Source-Toolkit zur Bewertung wissenschaftlicher KI-Fähigkeiten

Die rapide Entwicklung von Künstlicher Intelligenz (KI) hat zu beeindruckenden Fortschritten in verschiedenen Anwendungsbereichen geführt. Insbesondere große Sprachmodelle (LLMs) und multimodale große Sprachmodelle (MLLMs) zeigen zunehmend Fähigkeiten, die über die reine Spracherzeugung hinausgehen. Dennoch bleibt die präzise Bewertung ihrer "wissenschaftlichen Intelligenz" eine zentrale Herausforderung. Hier setzt SciEvalKit an, ein Open-Source-Evaluierungstoolkit, das darauf abzielt, KI-Modelle umfassend auf ihre Fähigkeiten in wissenschaftlichen Kontexten zu testen.

Die Notwendigkeit einer spezialisierten Evaluierung

Bisherige Evaluierungsplattformen konzentrieren sich häufig auf allgemeine Denkfähigkeiten oder eng definierte Aufgaben. Die wissenschaftliche Forschung erfordert jedoch ein komplexes Zusammenspiel aus konzeptueller Abstraktion, präziser symbolischer Manipulation, Hypothesenbildung, mehrstufigem prozeduralem Denken und der Interpretation komplexer multimodaler Daten. Diese Fähigkeiten gehen über das bloße Abrufen von Fakten oder grundlegendes logisches Denken hinaus. SciEvalKit wurde entwickelt, um diese spezifischen Anforderungen zu adressieren und eine fundierte Grundlage für die Bewertung von KI in der Wissenschaft zu schaffen.

Architektur und Funktionsweise von SciEvalKit

SciEvalKit ist als einheitliches Benchmarking-Toolkit konzipiert, das KI-Modelle in einem breiten Spektrum wissenschaftlicher Disziplinen und Aufgabenfähigkeiten bewertet. Es unterscheidet sich von allgemeinen Evaluierungsplattformen durch seinen Fokus auf Kernkompetenzen der wissenschaftlichen Intelligenz. Das Toolkit unterstützt sechs große wissenschaftliche Domänen, darunter Physik, Chemie, Astronomie und Materialwissenschaften.

Kernkompetenzen der wissenschaftlichen Intelligenz

Das Framework von SciEvalKit definiert sieben zentrale Dimensionen wissenschaftlicher Intelligenz, die in multimodale und textbasierte Fähigkeiten unterteilt sind:

• Wissenschaftliche multimodale Wahrnehmung: Erkennung und Lokalisierung wissenschaftlich relevanter Entitäten aus multimodalen Eingaben.
• Wissenschaftliches multimodales Verständnis: Extraktion und Interpretation strukturierter wissenschaftlicher Informationen aus visuellen Elementen.
• Wissenschaftliches multimodales Denken: Integration visueller und textueller Modalitäten für kohärente, mehrstufige wissenschaftliche Schlussfolgerungen.
• Wissenschaftliches Wissensverständnis: Bewertung des Verständnisses domänenspezifischer Konzepte und faktischer Beziehungen.
• Wissenschaftliche Codegenerierung: Übersetzung wissenschaftlicher Beschreibungen in ausführbaren Code.
• Wissenschaftliches symbolisches Denken: Manipulation von Gleichungen, physikalischen Gesetzen und strukturierter Notation.
• Wissenschaftliche Hypothesengenerierung: Vorschlagen plausibler Hypothesen unter offenen Fragestellungen.

Aufbau des Evaluierungsrahmens

Der technische Aufbau von SciEvalKit basiert auf vier kooperierenden Schichten, die auf der Codebasis von VLMEvalKit aufbauen und um wissenschaftliche multimodale Eingaben erweitert wurden:

1. Datensatzschicht: Verantwortlich für die Datenaufnahme und die Standardisierung unterschiedlicher wissenschaftlicher Datensätze in einheitliche multimodale Nachrichtenformate.
2. Modell-Inferenzschicht: Bietet eine einheitliche Schnittstelle für lokale und API-basierte Modelle, abstrahiert Batch-Verarbeitung, parallele Generierung und Fehlerbehandlung.
3. Evaluierungs- & Testschicht: Führt eine fähigkeitsbasierte Bewertung unter Verwendung datensatzspezifischer Methoden durch, einschließlich der Codeausführung in Sandbox-Umgebungen.
4. Berichts- & Speicherschicht: Gewährleistet Reproduzierbarkeit durch strukturierte Protokollierung und standardisierte Ergebnisformate.

Dieses Framework verwendet eine hybride Bewertungsmethode, die die Übereinstimmung natürlicher Sprache für Wissens- und Denkaufgaben mit einer codeausführungsbasierten Bewertung für Programmierherausforderungen kombiniert. Dies ermöglicht die Bewertung sowohl des konzeptuellen Verständnisses als auch der funktionalen Korrektheit in verschiedenen wissenschaftlichen Domänen.

Benchmarking und Validierung

SciEvalKit integriert über 15 von Experten kuratierte Benchmarks, die sechs wichtige wissenschaftliche Disziplinen umfassen. Jeder Benchmark wird einer rigorosen Validierung durch mehrfache Konsultationen mit Domänenexperten unterzogen, um wissenschaftliche Gültigkeit, Expertenkalibrierung und umfassende Abdeckung der Fähigkeiten zu gewährleisten.

Der Benchmark-Konstruktionsprozess legt Wert auf:

• Wissenschaftliche Authentizität: Aufgaben, die auf realen wissenschaftlichen Inhalten und Denkprozessen basieren.
• Experten-Abstimmung: Manuelle Überprüfung und Kalibrierung durch Fachspezialisten.
• Modalitätsvielfalt: Integration von Texten, Diagrammen, molekularen Strukturen, Proteinsequenzen und wissenschaftlichen Plots.
• Aufgabenvielfalt: Multiple-Choice-Fragen, freie Textgenerierung, Code-Ausführung und Dokumentenanalyse.

Beispiele für repräsentative Benchmarks sind ProteinLMBench für biomolekulares Denken, ChemBench für chemische Problemlösung, ClimaQA für Klimawissenschaften und SciCode für multidisziplinäre Programmierherausforderungen.

Ergebnisse der Modell-Evaluation

Die Evaluierung modernster LLMs und MLLMs mit SciEvalKit liefert wichtige Erkenntnisse über den aktuellen Stand der wissenschaftlichen KI-Fähigkeiten. Die Ergebnisse zeigen erhebliche Leistungsunterschiede in den verschiedenen Dimensionen der wissenschaftlichen Intelligenz.

Schlüsselmuster der Leistung

• Dominanz des Wissensverständnisses: Modelle erzielen die höchsten Werte im wissenschaftlichen Wissensverständnis. Dies deutet auf eine starke Kompetenz im Faktenabruf und grundlegenden konzeptuellen Verständnis in wissenschaftlichen Domänen hin.
• Herausforderungen bei Codegenerierung und symbolischem Denken: Diese Fähigkeiten stellen die größten Engpässe dar. Selbst führende Modelle zeigen hier erhebliche Schwierigkeiten, was auf grundlegende Einschränkungen im formalen Denken und in der algorithmischen Implementierung hindeutet.
• Lücken in multimodalen Fähigkeiten: Während Modelle eine angemessene Leistung in der wissenschaftlichen multimodalen Wahrnehmung zeigen, gibt es deutliche Einbrüche in den Verstehens- und Denkfähigkeiten. Dies deutet auf eine mangelnde tiefe semantische Integration hin.

Modellspezifische Einblicke

• Führung durch proprietäre Modelle: Proprietäre Modelle wie Gemini-3-Pro erzielen konsistent hohe Werte in mehreren Dimensionen und zeigen das ausgewogenste Leistungsprofil.
• Wettbewerbsfähigkeit von Open-Source-Modellen: Qwen3-Max erweist sich als das stärkste Open-Source-Textmodell mit wettbewerbsfähiger Leistung in einigen Dimensionen, weist jedoch eine schlechte multimodale Leistung auf.
• Fähigkeitsdiskriminierung: Codegenerierung und symbolisches Denken weisen die größte Leistungsstreuung über die Modelle hinweg auf und dienen als hochselektive Fähigkeiten, die die Modellkomplexität deutlich differenzieren.

Bedeutung und Forschungsimplikationen

SciEvalKit adressiert kritische Einschränkungen in aktuellen KI-Evaluierungsmethoden und etabliert einen neuen Standard für die Bewertung wissenschaftlicher Intelligenz. Die Bedeutung des Toolkits erstreckt sich über mehrere Dimensionen der KI-Forschung und -Entwicklung.

Standardisierung der wissenschaftlichen KI-Evaluierung

Durch die Bereitstellung eines einheitlichen, von Experten validierten Evaluierungsrahmens ermöglicht SciEvalKit Forschern, über anekdotische Evidenz hinauszugehen und eine rigorose, reproduzierbare Bewertung der KI-Fähigkeiten in wissenschaftlichen Kontexten durchzuführen. Diese Standardisierung erleichtert transparente Vergleiche zwischen Modellen und Forschungsgruppen und beschleunigt den Fortschritt durch ein gemeinsames Verständnis der Leistungsbenchmarks.

Identifizierung kritischer Entwicklungsbereiche

Die Evaluierungsergebnisse geben klare Hinweise für die zukünftige Modellentwicklung. Sie zeigen, dass Verbesserungen "weniger von der reinen Skalierung als vielmehr von (i) ausführungsbewussten Codes, (ii) symbolischem und programmorientiertem Denken und (iii) einer engeren Integration visueller Verankerung mit wissenschaftlicher Semantik" zu erwarten sind. Diese Erkenntnis lenkt den Forschungsschwerpunkt auf grundlegende architektonische und Trainingsinnovationen anstatt auf einfache Parameterskalierung.

Gemeinschaftsgetriebener Forschungsfortschritt

Der Open-Source-Charakter und das explizite Modell der Gemeinschaftsbeteiligung demokratisieren den Zugang zu hochwertiger wissenschaftlicher Evaluierungsinfrastruktur. Dieser Ansatz ermöglicht es verschiedenen Forschungsgruppen, Fachkenntnisse einzubringen, Ergebnisse zu validieren und die Fähigkeiten des Toolkits zu erweitern, wodurch der kollaborative Fortschritt in der KI für die Wissenschaft gefördert wird.

Brücke zwischen allgemeiner KI und wissenschaftlicher Spezialisierung

SciEvalKit adressiert explizit die systematische Lücke zwischen allgemeinen KI-Fähigkeiten und den Anforderungen an die wissenschaftliche Problemlösung. Durch die Konzentration auf wissenschaftliche Kernkompetenzen und authentische Arbeitsabläufe treibt das Toolkit die Entwicklung von KI-Systemen voran, die tatsächlich "wissenschaftlich intelligent" sind, anstatt nur oberflächliche Korrektheit bei isolierten Aufgaben zu demonstrieren.

Die umfassende Evaluierung des Toolkits zeigt, dass die derzeitigen hochmodernen Modelle, obwohl sie in der allgemeinen Argumentation beeindruckend sind, erhebliche Herausforderungen bei der präzisen symbolischen Manipulation, dem mehrstufigen prozeduralen Denken und der spezialisierten multimodalen Integration bewältigen müssen, die für authentische wissenschaftliche Arbeit erforderlich sind. Diese Erkenntnis hat tiefgreifende Auswirkungen auf die Entwicklung von KI-Systemen, die zu sinnvoller wissenschaftlicher Entdeckung und Zusammenarbeit fähig sind.

Herausforderungen und zukünftige Richtungen

Die Ergebnisse von SciEvalKit verdeutlichen, dass moderne LLMs und agentenbasierte Systeme zwar lokalisierte wissenschaftliche Kognition und segmentiertes wissenschaftliches Denken aufweisen, aber nicht in der Lage sind, den iterativen Kreislauf von Deliberation, Konzeption, Aktion und Wahrnehmung robust zu schließen. Dies führt zu mehreren Herausforderungen und eröffnet gleichzeitig wichtige zukünftige Forschungsrichtungen:

Fragmentierung über die vier Quadranten der wissenschaftlichen Intelligenz

• Deliberation: Wissenschaftliche Tiefenrecherche bleibt brüchig: Modelle haben Schwierigkeiten, überprüfbare wissenschaftliche Aussagen aus mehreren Quellen zu integrieren und numerisch getreue Schlussfolgerungen zu ziehen. Die Fähigkeit, lokal korrekte Schritte zu erzeugen, kollabiert oft bei langen Argumentationsketten.
• Konzeption: Ideen mangelt es an Umsetzbarkeit: Vorschläge sind oft flüssig formuliert, aber unzureichend spezifiziert und nicht umsetzbar. Es fehlen konkrete Parameter, Ressourcenannahmen oder die korrekte Reihenfolge von Implementierungsschritten.
• Aktion: Experimentelle Ausführung ist durch numerische und prozedurale Strenge begrenzt: Syntaktisch korrekter Code bedeutet nicht immer wissenschaftliche algorithmische Korrektheit, insbesondere bei numerischen und simulationsbasierten Funktionen. Bei Nasslaborexperimenten mangelt es an der Fähigkeit, temporale Abläufe, Verzweigungslogik und Multiprobenkoordination zu planen.
• Wahrnehmung: Multimodales Denken verbessert sich, aber Vergleiche sind eine schwierige Grenze: Modelle können plausible lokale Argumentationen liefern, aber präzise diskriminierende und vergleichende multimodale Schlussfolgerungen bleiben eine Herausforderung, insbesondere in Domänen mit heterogenen visuellen Informationen.

Implikationen aus dem Test-Time Reinforcement Learning und Tool-integriertem Denken

• Wissenschaftliche Intelligenz als dynamische, lernbare Fähigkeit: Test-Time Reinforcement Learning (TTRL) zeigt, dass offene wissenschaftliche Ideenfindung ohne explizite Ground-Truth-Labels verbessert werden kann, indem Neuheit belohnt wird. Dies deutet darauf hin, dass wissenschaftliche Intelligenz nicht nur ein statischer Benchmark-Score ist, sondern eine Fähigkeit, die sich durch Lernen während der Testphase entwickeln kann.
• Die Abrufpipeline als eigentlicher Engpass für agentenbasierte wissenschaftliche Intelligenz: Die Analyse zeigt, dass Agenten-Workflows stark von Abrufoperationen dominiert werden. Die Latenz ist primär toolgetrieben. Effizienzgewinne könnten durch intelligenteres Tool-Routing, Reduzierung redundanter Abrufe und qualitativ hochwertigere Extraktion erzielt werden.

Zukünftige Richtungen

Die Forschung sollte sich auf folgende Bereiche konzentrieren:

• Meta-analytisches Denken mit numerischer Robustheit: Entwicklung von Methoden, die Evidenzaggregation und numerische Synthese explizit trainieren, um die Genauigkeit bei der Integration von Informationen aus verschiedenen Quellen zu verbessern.
• Planungsbewusste Konzeption und strukturierte Supervision: Implementierung von planungsbewussten Beschränkungen und Belohnungen, die sich auf die Umsetzbarkeit und Reproduzierbarkeit konzentrieren, um flüssige Vorschläge in ausführbare, testbare Designs umzuwandeln.
• Wissenschaftliches Code-Training jenseits der Syntax: Fokus auf numerische Analyse-Prioritäten, stabilitätsbewusste Verluste und algorithmische Auswahl, um Modelle für wissenschaftliche Berechnungen zu optimieren.
• Zweig- und zeitbewusstes Nasslaborprotokoll-Denken: Entwicklung von Trainingssignalen, die temporale Stichprobenlogik, Verzweigungsentscheidungsregeln und Multiprobenverfolgung kodieren.
• Vergleichendes multimodales wissenschaftliches Denken: Feinere visuelle Verankerung, modulare Bildausrichtung und kontrastives multimodales Training zur Verbesserung präziser Diskriminierung.
• Test-Time Learning mit multiobjektiven wissenschaftlichen Belohnungen: Optimierung eines Portfolios von wissenschaftlich ausgerichteten Belohnungen (Neuheit, Strenge, Machbarkeit, Sicherheit, Kosten) und Integration von Abrufvertrauenswürdigkeit und Widerspruchsstrafen.
• Effiziente und zuverlässige Tool-Ökosysteme für wissenschaftliche Intelligenz-Agenten: Engineering-Fortschritte wie Retrieval-Caching, selektives Browsen und toolbewusste Planungsstrategien zur Verbesserung der End-to-End-Qualität und Latenz.

Zusammenfassend lässt sich sagen, dass SciEvalKit sowohl die Definition der wissenschaftlichen allgemeinen Intelligenz als auch die Schwachstellen aktueller Systeme verdeutlicht. Es bietet eine konkrete Grundlage für die systematische Weiterentwicklung der KI hin zu Systemen, die zu echter wissenschaftlicher Entdeckung fähig sind.

Bibliographie

- SciEvalKit: An Open-source Evaluation Toolkit for Scientific General Intelligence. Yiheng Wang et al. (2025). Verfügbar unter: https://arxiv.org/abs/2512.22334 - Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows. Wanghan Xu et al. (2025). Verfügbar unter: https://arxiv.org/html/2512.16969v1 - Intern Science GitHub Repository. Verfügbar unter: https://github.com/InternScience/SciEvalKit - CatalyzeX – Jiakang Yuan. Verfügbar unter: https://www.catalyzex.com/author/Jiakang%20Yuan - Hugging Face Daily Papers. Verfügbar unter: https://huggingface.co/papers - ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery. Ziru Chen et al. (2025). Verfügbar unter: https://arxiv.org/abs/2410.05080