Herausforderungen und Entwicklungen im Bereich der Reparatur wissenschaftlicher Software durch KI-Agenten

Herausforderungen für KI-Agenten: Reparatur wissenschaftlicher Software im Fokus

Die Rolle von Software in der modernen Wissenschaft hat sich fundamental gewandelt. Sie ist nicht mehr nur ein Hilfsmittel, sondern oft ein integraler Bestandteil des wissenschaftlichen Instruments selbst. Diese Entwicklung führt dazu, dass Fehler im wissenschaftlichen Code nicht nur das Programmverhalten beeinflussen, sondern potenziell die gesamte Evidenzgrundlage wissenschaftlicher Schlussfolgerungen kompromittieren können. Angesichts dieser kritischen Bedeutung stellt sich die Frage, inwieweit Künstliche Intelligenz (KI) in der Lage ist, diese komplexen Herausforderungen im Bereich des wissenschaftlichen Software-Engineerings zu bewältigen.

Der Bedarf an spezialisierten Benchmarks

Bisherige Evaluierungen von Code-Agenten konzentrierten sich primär auf den aggregierten Erfolg bei allgemeinen Programmieraufgaben. Diese Ansätze bieten jedoch nur begrenzte Einblicke in die spezifischen Gründe, warum Agenten bei der Reparatur wissenschaftlicher Software versagen könnten. Wissenschaftliche Software ist durch einzigartige "Verträge" gekennzeichnet, die in gewöhnlichen Code-Benchmarks selten offengelegt werden. Dazu gehören Aspekte wie Einheiten, Koordinatensysteme, numerische Invarianten, Semantiken von Dateiformaten, physikalische Annahmen und domänenspezifische Arbeitsabläufe. Die Einhaltung dieser Verträge ist entscheidend für die Integrität wissenschaftlicher Ergebnisse.

SWE-bench Science: Ein neuer Maßstab für wissenschaftliches Software-Engineering

Um diese Lücke zu schließen, wurde SWE-bench Science eingeführt. Dieser neue, auf Repository-Ebene angesiedelte Benchmark für wissenschaftliches Software-Engineering umfasst 119 Aufgaben aus 98 GitHub-Repositories, die sich über 20 verschiedene wissenschaftliche Domänen erstrecken. Jede Aufgabe ist dabei einem von drei Paradigmen zugeordnet:

• Issue-driven: Hierbei geht es um die Behebung von Fehlern, die in Form von Problemberichten vorliegen.
• Expert-exploratory: Diese Kategorie erfordert eine tiefgehende Exploration und das Verständnis komplexer wissenschaftlicher Konzepte.
• Engineering-integration: Aufgaben dieses Paradigmas konzentrieren sich auf die Integration neuer Funktionalitäten oder die Anpassung an bestehende Systeme.

SWE-bench Science misst, ob ein Agent ein reales Repository ändern kann, während die genannten wissenschaftlichen Verträge erhalten bleiben. Dies beinhaltet eine separate, private Testsuite, die verhaltensbasiert ist und die wissenschaftlichen Verträge hinter jeder Aufgabe überprüft, anstatt nur zu prüfen, ob eine bestimmte Zeile geändert wurde. Diese privaten Tests sind darauf ausgelegt, hartkodierte Ausgaben, Overfitting an öffentliche Fixtures und Korrekturen, die nur die sichtbare Reproduktion bestehen lassen, aufzudecken.

Ergebnisse und identifizierte Fehlermechanismen

Die Ergebnisse von SWE-bench Science zeigen, dass selbst der leistungsstärkste Agent, Claude Code mit Opus-5 (max), eine Pass@1-Rate von unter 50 % erreicht. Dies unterstreicht die erheblichen Herausforderungen, die das wissenschaftliche Software-Engineering für aktuelle KI-Agenten darstellt. Die Analyse der Fehler offenbarte vier wiederkehrende Mechanismen:

1. Mängel im wissenschaftlichen Wissen oder in der Abstraktion: Agenten scheitern oft daran, das notwendige wissenschaftliche Kontextwissen zu verstehen oder auf einer abstrakten Ebene zu verarbeiten.
2. Fehlgeleitete Exploration oder oberflächliche Reparatur: Statt einer tiefgehenden Problemanalyse führen Agenten manchmal eine oberflächliche Reparatur durch oder explorieren in die falsche Richtung.
3. Unvollständige Reparaturabdeckung oder Systemintegration: Die vorgenommenen Korrekturen decken nicht alle betroffenen Bereiche ab oder integrieren sich nicht korrekt in das Gesamtsystem.
4. Fehler bei der Verallgemeinerung wissenschaftlichen Wissens: Agenten haben Schwierigkeiten, gelerntes wissenschaftliches Wissen über die direkt beobachteten Fälle hinaus zu verallgemeinern.

Die Rolle wissenschaftlicher Anleitung

Eine zusätzlich durchgeführte Ablationsstudie, bei der explizite wissenschaftliche Anleitung entfernt wurde, während das Repository und der ausführbare technische Kontext erhalten blieben, lieferte interessante Erkenntnisse. Es zeigte sich, dass wissenschaftliche Anleitung nicht durchweg vorteilhaft ist:

• Gut fundierte Informationen können die Reparatur einschränken und sowohl die durchschnittliche Leistung als auch die Token-Effizienz verbessern.
• Schlecht abgestimmte Anleitung kann hingegen zu "Anchoring" führen, also einer übermäßigen Fixierung auf bestimmte Informationen, und verbessert den genauen Reparaturerfolg nicht notwendigerweise.

Diese Erkenntnisse sind von großer Bedeutung für die Entwicklung zukünftiger Code-Agenten, da sie darauf hindeuten, dass die Qualität und Relevanz der bereitgestellten wissenschaftlichen Informationen entscheidend für den Erfolg sind.

Ausblick für die B2B-Zielgruppe

Für Unternehmen im KI-Sektor, die sich mit der Entwicklung und Implementierung von Code-Agenten befassen, sind die Ergebnisse von SWE-bench Science von hoher Relevanz. Sie verdeutlichen die Notwendigkeit, Agenten nicht nur für generische Programmieraufgaben, sondern auch für domänenspezifische Anforderungen, insbesondere im wissenschaftlichen Bereich, zu optimieren. Dies erfordert eine tiefere Integration von Fachwissen und ein besseres Verständnis der komplexen Zusammenhänge, die wissenschaftliche Software auszeichnen. Die Herausforderungen liegen nicht nur in der Code-Generierung, sondern auch in der Fähigkeit der Agenten, wissenschaftliche Konzepte zu interpretieren, kritische Fehlerursachen zu identifizieren und systemübergreifende Lösungen zu implementieren, die die Integrität der wissenschaftlichen Methodik wahren.

Die weitere Forschung und Entwicklung in diesem Bereich wird sich darauf konzentrieren müssen, wie KI-Agenten dahingehend verbessert werden können, dass sie wissenschaftliches Wissen effektiver nutzen und die identifizierten Fehlermechanismen überwinden. Dies könnte beispielsweise durch verbesserte Wissensrepräsentationen, spezialisierte Trainingsdaten oder neuartige Ansätze zur Problemexploration und -lösung geschehen. Die Erkenntnisse aus SWE-bench Science bieten hierfür eine solide Grundlage und weisen den Weg für die nächste Generation von intelligenten Code-Agenten im wissenschaftlichen Kontext.

Bibliographie

• Xu, Z., Lu, J., Zheng, Y., Wang, Y., & Qiu, X. (2026). SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science? arXiv preprint arXiv:2608.19799.
• OpenMOSS/SWE-bench-Science. (n.d.). GitHub. Abgerufen von https://github.com/OpenMOSS/SWE-bench-Science
• SWE-bench Leaderboards. (n.d.). Abgerufen von https://www.swebench.com/
• Deng, X., Da, J., Pan, E., He, Y. Y., Ide, C., Garg, K., ... & Jacobson, N. (2025). SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks? arXiv preprint arXiv:2509.16941.
• Wilson, G. (2026, 21. August). Greg Wilson's Post - SWE-bench Science. LinkedIn. Abgerufen von https://www.linkedin.com/posts/gvwilson_swe-bench-science-can-coding-agents-resolve-activity-7496565955431653376--oUO