Herausforderungen und Erkenntnisse aus dem neuen Benchmark SWE-bench Science für KI im Software-Engineering

Die Entwicklung von Künstlicher Intelligenz (KI) schreitet rasant voran, und ihre Fähigkeiten im Bereich des Software-Engineerings werden zunehmend auf die Probe gestellt. Ein kürzlich veröffentlichter Benchmark, SWE-bench Science, wirft ein Schlaglicht auf die aktuellen Grenzen von KI-basierten Codierungsagenten, insbesondere im Kontext wissenschaftlicher Softwareentwicklung. Diese neue Messlatte, die von OpenMOSS initiiert wurde, ist darauf ausgelegt, die Leistung von KI-Agenten bei realen Aufgaben in wissenschaftlichen Softwareprojekten zu bewerten.

SWE-bench Science: Ein detaillierter Blick auf den neuen Benchmark

SWE-bench Science unterscheidet sich von früheren Benchmarks durch seinen spezifischen Fokus auf wissenschaftliche Software. Während herkömmliche Evaluierungen oft die aggregierte Aufgabenerfüllung betonen, zielt SWE-bench Science darauf ab, tiefere Einblicke in die Gründe für das Scheitern von Agenten bei der Wartung und Reparatur wissenschaftlicher Software zu gewinnen. Der Benchmark umfasst eine beeindruckende Sammlung von 119 Aufgaben, die aus 98 verschiedenen GitHub-Repositories stammen und sich über 20 wissenschaftliche Domänen erstrecken. Dazu gehören Bereiche wie Dichtefunktionaltheorie, Plasmastabilität, Genomik, Molekulardynamik und computergestützte Physik.

Die Struktur der Aufgaben

Jede Aufgabe innerhalb von SWE-bench Science ist einem von drei Paradigmen zugeordnet:

• Issue-driven: Hierbei geht es um die Lösung konkreter, dokumentierter Probleme oder Fehler (Issues) in der Software.
• Expert-exploratory: Diese Aufgaben erfordern ein tieferes Verständnis des wissenschaftlichen Kontexts und eine explorative Herangehensweise, um beispielsweise neue Funktionen zu implementieren oder bestehende zu optimieren.
• Engineering-integration: Dieses Paradigma konzentriert sich auf die Integration von Änderungen in bestehende, komplexe Codebasen, wobei die Konsistenz und Funktionalität des Gesamtsystems gewährleistet werden muss.

Die Aufgaben sind darauf ausgelegt, die Fähigkeit der Agenten zu messen, Änderungen an einem realen Repository vorzunehmen, während gleichzeitig spezifische wissenschaftliche "Verträge" – wie Einheiten, Koordinatensysteme, numerische Invarianten, Dateiformat-Semantik, physikalische Annahmen und domänenspezifische Workflows – eingehalten werden.

Herausforderungen für KI-Agenten: Die Leistung von Claude Code mit Opus-5

Die Ergebnisse der ersten Evaluierungen auf SWE-bench Science zeigen eine bemerkenswerte Herausforderung für aktuelle KI-Modelle. Selbst der als leistungsfähig geltende Agent Claude Code mit Opus-5 erreicht eine Erfolgsquote von unter 50 % (pass@1). Dies bedeutet, dass weniger als die Hälfte der Aufgaben beim ersten Versuch korrekt gelöst werden konnten. Zum Vergleich: Auf dem ursprünglichen SWE-bench Benchmark, der sich auf allgemeine GitHub-Issues aus 12 Python-Repositories konzentriert, konnte Claude 3.5 Sonnet eine Erfolgsquote von 49 % auf dem "Verified"-Subset erreichen. Die deutlich geringere Erfolgsquote auf SWE-bench Science unterstreicht die spezifischen Schwierigkeiten, die wissenschaftliche Software für KI-Agenten darstellt.

Gründe für die geringe Erfolgsquote

Experten identifizieren mehrere Gründe für die vergleichsweise niedrige Leistung der KI-Agenten auf diesem Benchmark:

• Komplexität der Umgebung und Abhängigkeiten: Wissenschaftliche Repositories zeichnen sich oft durch komplexe Abhängigkeitsstrukturen und spezifische Umgebungsanforderungen aus. Die korrekte Einrichtung und Reproduktion dieser Umgebungen ist für KI-Agenten eine große Hürde. Es geht nicht nur um das Schreiben von Code, sondern auch um das Verständnis und die Verwaltung der gesamten Software-Infrastruktur.
• Domänenspezifisches Wissen: Die Aufgaben erfordern oft ein tiefes Verständnis der jeweiligen wissenschaftlichen Domäne. KI-Modelle müssen nicht nur Code generieren, sondern auch die zugrunde liegenden physikalischen, mathematischen oder biologischen Prinzipien berücksichtigen, um valide Lösungen zu liefern.
• Semantische Anforderungen: Wissenschaftlicher Code enthält oft implizite "Verträge" bezüglich der Semantik von Datenformaten, Einheiten und physikalischen Annahmen. Das Einhalten dieser Verträge, die über die reine Syntax hinausgehen, stellt eine große Herausforderung dar.
• Fehleranfälligkeit wissenschaftlicher Software: Da Software zunehmend als integraler Bestandteil wissenschaftlicher Instrumente fungiert, können Fehler im Code nicht nur das Programmverhalten beeinträchtigen, sondern auch die Evidenz wissenschaftlicher Schlussfolgerungen kompromittieren. Dies erhöht die Anforderungen an die Präzision und Zuverlässigkeit von KI-generierten Lösungen erheblich.

Implikationen für die B2B-Anwendung von KI im Software-Engineering

Für Unternehmen, die KI-basierte Tools im Software-Engineering einsetzen oder entwickeln, liefern die Ergebnisse von SWE-bench Science wichtige Erkenntnisse:

• Spezialisierung ist entscheidend: Allgemeine Codierungsagenten stoßen bei hochspezialisierten Domänen wie der wissenschaftlichen Softwareentwicklung an ihre Grenzen. Eine erfolgreiche Integration von KI in diesen Bereichen erfordert Modelle, die entweder über ein tiefes domänenspezifisches Wissen verfügen oder in der Lage sind, dieses schnell zu erlernen und anzuwenden.
• Fokus auf Umgebungsmanagement: Die Fähigkeit, komplexe Entwicklungs- und Laufzeitumgebungen zu verstehen, zu konfigurieren und zu reproduzieren, ist ein kritischer Engpass. KI-Tools, die Entwickler bei diesen Aufgaben unterstützen, könnten einen erheblichen Mehrwert bieten.
• Validierung und Verifikation: Angesichts der geringen Erfolgsquoten ist eine umfassende Validierung und Verifikation von KI-generiertem Code unerlässlich. Dies erfordert robuste Testframeworks und menschliche Expertise, um die Korrektheit und Zuverlässigkeit der Lösungen sicherzustellen.
• Potenzial für Nischenanwendungen: Obwohl die Gesamtleistung noch begrenzt ist, gibt es Potenzial für KI-Agenten in spezifischen Nischenaufgaben innerhalb der wissenschaftlichen Softwareentwicklung, beispielsweise bei der Automatisierung wiederkehrender Aufgaben oder der Unterstützung bei der Fehleranalyse.

Die Forschung an Benchmarks wie SWE-bench Science ist von großer Bedeutung, um die tatsächlichen Fähigkeiten und Grenzen von KI-Agenten im Software-Engineering zu verstehen. Sie liefert wertvolle Impulse für die Weiterentwicklung von KI-Technologien und deren gezielte Anwendung in anspruchsvollen B2B-Szenarien.

Bibliographie

- Xu, Zhipeng; Lu, Jiahao; Zheng, Yining; Wang, Yuxin; Qiu, Xipeng. (2026). SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?. arXiv:2608.19799v1 [cs.CL]. - OpenMOSS/SWE-bench-Science. (n.d.). GitHub. Abgerufen von https://github.com/OpenMOSS/SWE-bench-Science - AI/TLDR. (2026, August 20). SWE-bench Science — the best coding agent fixes… | AI/TLDR. Abgerufen von https://ai-tldr.dev/releases/openmoss-swe-bench-science/ - SWE-bench Leaderboards. (n.d.). Abgerufen von https://www.swebench.com/ - Sobel, Alexis. (2026, Juli 27). Claude Opus 5: Performance & Error Analysis on Coding Tasks. Snorkel AI Blog. Abgerufen von https://snorkel.ai/blog/opus-5-swe-bench-error-analysis/ - Anthropic. (2025, Januar 6). Claude SWE-Bench Performance - Anthropic. Abgerufen von https://www.anthropic.com/engineering/swe-bench-sonnet