SWE-Bench ProMax: Neuer Benchmark zur Bewertung von KI-Agenten in der Code-Refaktorierung

Einführung in SWE-Bench ProMax: Ein neuer Maßstab für KI-Agenten in der Softwareentwicklung

Die Entwicklung von Künstlicher Intelligenz (KI) im Bereich der Softwareentwicklung schreitet kontinuierlich voran. Insbesondere KI-Agenten, die in der Lage sind, komplexe Programmieraufgaben zu lösen, stehen im Fokus der Forschung. Um die Leistungsfähigkeit dieser Agenten präzise zu bewerten, sind robuste und realitätsnahe Benchmarks unerlässlich. In diesem Kontext wurde SWE-Bench ProMax vorgestellt, ein neuer Benchmark, der darauf abzielt, die Grenzen der Bewertung von KI-Agenten im Bereich der großskaligen, mehrsprachigen Code-Refaktorierung neu zu definieren.

Die Herausforderung der Code-Refaktorierung für KI-Agenten

Code-Refaktorierung, also die Umstrukturierung von Quellcode ohne Änderung seines externen Verhaltens, ist eine fundamentale Aufgabe in der Softwareentwicklung. Sie dient der Verbesserung der Code-Qualität, Lesbarkeit, Wartbarkeit und Effizienz. Für KI-Agenten stellt dies eine erhebliche Herausforderung dar, da sie nicht nur den Code verstehen, sondern auch seine semantische Integrität über mehrere Dateien und Sprachen hinweg bewahren müssen. Bisherige Benchmarks wie SWE-Bench oder SWE-Bench Pro konzentrierten sich oft auf Fehlerbehebung oder hatten Schwierigkeiten, die Komplexität realer Refaktorierungsaufgaben abzubilden.

SWE-Bench ProMax: Aufbau und Spezifikationen

SWE-Bench ProMax wurde entwickelt, um diese Lücke zu schließen. Er besteht aus 170 sorgfältig kuratierten Refaktorierungsaufgaben, die aus realen GitHub-Commits stammen. Diese Aufgaben erstrecken sich über sieben verschiedene Programmiersprachen: Python, Java, TypeScript, Go, C, C++ und Rust. Die mehrsprachige Natur des Benchmarks ist entscheidend, da sie die Fähigkeit von KI-Agenten testet, über Sprachgrenzen hinweg zu agieren – eine Anforderung, die in modernen Softwareprojekten immer häufiger wird.

Ein zentrales Merkmal von SWE-Bench ProMax ist die Komplexität der Aufgaben. Im Durchschnitt erfordert jede Instanz die Änderung von 11,4 Dateien und 261,6 Zeilen Code. Dies übertrifft die Anforderungen vieler früherer Benchmarks erheblich und simuliert die Skalierung realer Refaktorierungsprojekte besser. Zudem wurde jede Problembeschreibung von Grund auf neu verfasst und jede Testsuite manuell überprüft, um die Qualität und Relevanz der Aufgaben sicherzustellen. Dies adressiert ein bekanntes Problem früherer Benchmarks, bei denen ein signifikanter Anteil der ungelösten Aufgaben auf fehlerhafte Tests zurückzuführen war.

Leistungsbewertung und aktuelle Ergebnisse

Die ersten Ergebnisse auf SWE-Bench ProMax unterstreichen die anspruchsvolle Natur dieses Benchmarks. Selbst führende KI-Modelle erreichen derzeit Lösungsraten, die deutlich unter den Erwartungen liegen, die auf Basis einfacherer Benchmarks entstanden sind. Beispielsweise erreichte GPT-5.2 eine Lösungsrate von 41,2 % unter dem OpenHands-Framework. Dies steht im Kontrast zu den über 75 % Lösungsrate, die Top-Agenten auf dem weniger komplexen SWE-bench Verified erzielten. Open-Weight-Modelle wie GLM-5 erreichten 36,5 %.

Diese Ergebnisse deuten darauf hin, dass die aktuellen KI-Agenten noch erhebliche Fortschritte machen müssen, um die Anforderungen komplexer, mehrsprachiger Code-Refaktorierung in großem Maßstab zu erfüllen. Die Diskrepanz zwischen den Leistungen auf SWE-Bench ProMax und früheren Benchmarks unterstreicht die Notwendigkeit, realitätsnahe und umfassende Evaluierungsmethoden zu verwenden, um die tatsächlichen Fähigkeiten von KI-Agenten in der Softwareentwicklung zu beurteilen.

Die Bedeutung für die B2B-Zielgruppe

Für Unternehmen im B2B-Sektor, die auf KI-Lösungen zur Automatisierung und Unterstützung ihrer Softwareentwicklungsprozesse setzen, sind diese Entwicklungen von großer Relevanz. SWE-Bench ProMax bietet einen klaren Indikator für die aktuelle Reife von KI-Agenten in einem geschäftskritischen Bereich wie der Code-Refaktorierung. Die Ergebnisse zeigen, dass zwar Fortschritte erzielt werden, aber noch ein Weg zu gehen ist, bis KI-Agenten solche Aufgaben autonom und mit hoher Zuverlässigkeit bewältigen können.

Dies bedeutet für Unternehmen, dass bei der Integration von KI-Agenten für Refaktorierungsaufgaben eine realistische Erwartungshaltung wichtig ist. Der Fokus sollte auf der Unterstützung von Entwicklern liegen, indem KI-Agenten repetitive oder vorstrukturierte Refaktorierungen übernehmen, während komplexe, kontextabhängige Aufgaben weiterhin menschliches Eingreifen erfordern. Gleichzeitig signalisiert der Benchmark den Bedarf an weiterer Forschung und Entwicklung, um die Leistungsfähigkeit dieser Agenten zu steigern und sie für breitere Anwendungsfälle in der professionellen Softwareentwicklung zu qualifizieren.

Ausblick

SWE-Bench ProMax markiert einen wichtigen Schritt in der Entwicklung von Benchmarks für KI-Agenten in der Softwaretechnik. Er bietet eine solide Grundlage für die Bewertung und Weiterentwicklung von Modellen, die darauf abzielen, Softwareentwicklungsprozesse zu revolutionieren. Die kontinuierliche Verbesserung von KI-Agenten in der Bewältigung solcher komplexen Aufgaben wird entscheidend sein für die zukünftige Effizienz und Qualität in der Softwareentwicklung.

Bibliography

- Xiaodong Gu. SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring. alphaXiv, 2026. - Alexis Dufresne. SWE-Bench ProMax caps top coding agent at 41.2% resolve rate. AI Weekly, 2026. - AI/TLDR. SWE-Bench ProMax — coding-agent benchmark where the best model scores 41.2%. AI/TLDR, 2026. - Xiang Deng et al. SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks? arXiv, 2025. - Yisen Xu et al. SWE-Refactor: A Repository-Level Benchmark for Real-World LLM-Based Code Refactoring. arXiv, 2026. - Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving. arXiv, 2025. - Muhammad Shihab Rashid et al. SWE-PolyBench: A multi-language benchmark for repository level evaluation of coding agents. arXiv, 2025. - Dhruv Gautam et al. RefactorBench: Evaluating Stateful Reasoning in Language Agents Through Code. arXiv, 2025. - SWE Atlas - Refactoring. Scale Labs, 2026. - SWE-Bench Pro: AI on Software Engineering Tasks. Scale Labs, 2026.