SWE bench java Ein neuer Benchmark für die Lösung von GitHub Issues in Java

Veröffentlichung und kontinuierliche Pflege

Wir haben das Dataset von SWE-bench-java öffentlich freigegeben, zusammen mit der entsprechenden Docker-basierten Evaluierungsumgebung und einer Bestenliste, die in den kommenden Monaten kontinuierlich gepflegt und aktualisiert wird. Diese Infrastruktur ermöglicht es Entwicklern und Forschern, ihre Modelle und Lösungen auf einfache Weise zu testen und zu vergleichen.

Überprüfung der Zuverlässigkeit

Um die Zuverlässigkeit von SWE-bench-java zu überprüfen, haben wir eine klassische Methode namens SWE-agent implementiert und mehrere leistungsstarke LLMs darauf getestet. Die Entwicklung eines hochwertigen, mehrsprachigen Benchmarks ist bekanntlich zeitaufwendig und arbeitsintensiv. Daher begrüßen wir Beiträge durch Pull-Requests oder Zusammenarbeit, um die Iteration und Verfeinerung des Benchmarks zu beschleunigen und den Weg für vollautomatisierte Programmierung zu ebnen.

Warum ist SWE-bench-java wichtig?

Die Einführung von SWE-bench-java ist ein bedeutender Schritt in der Weiterentwicklung der Evaluierungsmechanismen für Sprachmodelle. Während viele Benchmarks sich auf einfache oder isolierte Aspekte der Programmierung konzentrieren, stellt SWE-bench-java realistische, komplexe Herausforderungen dar, die in der realen Welt auftreten. Dies umfasst das Verständnis und die Koordination von Änderungen über mehrere Funktionen, Klassen und Dateien hinweg, was ein tiefes Verständnis und eine komplexe Argumentation erfordert, die weit über die traditionelle Code-Generierung hinausgehen.

Ergebnisse und Zukunftsperspektiven

Unsere Evaluierungen zeigen, dass sowohl proprietäre Modelle als auch unser fein abgestimmtes Modell SWE-Llama nur die einfachsten Issues lösen können. Fortschritte bei SWE-bench-java repräsentieren daher Schritte in Richtung praktischere, intelligentere und autonomere Sprachmodelle. Wir hoffen, dass diese Arbeit die Forschung und Entwicklung in diesem Bereich vorantreiben wird und freuen uns auf zukünftige Beiträge und Verbesserungen.

Schlussfolgerung

SWE-bench-java stellt einen bedeutenden Fortschritt in der Evaluierung von Sprachmodellen dar, indem es die Unterstützung für Java einführt und somit die Anwendungsfälle erweitert. Die kontinuierliche Pflege und Verbesserung des Benchmarks sowie die Einladung zur Zusammenarbeit bieten eine solide Grundlage für zukünftige Entwicklungen und Innovationen in der automatisierten Programmierung.