SUPER: Neue Maßstäbe für die Bewertung von Agenten bei der Durchführung von Aufgaben aus Forschungsspeichern

Einführung

In der Welt der künstlichen Intelligenz und des maschinellen Lernens wurde ein neuer Benchmark namens SUPER entwickelt, der die Fähigkeiten von großen Sprachmodellen (Large Language Models, LLMs) bei der Einrichtung und Ausführung von Aufgaben aus Forschungsspeichern bewertet. Diese Entwicklung könnte für die Forschungsgemeinschaft von großem Nutzen sein, da sie Forschern hilft, bestehende Ergebnisse zu validieren, zu verstehen und weiterzuentwickeln.

Hintergrund und Zielsetzung

Die Reproduzierbarkeit von Experimenten und die Fähigkeit, auf der Arbeit anderer Forscher aufzubauen, sind entscheidende Aspekte der wissenschaftlichen Forschung. In der empirischen Forschung im Bereich des maschinellen Lernens (ML) und der natürlichen Sprachverarbeitung (NLP) müssen Forscher oft verschiedene Forschungsexperimente aus Open-Source-Repositories ausführen und reproduzieren, um bestehende Ergebnisse zu validieren oder sie unter neuen Bedingungen zu testen.

In der Praxis ist es jedoch oft eine Herausforderung, den Code aus beliebigen Repositories auszuführen. Die Einrichtung und Ausführung von Experimenten erfordert beträchtliche Anstrengungen, einschließlich der Installation der Umgebung, der Anpassung von Konfigurationen, der Behebung veralteter Paketabhängigkeiten und der Fehlerbehebung. Diese Schritte erfordern ein tiefes Verständnis der Dokumentation und des Repository-Codes sowie die Fähigkeit, den Code entsprechend anzupassen.

Der SUPER-Benchmark

Der SUPER-Benchmark wurde entwickelt, um die Fähigkeit von LLMs zu bewerten, Aufgaben in Forschungsspeichern autonom einzurichten und auszuführen. Der Benchmark besteht aus drei verschiedenen Problemsätzen:

• 45 End-to-End-Probleme mit annotierten Expertenlösungen
• 152 Teilprobleme, die aus dem Expertensatz abgeleitet wurden und sich auf spezifische Herausforderungen konzentrieren (z.B. die Konfiguration eines Trainers)
• 602 automatisch generierte Probleme für die groß angelegte Entwicklung

Zur Bewertung der Agenten auf den Expertensätzen und den Maskierten Sätzen, für die es Goldlösungen gibt, werden ihre Antworten mit den Goldlösungen verglichen. Für die automatisch generierten Probleme, für die es keine Goldlösungen gibt, wird überprüft, ob ein Schlüssel-Skript erfolgreich ohne Ausnahmen ausgeführt wurde.

Herausforderungen und Ergebnisse

Die Bewertung zeigt, dass selbst die besten Modelle, wie GPT-4, Schwierigkeiten haben, viele der Probleme korrekt zu lösen. Das beste Modell löste nur 16,3% der End-to-End-Aufgaben und 46,1% der Szenarien. Diese Ergebnisse verdeutlichen die Herausforderungen, denen sich LLM-basierte Experiment-Ausführungssysteme stellen müssen.

Eine Analyse der Modellszenarien zeigt, dass Agenten besser darin sind, gut spezifizierte Teilprobleme zu lösen, wie z.B. das Beheben von Ausnahmen, Fehlern und anderen Problemen, als Aufgaben, die eine Erkundung des Repositorys und der Dateien zur Verständnis der Code-Struktur erfordern.

Vergleich mit anderen Benchmarks

Der SUPER-Benchmark unterscheidet sich von anderen Code-Ausführungsbenchmarks durch seine Fokussierung auf weniger bekannte Repositories, die oft nicht gut dokumentiert oder gepflegt sind. Im Vergleich zu anderen Benchmarks erfordert SUPER eine umfassendere Repository-Verständnis und eine Ergebnisbasierte Bewertung.

Im Vergleich mit vier anderen verwandten Benchmarks zeigt SUPER, dass es eine breitere Palette von Herausforderungen testet und eine größere Anzahl von Quelle-Repositories und Problemen umfasst.

Schlussfolgerung

Der SUPER-Benchmark stellt eine wertvolle Ressource für die Forschungsgemeinschaft dar, um Fortschritte bei der autonomen Einrichtung und Ausführung von Aufgaben aus Forschungsspeichern zu machen und zu messen. Die Herausforderungen, die SUPER aufzeigt, verdeutlichen die Komplexität dieser Aufgaben und bieten eine Grundlage für die Weiterentwicklung von LLM-basierten Systemen zur Experiment-Ausführung.

Bibliographie

- https://arxiv.org/abs/2409.07440 - https://deeplearn.org/arxiv/526413/super:-evaluating-agents-on-setting-up-and-executing-tasks-from-research-repositories - https://arxiv.org/html/2409.07440v1 - https://twitter.com/SciFi/status/1834125922359726405 - https://arxiv-sanity-lite.com/ - https://github.com/tmgthb/Autonomous-Agents - https://github.com/langroid/langroid - https://icml.cc/virtual/2024/calendar - https://neurips.cc/virtual/2023/papers.html