Zum Inhalt springen
Coding 6 Min. Lesezeit

RepoFactory verändert Code-Repositories zu Trainingsumgebungen für KI-Agenten

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 3 Quellen

KI-generierte Illustration: RepoFactory verändert Code-Repositories zu Trainingsumgebungen für KI-Agenten
KI-generierte Illustration

Das Wichtigste in Kürze

  • RepoFactory erzeugt aus realen Software-Repositories Aufgaben, bei denen ein Agent ein vollständiges Projekt anhand einer Spezifikation neu aufbauen muss. [1] [2]
  • Eine iterative Schleife verändert Aufgaben, Referenzimplementierung und Tests anhand von Validitätsprüfungen sowie Code-Metriken – ohne für jede Änderung einen vollständigen Modell-Rollout abzuwarten. [2]
  • Die Autoren berichten von 10.159 Umgebungen aus 17 Softwaredomänen und Leistungszuwächsen von 22,6 Prozentpunkten auf NL2Repo-Bench sowie durchschnittlich 8,5 Punkten auf fünf Benchmarks. [1] [2]
  • Im Vergleich zu Umgebungen ohne Evolution schreiben die Autoren der Schleife zusätzliche 5,1 Punkte auf NL2Repo-Bench und 2,1 Punkte im Benchmark-Mittel zu; unabhängige Bestätigung der Resultate liegt in den bereitgestellten Quellen nicht vor. [2]
Inhalt · 7 Abschnitte
  1. Trainingsaufgaben sollen vollständige Entwicklungsarbeit abbilden
  2. Wie aus einem Repository eine prüfbare Umgebung wird
  3. Eine Evolutionsschleife statt einmaliger Abnahme
  4. Code-Metriken sind Stellvertreter, keine direkte Qualitätsmessung
  5. Skalierung und Trainingsergebnisse
  6. Einordnung neben anderen Umgebungsansätzen
  7. Bedeutung für Unternehmen und Grenzen der Übertragbarkeit
  8. Quellen

Trainingsaufgaben sollen vollständige Entwicklungsarbeit abbilden

RepoFactory setzt an einer Grenze des bisherigen Trainings für Coding-Agenten an: Viele Aufgaben betreffen Fehlerkorrekturen oder einzelne Funktionen, während längere Entwicklungsaufträge mehrere Komponenten und Dateien umfassen können. Das vorgestellte Verfahren nimmt deshalb reale Software-Repositories als Ausgangspunkt und formt daraus Aufgaben, bei denen ein Agent ein vollständiges Projekt von Grund auf rekonstruiert. Als Eingabe erhält er eine natürlichsprachliche Spezifikation, nicht aber das ursprüngliche Repository. [2]

Die Arbeit ist als arXiv-Fassung vom 16. November 2026 datiert. Die Ergebnisse und Leistungsangaben stammen von den Autoren; die vorliegenden Quellen enthalten keine unabhängige Replikation. Die Hugging-Face-Papierseite fasst dieselben zentralen Angaben zusammen und verweist auf die vollständige Arbeit. [1] [2]

Wie aus einem Repository eine prüfbare Umgebung wird

Eine Umgebung besteht im Verfahren aus einer Aufgabenbeschreibung, einem isolierten Arbeitsbereich mit Laufzeitumgebung, einem Prüfmechanismus und einer Referenzimplementierung. Der Agent bearbeitet die Aufgabe, indem er das Projekt aufbaut; Tests bewerten anschließend das Ergebnis. Während der Lösung sind die ursprüngliche Implementierung und der Auswertungscode nicht zugänglich. Damit soll die Aufgabe nicht durch bloßes Kopieren des Ausgangscodes lösbar sein. [2]

Für die Auswahl prüfen die Autoren öffentliche Code-Repositories. Ausgeschlossen werden Projekte, die in etablierten Coding-Benchmarks enthalten sind, um Überschneidungen mit den späteren Tests zu vermeiden. Geeignete Kandidaten benötigen unter anderem Paketmetadaten und eine nicht leere lokale Testsuite; außerdem nennt die Arbeit mindestens fünf Implementierungsdateien und eine Obergrenze von 40.000 Python-Codezeilen. Projekte mit Abhängigkeit von externen Diensten, ausgehendem Netzwerkzugriff, grafischen Oberflächen oder Spezialhardware werden verworfen. [2]

Anschließend wird das Repository in einer Docker-Umgebung eingerichtet und geprüft. Laut Arbeit wird eine Umgebung nur behalten, wenn sämtliche Tests in einem frischen Container unter begrenzten Ressourcen und ohne Netzwerkzugriff erfolgreich laufen. Eine Analyse des Repositorys erfasst unter anderem öffentliche Klassen und Funktionen, Schnittstellen sowie Symbole, die von den Tests importiert werden. Diese Informationen helfen, Spezifikation und API-Manifest mit den Erwartungen der Tests abzugleichen. [2]

Eine Evolutionsschleife statt einmaliger Abnahme

Der zentrale Unterschied zu einer Pipeline, die eine Umgebung nach erfolgreichem Build lediglich abnimmt, ist die anschließende Überarbeitung. RepoFactory bewertet eine Umgebung anhand dreier Faktoren: ihrer Validität, der strukturellen Kopplung und des Implementierungsumfangs. Die Autoren kombinieren diese Größen in einem multiplikativen Zielwert. Ein Kandidat muss zunächst die Validitätsprüfung bestehen: Die Referenzimplementierung soll volle Punktzahl erreichen, während der unveränderte Arbeitsbereich keine Punkte erhalten darf. [2]

Ist diese Hürde genommen, dienen strukturelle Kopplung und Implementierungsumfang als Näherungswerte für die Trainingsanforderung. Für die Kopplung analysiert das System einen statischen internen Funktionsaufrufgraphen und zählt erreichbare Funktionspaare. Der Umfang berücksichtigt die Codegröße und die Zahl direkter Laufzeitabhängigkeiten. Ein Konstruktionsagent kann daraufhin die Aufgabenbeschreibung, die Referenzimplementierung und die Tests gemeinsam verändern. Nach jeder Änderung wird erneut geprüft, ob die Umgebung weiterhin gültig ist. [2]

Die Schleife kann laut Arbeit bis zu zwölf Überarbeitungsrunden umfassen. Änderungen, die den jeweils optimierten Messwert nicht verbessern, werden verworfen. Für die Rückmeldung sind Prüfungen der Ausführung und Codeanalysen vorgesehen; das Verfahren wartet bei diesen Iterationen nicht darauf, dass ein Trainingsmodell jede Kandidatenaufgabe vollständig löst oder ein nachgelagertes Modelltraining absolviert. Die Autoren beschreiben das als schnellere und kostengünstigere Rückkopplung, veröffentlichen in den vorliegenden Ergebnissen aber keine konkrete Kosten- oder Zeitmessung. [2]

Code-Metriken sind Stellvertreter, keine direkte Qualitätsmessung

Die Wahl der Kennzahlen beeinflusst, was die Schleife als wertvolle Trainingsaufgabe behandelt. Mehr Code oder mehr Abhängigkeiten können auf einen größeren Implementierungsaufwand hindeuten; ein dichterer Aufrufgraph kann auf mehr Verknüpfungen zwischen Funktionen hindeuten. Das sind jedoch indirekte Merkmale. Sie messen nicht unmittelbar, ob eine Aufgabe realistische Entwicklungsentscheidungen verlangt, ob die Tests alle relevanten Fehler erfassen oder ob ein trainierter Agent im Unternehmensalltag zuverlässiger arbeitet. Diese Einschränkung folgt aus der Rolle der Größen als Proxys, wie sie die Autoren selbst beschreiben. [2]

Einen Hinweis auf den Zusammenhang zwischen Umfang und Schwierigkeit liefern die Autoren anhand ihrer Trainingsdaten: Teilen sie Umgebungen nach dem Implementierungsumfang in fünf Gruppen ein, sinkt die mittlere Erfolgsrate der erzeugten Lösungstrajektorien von 23,0 Prozent in der Gruppe mit dem kleinsten Umfang auf 13,4 Prozent in der Gruppe mit dem größten. Das stützt den Umfang als Anhaltspunkt für anspruchsvollere Rekonstruktionen, belegt aber nicht, dass er sämtliche Aspekte von Aufgabenschwierigkeit oder Trainingswert erfasst. [2]

Skalierung und Trainingsergebnisse

RepoFactory umfasst nach Angaben der Autoren 10.159 Umgebungen in 17 Softwaredomänen. Für einen zusätzlichen Trainingsdatensatz ließ das Team Qwen3.8-Max nach eigener Darstellung fünfmal auf jeder Umgebung arbeiten und filterte die Ergebnisse. Übrig blieben 10.947 Lösungstrajektorien aus 5.577 Umgebungen. Der Hauptversuch trainierte dagegen Qwen3.5-35B-A3B auf den Umgebungen und führte zum Modell RepoHorizen-35B-A3B. [2]

Im Vergleich mit dem Ausgangsmodell berichten die Autoren für RepoHorizen-35B-A3B einen Zuwachs von 22,6 Prozentpunkten auf NL2Repo-Bench. Über fünf Benchmarks für langfristige Coding- und agentische Aufgaben hinweg geben sie einen durchschnittlichen Zugewinn von 8,5 Punkten an. Ohne die Environment Evolution Loop hätten die entsprechenden Zugewinne laut Arbeit 17,5 beziehungsweise 6,4 Punkte betragen. Die Autoren schreiben der Schleife damit zusätzliche 5,1 Punkte auf NL2Repo-Bench und 2,1 Punkte im Durchschnitt der fünf Benchmarks zu. [1] [2]

Diese Angaben sind von den Forschern berichtete Benchmarkresultate und keine unabhängige Prüfung der Leistung. Auch der zusätzliche Zugewinn isoliert zunächst den Beitrag der Schleife innerhalb des beschriebenen Versuchsaufbaus; aus den verfügbaren Texten folgt nicht, dass derselbe Effekt bei anderen Modellen, Datensätzen oder Einsatzbedingungen eintritt. [2]

Einordnung neben anderen Umgebungsansätzen

Ein Vergleich mit ProgramGym verdeutlicht, dass die Konstruktion prüfbarer Aufgaben für Coding-Agenten mehrere unterschiedliche Schwerpunkte umfasst. ProgramGym beschreibt Umgebungen aus Repositorys und eine rückkopplungsgestützte Verbesserung von Laufzeit-Sandboxes und Black-Box-Tests. Das Projekt nennt 1.648 Umgebungen für C, C++, Go und Rust. RepoFactory setzt den Schwerpunkt dagegen auf vollständige Repository-Rekonstruktion und optimiert neben der Validität ausdrücklich auch Implementierungsumfang und strukturelle Kopplung. [2] [3]

Die beiden Ansätze sind daher nicht allein anhand ihrer Umgebungszahlen oder Trainingsresultate vergleichbar: Sie unterscheiden sich in Aufgabenform, Sprachabdeckung und Verfahren. ProgramGym berichtet etwa Resultate auf ProgramBench, während RepoFactory seine zentralen Zugewinne unter anderem auf NL2Repo-Bench und weiteren Benchmarks ausweist. Ein direkter Leistungsvergleich lässt sich aus den bereitgestellten Angaben nicht ableiten. [2] [3]

Bedeutung für Unternehmen und Grenzen der Übertragbarkeit

Für Unternehmen ist vor allem das Konstruktionsprinzip relevant: Trainingsaufgaben müssen nicht nur ausführbar sein, sondern können zusätzlich darauf geprüft werden, ob sie nennenswerten Implementierungs- und Integrationsaufwand verlangen. Das könnte helfen, Datensätze systematischer zu kuratieren, statt allein die Zahl der Aufgaben zu erhöhen. Diese Einordnung ist eine Analyse des Verfahrens; die Studie weist nicht nach, dass RepoFactory bereits die Produktivität oder Qualität von Entwicklungsprozessen in Unternehmen verbessert. [2]

Die beschriebene Auswahl stützt sich auf öffentliche Code-Hosting-Plattformen und schließt bestimmte Repositorys nach technischen Kriterien aus. Die Arbeit belegt damit nicht, dass der Ablauf unverändert mit internen, vertraulichen Codebasen funktioniert. Für einen Unternehmenseinsatz wären insbesondere die eigene Umgebung, Berechtigungen und die Eignung vorhandener Tests zu prüfen; das sind Anforderungen, die sich aus dem beschriebenen Verfahren ergeben, nicht getestete Resultate der Studie. [2]

Auch die Freigabeangaben sollten eng gelesen werden: In einem Beitrag auf der Hugging-Face-Seite kündigt ein Einreicher eine erste Auswahl von 200 nicht evolvierten Umgebungen samt Docker-Images an. Diese Mitteilung belegt nicht, dass die gesamte Sammlung von 10.159 Umgebungen bereits verfügbar ist. [1]

Quellen

  1. [1] Paper page - From Repositories to Training Environments: Scaling Long-Horizon Coding Agents with Environment Evolution Loop — https://huggingface.co/papers/2611.21152 (abgerufen am 2026-11-18)
  2. [2] From Repositories to Training Environments: Scaling Long-Horizon Coding Agents with Environment Evolution Loop — https://arxiv.org/html/2611.21152v1 (abgerufen am 2026-11-18)
  3. [3] Paper page - ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents — https://huggingface.co/papers/2610.13395 (abgerufen am 2026-11-18)

Nächster Artikel

Coding

Coding-Agenten arbeiten oft weiter, obwohl der erste korrekte Patch bereits vorliegt

Eine Studie zu fünf Modellen zeigt: Coding-Agenten lösen viele Aufgaben früh, verbrauchen danach weitere Schritte und verlieren gelegentlich einen korrekten Patch.

Artikel teilen

Bei Google bevorzugen

Mehr zu KI-Coding

Alle Coding-News

Dranbleiben

Mindverse News folgen

Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.

Recherchieren Sie KI-News wie diese selbst – mit Mindverse Studio.

7 Tage kostenlos testen – ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.

Chronik

Rund um den 18. November 2026

Alle Meldungen vom November 2026