Code2Skill macht Open Source für KI Agenten nutzbar

Welche Leistungsverbesserungen die Studie berichtet

Die Autoren evaluieren Code2Skill nach eigenen Angaben in 72 protokollkonformen Testreihen. Berücksichtigt wurden neun Modelleinstellungen und acht Benchmarks. Systeme, die auf abgerufene Skills aus der CodeSkillBank zurückgreifen konnten, verbesserten ihre Ergebnisse im Durchschnitt um 11,7 Prozent gegenüber passenden Baselines.

In 57 der ausgewerteten Fälle lagen die mit Skills erweiterten Systeme vor den jeweiligen Vergleichssystemen. Diese Zahl beschreibt nicht notwendigerweise einen gleichmäßigen Vorteil über alle Aufgaben hinweg. Sie zeigt vielmehr, dass die Ergebnisse je nach Modell, Benchmark und Konfiguration unterschiedlich ausfallen können.

Für die Bewertung ist daher entscheidend, dass der angegebene Durchschnitt nicht als universelle Leistungssteigerung jedes Agenten interpretiert wird. Die Resultate hängen unter anderem davon ab, wie Skills abgerufen werden, wie gut sie zur jeweiligen Aufgabe passen und ob das verwendete Modell die zusätzlichen Informationen effektiv verarbeiten kann.

Die Studie vergleicht den Ansatz außerdem mit aus Agenten-Trajektorien abgeleiteten Skill-Bibliotheken. Unter einer einheitlichen nachgelagerten Schnittstelle habe Code2Skill auf allen sieben gemeinsam ausgewerteten Benchmarks bessere Ergebnisse erzielt, heißt es in der Veröffentlichung.

Dieser Vergleich ist vor allem deshalb interessant, weil beide Verfahren unterschiedliche Ausgangspunkte besitzen. Trajektorien zeigen, wie ein Agent eine Aufgabe in einer bestimmten Umgebung tatsächlich bearbeitet hat. Codebasierte Skills können dagegen schon vorliegen, bevor ein Agent eigene Interaktionen gesammelt hat. Daraus ergibt sich ein potenzieller Vorteil für neue Agenten, die noch nicht über umfangreiche Erfahrungsdaten verfügen.

Die Bedeutung für die Softwareentwicklung

Die unmittelbarste Anwendung liegt in der Unterstützung von Entwicklungsagenten. Moderne Coding-Agenten sollen Code verstehen, Funktionen aufrufen, Schnittstellen integrieren, Tests erstellen und Fehler in bestehenden Anwendungen beheben. Dafür müssen sie die Architektur und die Geschäftslogik eines Projekts erfassen.

Eine Codebasis enthält häufig implizites Wissen, das nur teilweise in der offiziellen Dokumentation abgebildet ist. Dazu gehören Abhängigkeiten zwischen Modulen, interne Konventionen, notwendige Reihenfolgen von Operationen oder Sonderfälle bei der Fehlerbehandlung. Ein automatisierter Prozess zur Umwandlung dieses Wissens in strukturierte Skills könnte den Zugang zu solchen Informationen vereinfachen.

In einem Entwicklungsteam könnten Skills beispielsweise dazu dienen:

- wiederkehrende Abläufe für die Nutzung interner APIs zu beschreiben

- typische Test- und Debugging-Prozesse bereitzustellen

- Funktionen und Werkzeuge für einen Agenten standardisiert zugänglich zu machen

- Geschäftslogik aus bestehenden Komponenten nachvollziehbarer zu dokumentieren

- Codeänderungen gegen bekannte Implementierungsmuster zu prüfen

- neue Teammitglieder oder automatisierte Systeme schneller mit einer Codebasis vertraut zu machen

Die praktische Einführung setzt allerdings voraus, dass Skills mit den jeweiligen Versionen der Software synchronisiert werden. Eine Fähigkeit, die aus einem älteren Stand des Quellcodes abgeleitet wurde, kann für eine spätere Version unzutreffend sein. Für Unternehmen entsteht damit eine neue Aufgabe: Skills müssen wie Softwareartefakte versioniert, getestet und überwacht werden.

Potenzial jenseits der Programmierung

Obwohl die Datengrundlage aus Software-Repositories stammt, ist der zugrunde liegende Gedanke nicht ausschließlich auf Coding-Agenten beschränkt. Viele geschäftliche Abläufe werden durch Software implementiert und lassen sich über vorhandene Prozesslogik zumindest teilweise nachvollziehen.

Ein Agent könnte beispielsweise aus Integrationscode ableiten, wie Daten zwischen Systemen übertragen werden, welche Validierungen erforderlich sind oder wie ein Fehlerzustand behandelt wird. In einem Kundendienstsystem könnten Skills den Ablauf einer Anfragebearbeitung unterstützen. In einer Datenpipeline könnten sie beschreiben, welche Schritte für die Verarbeitung und Prüfung von Informationen erforderlich sind.

Die Übertragbarkeit hängt jedoch stark vom jeweiligen Einsatzgebiet ab. Quellcode bildet technische Prozesse ab, aber nicht automatisch alle organisatorischen, rechtlichen oder geschäftlichen Rahmenbedingungen. Ein Skill kann korrekt wiedergeben, wie eine Schnittstelle angesprochen wird, ohne zu entscheiden, ob ein bestimmter Datenzugriff rechtlich oder geschäftlich zulässig ist.

Für produktive Anwendungen sollte Code daher als eine Informationsquelle unter mehreren betrachtet werden. Unternehmensrichtlinien, Zugriffsrechte, Datenschutzvorgaben und Freigabeprozesse müssen zusätzlich berücksichtigt werden.

Warum die Verifizierbarkeit ein zentraler Faktor ist

Ein wiederverwendbarer Skill kann die Leistungsfähigkeit eines Agenten nur dann zuverlässig verbessern, wenn er selbst hinreichend belastbar ist. Automatisch erzeugte Anleitungen bergen grundsätzlich das Risiko, dass sie unvollständig, missverständlich oder sachlich falsch sind. Bei agentischen Systemen kann ein solcher Fehler direkte Folgen haben, weil der Agent die Anleitung nicht nur liest, sondern daraus Aktionen ableitet.

Code2Skill versucht dieses Risiko durch mehrere Ebenen der Prüfung zu verringern. Die wichtigste Grundlage ist die Verbindung zwischen natürlicher Beschreibung und ausführbarer Implementierung. Der Skill soll aufzeigen, was getan wird, während der Quellcode belegt, wie dieser Ablauf technisch umgesetzt ist.

Die Rekonstruktion ohne den ursprünglichen Funktionskörper stellt dabei eine zusätzliche Hürde dar. Sie soll verhindern, dass ein Datensatz nur deshalb als korrekt gilt, weil die Bewertungslogik weiterhin auf den Originalcode zugreifen kann. Erst wenn aus der abstrahierten Beschreibung eine vergleichbare Lösung hervorgeht, wird der Datensatz als akzeptiert betrachtet.

Für den Einsatz in Unternehmen sind darüber hinaus weitere Prüfungen erforderlich:

- Kontrolle der Lizenzbedingungen des Ausgangsrepositories

- Prüfung auf Sicherheitslücken und schädliche Abhängigkeiten

- Erkennung von Prompt-Injection-Inhalten in Dokumentationen und Konfigurationsdateien

- Abgleich mit internen Datenschutz- und Compliance-Vorgaben

- regelmäßige Aktualisierung bei Änderungen am Quellcode

- menschliche Freigabe für risikoreiche oder geschäftskritische Skills

Die technische Verifikation eines Ablaufs ist daher nicht mit einer vollständigen Sicherheits- oder Compliance-Prüfung gleichzusetzen.

Der Umgang mit Open-Source-Quellcode

Die Verwendung öffentlicher Repositories schafft eine große Datenbasis, wirft aber auch rechtliche und organisatorische Fragen auf. Open-Source-Software wird unter unterschiedlichen Lizenzen veröffentlicht. Diese Lizenzen können Bedingungen für Weitergabe, Namensnennung, Offenlegung von Änderungen oder kommerzielle Nutzung enthalten.

Ein aus Quellcode abgeleiteter Skill ist nicht zwangsläufig rechtlich identisch mit dem ursprünglichen Code. Dennoch kann die Beziehung zwischen Skill, Implementierung und Lizenz relevant sein. Unternehmen müssen deshalb klären, welche Bestandteile übernommen, abstrahiert oder weitergegeben werden und welche Lizenzpflichten daraus entstehen.

Auch die Qualität der Repositories ist uneinheitlich. Ein öffentlich verfügbares Projekt muss weder sicher noch aktuell noch professionell gepflegt sein. Die in der Studie genannten 19.769 Repositories wurden als populär und aktiv gewartet beschrieben. Das reduziert bestimmte Risiken, schließt Fehler, Sicherheitsprobleme oder ungeeignete Implementierungsmuster jedoch nicht aus.

Für eine kommerzielle Nutzung sollte die Herkunft jedes Skills nachvollziehbar bleiben. Ein Provenienzfeld kann dabei helfen, den zugrunde liegenden Repository-Stand, die Codeeinheit und den Zeitpunkt der Erstellung zu dokumentieren.

Ergebnisse zu durch KI erzeugtem Code

Ein weiterer Befund der Veröffentlichung betrifft Skills, die aus getesteten, von KI erzeugten Codebeispielen abgeleitet wurden. Für diese Einträge wird eine Bestehensrate von 93,50 Prozent berichtet. Bei Skills aus von Menschen geschriebenem Code lag die entsprechende Rate laut Studie bei 93,00 Prozent.

Der geringe Unterschied sollte vorsichtig interpretiert werden. Er bedeutet nicht, dass KI-generierter Code grundsätzlich genauso zuverlässig oder qualitativ gleichwertig wie menschlich erstellter Code ist. Die Werte beziehen sich auf die konkrete Testauswahl und die jeweiligen Prüfbedingungen der Studie.

Der Befund zeigt jedoch eine mögliche Entwicklung: Wenn KI-gestütztes Programmieren weiter zunimmt, könnte auch die Menge an maschinell erzeugtem Quellcode wachsen, die als Grundlage für neue Skills dient. Eine automatisierte Pipeline könnte diese zusätzlichen Implementierungen erfassen und in eine kontinuierlich wachsende Wissensbasis überführen.

Damit entsteht zugleich ein Risiko für Rückkopplungseffekte. Wenn KI-generierter Code wieder zur Ausbildung neuer KI-Systeme verwendet wird, können sich Fehler, unklare Muster oder ungeeignete Konventionen vervielfältigen. Qualitätssicherung, Quellenkennzeichnung und unabhängige Tests werden daher wichtiger, je stärker sich solche Systeme gegenseitig speisen.

Was die Ergebnisse für Unternehmen bedeuten

Für Unternehmen liegt der mögliche Nutzen von Code2Skill weniger in der bloßen Größe der Datenbank als in der systematischen Verknüpfung von Wissen und Belegen. Eine Skill-Bibliothek kann die Einführung von Agenten unterstützen, wenn sie eng an reale Software, klare Prozesse und überprüfbare Ergebnisse gekoppelt ist.

Vor einer produktiven Nutzung sollten Verantwortliche mehrere Fragen beantworten:

- Welche internen Repositories dürfen analysiert werden?

- Welche Geschäftslogik darf ein Agent kennen und ausführen?

- Wie werden Skills versioniert und bei Codeänderungen aktualisiert?

- Welche Tests müssen vor der Freigabe eines Skills erfolgreich sein?

- Wie wird verhindert, dass ein Agent veraltete oder widersprüchliche Fähigkeiten abruft?

- Welche Aktionen erfordern eine menschliche Bestätigung?

- Wie werden Zugriffe, Entscheidungen und ausgeführte Workflows protokolliert?

- Wie lässt sich die Nutzung fremder Open-Source-Bestandteile rechtlich bewerten?

Ein sinnvoller Einstieg kann in einem begrenzten, risikoarmen Anwendungsbereich erfolgen. Geeignet sind beispielsweise interne Entwicklungsprozesse, Testautomatisierung oder die Unterstützung bei der Suche nach bekannten Implementierungsmustern. Kritische Anwendungen mit Auswirkungen auf Finanzen, personenbezogene Daten oder externe Systeme sollten zunächst unter strengen Freigabe- und Überwachungsregeln betrieben werden.

Einordnung der berichteten Leistungswerte

Die in der Veröffentlichung genannten Verbesserungen sind aussagekräftig für die dort gewählten Evaluationsbedingungen, aber nicht automatisch auf jede Unternehmensumgebung übertragbar. Benchmarks bilden nur bestimmte Aufgabentypen und Nutzungsszenarien ab. In der Praxis kommen weitere Faktoren hinzu, etwa unvollständige Dokumentation, proprietäre Systeme, wechselnde Datenformate und individuelle Berechtigungsmodelle.

Auch die Qualität des Retrievals ist entscheidend. Ein Agent kann nur dann von einer SkillBank profitieren, wenn er den passenden Skill findet, dessen Kontext korrekt versteht und ihn in die aktuelle Situation übertragen kann. Werden zu viele oder unpassende Skills abgerufen, kann dies die Entscheidungsqualität sogar beeinträchtigen.

Hinzu kommt die Frage der Aktualität. Ein Skill, der zum Zeitpunkt der Repository-Analyse korrekt war, kann nach einer Änderung an einer API oder Datenstruktur veraltet sein. Ein produktionsfähiges System benötigt deshalb Mechanismen zur Erkennung von Änderungen und zur erneuten Validierung betroffener Skills.

Die Studie liefert damit vor allem Hinweise auf die Machbarkeit eines skalierbaren Ansatzes. Sie ersetzt keine individuelle Evaluierung durch Unternehmen, die den Einsatz in einer konkreten technischen und rechtlichen Umgebung prüfen müssen.

Die Rolle von Skill-Hubs und standardisierten Schnittstellen

Damit Skills in verschiedenen Agentensystemen genutzt werden können, müssen sie in einer geeigneten Form bereitgestellt werden. Die Projektmaterialien verweisen auf DeveloperSkillHubs als Umgebung für Präsentation und Zugriff auf die entwickelten Ressourcen. Die CodeSkillBank bildet dabei die Datensammlung, während Code2Skill den Erzeugungsprozess bezeichnet.

Eine solche Trennung in Methode, Datensatz und Nutzungsschicht ist für die Weiterentwicklung wichtig. Die Pipeline kann unabhängig von der konkreten Agentenplattform verbessert werden. Der Datensatz kann versioniert und evaluiert werden. Eine Anwendungsschicht kann schließlich bestimmen, welche Fähigkeiten ein bestimmtes Modell in welchem Kontext abruft.

Für B2B-Anwendungen sind standardisierte Schnittstellen besonders relevant. Unternehmen betreiben häufig mehrere Modelle, Entwicklungsumgebungen und Automatisierungsplattformen. Skills sollten daher möglichst portabel sein und sich mit unterschiedlichen Agenten, Werkzeugen und Berechtigungsmodellen verbinden lassen.

Die praktische Interoperabilität ist allerdings noch eine offene Herausforderung. Unterschiedliche Plattformen verwenden verschiedene Formate für Werkzeuge, Systemanweisungen, Tests und Kontext. Ein Skill, der für eine Umgebung optimal strukturiert ist, muss nicht ohne Anpassung in einer anderen Umgebung funktionieren.

Sicherheitsrisiken bei der automatisierten Skill-Erzeugung

Die automatische Analyse fremder Repositories ist mit Sicherheitsrisiken verbunden. Quellcode, Installationsskripte, Konfigurationsdateien und Dokumentationen können unbeabsichtigte Schwachstellen oder absichtlich manipulierte Inhalte enthalten. Bei agentischen Systemen kommt hinzu, dass natürliche Sprache innerhalb eines Repositorys als Anweisung interpretiert werden könnte.

Mehrere in der Open-Source-Community veröffentlichte Projekte, die Repositories in Skills oder Kontextdateien umwandeln, weisen deshalb auf die Gefahr von Prompt Injection und Supply-Chain-Angriffen hin. Diese Projekte sind nicht mit der wissenschaftlichen Code2Skill-Pipeline gleichzusetzen, zeigen aber, dass die Sicherheitsfrage das gesamte Anwendungsfeld betrifft.

Ein belastbarer Prozess sollte ein Repository zunächst prüfen, bevor es analysiert oder in eine Agentenwissensbasis aufgenommen wird. Dazu können statische Sicherheitsanalysen, Abhängigkeitsprüfungen, Lizenzscans und die gezielte Untersuchung von Installations- und Workflow-Dateien gehören.

Darüber hinaus sollte ein erzeugter Skill nicht automatisch über weitreichende Berechtigungen verfügen. Die Fähigkeit, einen Ablauf zu beschreiben, muss von der Berechtigung getrennt werden, diesen Ablauf tatsächlich auszuführen. Ein Agent kann wissen, wie eine Datenbankoperation funktioniert, ohne automatisch Zugriff auf produktive Daten zu erhalten.

Transparenz und menschliche Kontrolle

Die Nachvollziehbarkeit der Skill-Herkunft ist eine wichtige Voraussetzung für verantwortbare Agentensysteme. Wenn ein Agent eine Handlung auf Basis eines abgerufenen Skills vorbereitet, sollten Betreiber möglichst erkennen können, welcher Datensatz verwendet wurde, aus welcher Codebasis er stammt und wann er zuletzt geprüft wurde.

Für kritische Prozesse empfiehlt sich eine mehrstufige Kontrolle:

- Der Agent ruft einen oder mehrere passende Skills ab.

- Das System prüft, ob Skill, Softwareversion und Berechtigungen zusammenpassen.

- Ein Test- oder Simulationsschritt bewertet den geplanten Ablauf.

- Ein Mensch bestätigt risikoreiche Aktionen.

- Die Ausführung und ihr Ergebnis werden protokolliert.

Diese Kontrollen können die Automatisierung verlangsamen. Sie schaffen jedoch eine nachvollziehbare Grenze zwischen unterstützender Assistenz und vollständig autonomer Ausführung. Welche Kontrollstufe angemessen ist, hängt vom Schadenspotenzial der jeweiligen Anwendung ab.

Offene Fragen der Forschung

Die Veröffentlichung beschreibt einen umfangreichen technischen Ansatz, lässt aber zugleich mehrere Fragen für weitere Untersuchungen offen. Dazu gehört zunächst die langfristige Qualität der erzeugten Skills. Ein Skill kann bei der initialen Prüfung korrekt erscheinen, sich aber in einer veränderten Umgebung anders verhalten.

Auch die Übertragbarkeit zwischen Projekten ist nicht garantiert. Ein Muster, das in einem Repository sinnvoll ist, kann in einer anderen Architektur ungeeignet sein. Agenten müssen deshalb zwischen allgemeinem Prinzip und projektspezifischer Umsetzung unterscheiden können.

Weitere offene Themen sind die Bewertung von Skills für nichttechnische Aufgaben, der Umgang mit widersprüchlichen Implementierungen und die Priorisierung konkurrierender Fähigkeiten. Wenn mehrere Repositories unterschiedliche Lösungen für dasselbe Problem enthalten, muss ein Agent Kriterien für Auswahl und Vertrauenswürdigkeit besitzen.

Schließlich bleibt zu untersuchen, wie sich die Größe einer SkillBank auf die tatsächliche Leistung auswirkt. Mehr Einträge bedeuten nicht automatisch mehr Nutzen. Entscheidend sind die Qualität der Skills, die Präzision der Suche, die Aktualität der Belege und die Fähigkeit des Modells, die Informationen in eine konkrete Handlung umzusetzen.

Relevanz für die Entwicklung von KI-Produkten

Für Anbieter von KI-Anwendungen zeichnet sich ein Wandel von statischen Wissensquellen hin zu überprüfbaren, ausführungsnahen Wissensbausteinen ab. Agenten benötigen nicht nur Zugriff auf Dokumente, sondern auch auf strukturierte Handlungsanweisungen, Werkzeuge und Testmechanismen.

Code2Skill steht in diesem Zusammenhang für einen Ansatz, der die technische Grundlage solcher Wissensbausteine automatisiert erschließen möchte. Die Methode könnte insbesondere dort interessant sein, wo große Mengen an bestehendem Code vorhanden sind, die bisher nur schwer für agentische Systeme zugänglich waren.

Für Plattformen wie Mindverse ist diese Entwicklung im weiteren Kontext relevant. Ein KI-Partner für Text, Inhalte, Bilder und Recherche muss zunehmend nicht nur Informationen generieren, sondern auch Quellen bewerten, Prozesse nachvollziehbar strukturieren und mit spezialisierten Werkzeugen arbeiten können. Eine belastbare Skill-Schicht kann dabei helfen, wiederkehrende Aufgaben konsistenter und kontrollierbarer abzubilden.

Gleichzeitig bleibt die technische Infrastruktur nur ein Teil der Lösung. Unternehmen benötigen klare Rollenmodelle, Sicherheitsvorgaben, Freigabeprozesse und eine laufende Qualitätskontrolle. Der Wert eines Agenten entsteht nicht allein durch die Anzahl verfügbarer Skills, sondern durch deren sichere Einbettung in Geschäftsprozesse.

Fazit

Code2Skill beschreibt einen Ansatz, mit dem prozedurales Wissen aus Open-Source-Quellcode automatisiert für KI-Agenten nutzbar gemacht werden soll. Die Methode verbindet Codeanalyse, strukturierte Skill-Erzeugung, Rekonstruktion ohne direkten Zugriff auf den ursprünglichen Funktionskörper und einen Vergleich mit der zugrunde liegenden Implementierung.

Die berichtete Verarbeitung von 19.769 Repositories und die Erstellung von 1.006.822 akzeptierten Datensätzen verdeutlichen den Skalierungsanspruch des Projekts. Die ebenfalls gemeldeten Verbesserungen in verschiedenen Benchmarks sprechen dafür, dass codebasierte Skills eine zusätzliche Wissensquelle für Agenten darstellen können, insbesondere bevor diese umfangreiche eigene Interaktionserfahrungen gesammelt haben.

Für die Praxis sind jedoch mehrere Einschränkungen zu beachten. Die Ergebnisse stammen aus einem Preprint, die Tests bilden nicht jede Unternehmensumgebung ab, und die automatische Umwandlung von Quellcode in Agentenfähigkeiten erzeugt rechtliche, sicherheitsbezogene und organisatorische Anforderungen.

Der entscheidende nächste Schritt liegt daher nicht allein in noch größeren SkillSammlungen. Wichtig sind verlässliche Herkunftsnachweise, kontinuierliche Tests, Versionskontrolle, präzises Retrieval und klar definierte Grenzen für die Ausführung. Wenn diese Voraussetzungen erfüllt werden, kann die systematische Aufbereitung von Softwarewissen zu einem wichtigen Baustein für leistungsfähigere und besser nachvollziehbare KI-Agenten werden.

Quellen

1. Yongqi Tong, Pan Wang, Hang Wang, Jianshe Li, Xin Zhang, Jiang-Ming Yang, Wei Wu: „Grounded Skill Synthesis from Code at Scale for Agentic Intelligence“, arXiv:2609.05571, veröffentlicht am 4. September 2026. https://arxiv.org/abs/2609.05571
2. HTML-Version der wissenschaftlichen Veröffentlichung: https://arxiv.org/html/2609.05571v1
3. Hugging Face Papers: „Grounded Skill Synthesis from Code at Scale for Agentic Intelligence“. https://huggingface.co/papers/2609.05571
4. Hugging Face Dataset: ant-intl/DeveloperSkills-Code2Skill, CodeSkillBank. https://huggingface.co/datasets/ant-intl/DeveloperSkills-Code2Skill
5. DeveloperSkillHubs, Projektseite zur Code2Skill-Forschung. https://ant-international-research.github.io/developer-skill-hubs/
6. HuggingPapers, Beitrag und Thread zu Code2Skill, veröffentlicht am 21. September 2026. https://x.com/HuggingPapers/status/2102008836865352067
7. leechen298/Code2Skill, GitHub-Projekt zur Umwandlung bestehender Software in Funktionen, MCP-Werkzeuge, Agenten-Skills und Offline-Testpakete. https://github.com/leechen298/Code2Skill
8. oceanusXXD/code2skill, GitHub-Projekt zur Extraktion von Repository-Kontext und Skill-Dokumenten. https://github.com/oceanusXXD/code2skill
9. Lilian-nan/repo2skill, GitHub-Projekt zur Umwandlung von GitHub-Repositories in Skills mit vorgelagerter Sicherheitsprüfung. https://github.com/Lilian-nan/repo2skill