Verbesserung der Code-Vervollständigung für Low-Resource-Programmiersprachen anhand von Pharo

Die Erweiterung der Code-Vervollständigung durch LLMs für Low-Resource-Sprachen: Eine Fallstudie mit Pharo

Die Einführung großer Sprachmodelle (Large Language Models, LLMs) hat die Landschaft der automatisierten Code-Erstellung und -Vervollständigung grundlegend verändert. Diese Modelle bilden inzwischen das Rückgrat vieler moderner Entwicklungsumgebungen und Tools. Während LLMs in weit verbreiteten Programmiersprachen wie Python oder Java beeindruckende Leistungen erbringen, stoßen sie bei den sogenannten "Low-Resource"-Sprachen oft an ihre Grenzen. Dies sind Sprachen, für die nur begrenzte Trainingsdaten verfügbar sind, was zu einer geringeren Qualität der Code-Vervollständigungstools in diesen Gemeinschaften führt.

Die Herausforderung von Low-Resource-Sprachen in der Code-Vervollständigung

Ein prägnantes Beispiel für eine solche Low-Resource-Sprache ist Pharo. Als eine von Smalltalk inspirierte Sprache bietet ihre integrierte Entwicklungsumgebung (IDE) derzeit lediglich eine einfache Token-Vervollständigung. Dies stellt Entwickler vor Herausforderungen, da sie nicht von den fortschrittlichen und kontextsensitiven Vorschlägen profitieren können, die in Umgebungen für High-Resource-Sprachen Standard sind. Die Knappheit an verfügbaren Trainingsdaten für Pharo erschwert es herkömmlichen LLMs, ein tiefgehendes Verständnis der Sprachstruktur und idiomatischen Muster zu entwickeln.

Ein spezialisierter Ansatz für Pharo

Ein aktuelles Forschungsprojekt hat sich der Aufgabe gewidmet, die LLM-basierte Code-Vervollständigung für Pharo zu verbessern. Die Arbeit beschreibt einen umfassenden End-to-End-Ansatz, der spezifische Schritte zur Anpassung von LLMs an die Besonderheiten von Pharo umfasst. Dieser Ansatz ist in mehrere Kernkomponenten unterteilt:

• Pharo-spezifische Datenaufbereitung: Da die Menge an öffentlich verfügbaren Pharo-Code-Daten begrenzt ist, war ein wesentlicher Schritt die sorgfältige Sammlung, Bereinigung und Aufbereitung relevanter Datensätze. Dies umfasste die Zusammenstellung von Code aus verschiedenen Quellen, um eine möglichst repräsentative Trainingsgrundlage zu schaffen.
• Fortgesetztes Vortraining: Offene Code-LLMs, die ursprünglich auf breiteren Code-Korpora trainiert wurden, wurden einem fortgesetzten Vortraining mit den gesammelten Pharo-Daten unterzogen. Ziel war es, den Modellen ein besseres Verständnis der Syntax, Semantik und typischen Muster von Pharo zu vermitteln, ohne die bereits erlernten Fähigkeiten in anderen Sprachen vollständig zu verlieren.
• Feinabstimmung: Nach dem Vortraining erfolgte eine gezielte Feinabstimmung der Modelle. Dieser Schritt optimierte die Modelle für die spezifische Aufgabe der Code-Vervollständigung in Pharo und zielte darauf ab, die Genauigkeit und Relevanz der generierten Vorschläge zu maximieren.

Entwicklung neuer Benchmarks für Pharo

Um den Erfolg dieses Ansatzes objektiv bewerten zu können, war die Entwicklung spezialisierter Benchmarks unerlässlich. Diese Benchmarks wurden entwickelt, um zwei zentrale Aspekte der Modellleistung zu messen:

• Erlernen der Pharo-Syntax: Die Benchmarks testeten, inwieweit die trainierten Modelle die einzigartige Syntax und Struktur von Pharo korrekt interpretieren und anwenden können. Dies umfasste Tests zur korrekten Verwendung von Schlüsselwörtern, Operatoren und Kontrollstrukturen.
• Genaue Vervollständigung von maskiertem Code: Ein weiterer Fokus lag auf der Fähigkeit der Modelle, maskierten Pharo-Code aus realen GitHub-Repositories präzise zu vervollständigen. Dies simulierte reale Entwicklungsszenarien und bewertete die praktische Anwendbarkeit der Code-Vervollständigung.

Empirische Ergebnisse und deren Implikationen

Die empirischen Ergebnisse des Projekts zeigten eine signifikante Leistungssteigerung: Die auf Pharo spezialisierten Modelle übertrafen ihre ursprünglichen Basis-Checkpoints deutlich. Darüber hinaus übertrafen sie auch die Genauigkeit wesentlich größerer, allgemeiner Code-LLMs bei der Pharo-Vervollständigung. Diese Feststellung ist besonders relevant, da sie darauf hindeutet, dass gezielte Spezialisierung effektiver sein kann als die bloße Skalierung von Modellgrößen, insbesondere für Nischensprachen.

Ein weiterer wichtiger Aspekt der Ergebnisse ist die Effizienz der spezialisierten Modelle. Sie waren klein genug, um in der IDE eine "Echtzeit"-Unterstützung zu bieten, was für die Benutzererfahrung von entscheidender Bedeutung ist. Dies zeigt, dass es möglich ist, leistungsstarke LLM-basierte Code-Vervollständigung auch für Sprachen mit geringen Ressourcen zu implementieren, ohne dabei die Anforderungen an die Rechenleistung unrealistisch zu erhöhen.

Fazit und Ausblick

Die Fallstudie zur Verbesserung der Code-Vervollständigung in Pharo durch LLMs demonstriert die Machbarkeit und den Nutzen eines spezialisierten Ansatzes für Low-Resource-Programmiersprachen. Sie unterstreicht, dass die Anpassung von LLMs durch spezifische Datenaufbereitung, fortgesetztes Vortraining und Feinabstimmung zu überlegenen Ergebnissen führen kann, selbst im Vergleich zu größeren, allgemeineren Modellen. Für Unternehmen, die mit Nischen- oder proprietären Sprachen arbeiten, bietet dieser Ansatz vielversprechende Möglichkeiten, die Produktivität und Entwicklererfahrung durch fortschrittliche Code-Vervollständigung zu steigern. Die Forschung eröffnet neue Perspektiven für die Anwendung von LLMs in der Softwareentwicklung, indem sie zeigt, wie auch weniger verbreitete Sprachen von den Vorteilen dieser Technologie profitieren können.

Bibliographie

- Kier, K., Giagnorio, A., AbedelKader, O., Zaitsev, O., Peharz, R., Robbes, R., Bavota, G., & Ducasse, S. (2026). Teaching LLMs a Low-Resource Language: Enhancing Code Completion in Pharo. arXiv preprint arXiv:2607.04939. - Hugging Face Papers. (n.d.). Paper page - Teaching LLMs a Low-Resource Language: Enhancing Code Completion in Pharo. Abgerufen von https://huggingface.co/papers/2607.04939 - ICSME 2026. (n.d.). Teaching LLMs a Low-Resource Language: Enhancing Code Completion in Pharo (ICSME 2026 - Research Papers Track). Abgerufen von https://conf.researchr.org/details/icsme-2026/icsme-2026-papers/7/Teaching-LLMs-a-Low-Resource-Language-Enhancing-Code-Completion-in-Pharo - GitHub. (n.d.). kilian-kier/pharo-llm-completion. Abgerufen von https://github.com/kilian-kier/pharo-llm-completion - Singularity Moments. (2026, 9. Juli). LLMs can't code in niche languages and Pharo is the proof. Abgerufen von http://singularitymoments.com/content/llms-cant-code-in-niche-languages-and-pharo-is-the-proof/