Optimierung kleiner Sprachmodelle zur Verbesserung strukturierter Ausgaben durch GRPO

Als Senior Specialist Journalist und Analyst für Mindverse ist es unsere Aufgabe, komplexe technologische Entwicklungen präzise und handlungsorientiert für unsere anspruchsvolle B2B-Zielgruppe aufzubereiten. Die jüngsten Fortschritte im Bereich der Feinabstimmung von Sprachmodellen zur Verbesserung strukturierter Ausgaben bieten hierbei ein besonders relevantes Thema. Ein aktueller Ansatz, der die Effizienz und Zugänglichkeit dieser Technologie unterstreicht, ist die Optimierung eines 350-Millionen-Parameter-Modells mittels Group Relative Policy Optimization (GRPO) in lediglich 100 Schritten.

Die Herausforderung strukturierter Ausgaben bei LLMs

Große Sprachmodelle (LLMs) haben ihre Fähigkeiten in einer Vielzahl von Anwendungsbereichen unter Beweis gestellt, von der Textgenerierung bis hin zur komplexen Problemlösung. Eine der häufigsten und gleichzeitig herausforderndsten Aufgaben in realen Geschäftsszenarien ist jedoch die Generierung strukturierter Ausgaben. Dies umfasst die zuverlässige Erzeugung von Daten in spezifischen Formaten wie JSON oder YAML, die einer vorgegebenen Schema-Definition entsprechen müssen. Die Fähigkeit eines Modells, valide und parsbare Ausgaben in der gewünschten Form und Struktur zu liefern – die sogenannte Schema-Konformität – ist oft ausschlaggebend dafür, ob es überhaupt in nachgelagerte Systeme integriert werden kann.

Viele bestehende Benchmarks messen die Leistung von LLMs bei strukturierten Ausgaben oft nur als Teil umfassenderer Bewertungskriterien für Argumentation oder Extraktion. Eine isolierte Betrachtung der Schema-Konformität ist jedoch unerlässlich, um die praktische Anwendbarkeit der Modelle in datengetriebenen Geschäftsprozessen zu beurteilen.

GRPO: Eine effiziente Methode zur Feinabstimmung

Ein vielversprechender Weg zur Verbesserung der Schema-Konformität, insbesondere bei kleineren Modellen, ist die Feinabstimmung mittels Group Relative Policy Optimization (GRPO). Diese Methode des Reinforcement Learnings (RL) ermöglicht es, Modelle gezielt auf die Einhaltung struktureller Vorgaben zu trainieren. Ein kürzlich veröffentlichter Leitfaden demonstriert die Wirksamkeit dieses Ansatzes an einem LFM2.5-350M Modell.

Der experimentelle Aufbau

Die Feinabstimmung erfolgte mit der TRL-Bibliothek und wurde auf dem IFStruct-Benchmark evaluiert, einem offenen Standard zur Messung der Gültigkeit von LLM-Ausgaben und der Schema-Adhärenz. Der gesamte Trainingsprozess umfasste lediglich etwa 500 Samples und 100 Trainingsschritte. Diese geringe Anforderung an Rechenressourcen ermöglichte die Durchführung auf kostenlosen Colab- oder Kaggle-GPUs, was die Zugänglichkeit dieser Methode für Forschungs- und Entwicklungsteams erheblich steigert.

Das Training zielte darauf ab, die Leistung des Modells bei der Erzeugung von strukturierten Ausgaben zu verbessern, insbesondere im Hinblick auf die Einhaltung von JSON- und YAML-Formaten sowie die korrekte Anzahl von Feldern und die Validierung gegen ein JSON-Schema.

Belohnungsfunktionen als Kernstück

Ein zentraler Aspekt der GRPO-Methode ist die Definition spezifischer Belohnungsfunktionen, die die Korrektheit der extrahierten Struktur bewerten. Im Rahmen des Experiments wurden drei Haupt-Belohnungsfunktionen eingesetzt:

• json_format_reward: Bewertet, ob die Ausgabe parsbar ist und im angeforderten Format vorliegt (z.B. in einem umzäunten Codeblock oder als Roh-JSON). Eine korrekte Form erhielt die volle Punktzahl (1.0), eine falsche, aber parsbar Form 0.2, und eine nicht parsbar Form 0.0.
• field_count_reward: Überprüft, ob das generierte Objekt die erwartete Anzahl von Top-Level-Feldern aufweist. Eine exakte Übereinstimmung ergab 1.0, wobei die Punktzahl linear mit der Abweichung abnahm.
• schema_validation_reward: Validiert die Ausgabe gegen das vorgegebene JSON-Schema, indem jede Verletzung einer Einschränkung gezählt und eine teilweise Gutschrift für die Abdeckung erforderlicher Schlüssel vergeben wurde.

Diese Belohnungsfunktionen wurden mit unterschiedlichen Gewichten kombiniert ([1.0, 0.5, 2.0] für JSON-Format, Feldanzahl und Schema-Validierung), um die Lernrichtung des Modells zu steuern.

Ergebnisse und deren Implikationen

Die Ergebnisse der Feinabstimmung waren signifikant. Das LFM2.5-350M Modell, das initial eine Schema-Konformität von 22,6 % im IFStruct-Benchmark aufwies, konnte diese nach der GRPO-Feinabstimmung auf 29,7 % steigern. Dies entspricht einer Verbesserung von 7,1 Prozentpunkten.

Besonders hervorzuheben ist die Steigerung der JSON-Passrate, die von 18,0 % auf 31,9 % anstieg, während die YAML-Passrate weitgehend stabil blieb. Dies zeigt, dass die Feinabstimmung gezielt die Bereiche verbessern konnte, auf die das Training fokussiert war. Obwohl das Ergebnis noch unter dem eines größeren Modells wie Qwen3.5-2B (33,15 %) liegt, demonstriert es eindrucksvoll, dass selbst eine leichte, aufgabenspezifische Feinabstimmung ein kleines Modell deutlich zuverlässiger in seiner Form machen und einen Großteil der Lücke zu Modellen schließen kann, die um ein Vielfaches größer sind.

Bedeutung für B2B-Anwendungen

Für Unternehmen, die auf die Automatisierung und Integration von KI-Systemen angewiesen sind, sind diese Ergebnisse von großer Relevanz. Die Fähigkeit, auch kleinere Sprachmodelle mit vergleichsweise geringem Aufwand so zu optimieren, dass sie zuverlässig strukturierte Ausgaben liefern, eröffnet neue Möglichkeiten:

• Kosteneffizienz: Der geringe Ressourcenbedarf für das Training macht diese Methode auch für Unternehmen mit begrenzten GPU-Ressourcen zugänglich.
• Skalierbarkeit: Kleinere, spezialisierte Modelle können effizienter in spezifischen Anwendungen eingesetzt werden, ohne die Rechenleistung großer Modelle zu benötigen.
• Zuverlässigkeit: Die verbesserte Schema-Konformität sorgt für stabilere und vorhersagbarere Ergebnisse, was für die Integration in kritische Geschäftsprozesse unerlässlich ist.
• Anpassbarkeit: Durch aufgabenspezifische Belohnungsfunktionen können Modelle präzise an die individuellen Anforderungen verschiedener Branchen und Anwendungsfälle angepasst werden.

Die GRPO-Methode, wie sie in diesem Experiment angewendet wurde, stellt einen wichtigen Schritt dar, um die Lücke zwischen der flexiblen Textgenerierung von LLMs und den deterministischen Anforderungen an strukturierte Daten zu schließen. Dies ist ein entscheidender Faktor für die breite Akzeptanz und den erfolgreichen Einsatz von KI in Geschäftsumgebungen.

Zusammenfassung und Ausblick

Die Feinabstimmung eines 350-Millionen-Parameter-Modells mittels GRPO in nur 100 Schritten hat gezeigt, dass eine signifikante Verbesserung der Leistung bei strukturierten Ausgaben möglich ist. Diese Methode bietet einen kostengünstigen und effizienten Weg, die Zuverlässigkeit von LLMs in Bezug auf die Einhaltung von Formaten und Schemata zu erhöhen. Für die B2B-Welt bedeutet dies eine verbesserte Grundlage für die Entwicklung robuster und integrierbarer KI-Lösungen.

Die kontinuierliche Forschung in diesem Bereich wird voraussichtlich weitere Optimierungen und Anwendungen der GRPO-Methode hervorbringen. Es bleibt abzuwarten, wie sich diese Entwicklungen auf die Effizienz und die Leistungsfähigkeit von LLMs in komplexen und datenintensiven Geschäftsumgebungen auswirken werden.

Bibliographie

- Hugging Face Blog. (2026, 3. September). Fine-tuning a 350M Model for Better Structured Outputs in 100 GRPO Steps. Abgerufen von https://huggingface.co/blog/grpo-with-trl-ifstruct - AI News Today. (n.d.). Fine-tuning a 350M Model for Better Structured Outputs in 100 GRPO Steps. Abgerufen von https://ainewstoday.co/fine-tuning-a-350m-model-for-better-structured-outputs-in-100-grpo-steps/ - BPDATA AI News. (2026, 3. September). Fine-tuning a 350M Model with GRPO Improves Structured-Output Compliance. Abgerufen von https://news.bpdata.com/article/fine-tuning-a-350m-model-with-grpo-improves-structured-a139f80b - HyperAI. (2026, 3. September). Fine-Tune 350M Models for Structured Outputs in 100 GRPO Steps. Abgerufen von https://vercel.hyper.ai/en/stories/980824ac6d3d02a2b00766b70bfe593a - Hu, R., & Wu, S. (2025, 29. November). RL-Struct: A Lightweight Reinforcement Learning Framework for Reliable Structured Output in LLMs. arXiv. Abgerufen von https://doi.org/10.48550/arxiv.2512.00319 - NousResearch/hermes-agent. (n.d.). grpo-training.md. GitHub. Abgerufen von https://github.com/NousResearch/hermes-agent/blob/main/optional-skills/mlops/training/trl-fine-tuning/references/grpo-training.md - Bellamacina, G. (n.d.). GiuseppeBellamacina/GRPO-strict-generation. GitHub. Abgerufen von https://github.com/GiuseppeBellamacina/GRPO - Chawla, A. (2026, 10. Juni). Training an LLM to Generate Reliable Structured Output. Daily Dose of DS. Abgerufen von https://blog.dailydoseofds.com/p/training-an-llm-to-generate-reliable - SmartCoder AI. (2026, 11. Juni). Training an LLM to Generate Reliable Structured Output Using GRPO and a Reward Function. Glean. Abgerufen von https://glean.smartcoder.ai/en/a/training-an-llm-to-generate-reliable-structured-output-using-j38yyr - TastyRiceLog. (2026, 27. Februar). Part 34 · Post training an LLM for reasoning with GRPO in TRL. Abgerufen von https://www.tastyrice.org/blog/cookbook-034-fine-tuning-llm-grpo-trl