Innovative Ansätze im Reinforcement Learning: LongStraw überbrückt die Lücke bei langen Kontexten

Die Entwicklung von Künstlicher Intelligenz (KI) schreitet mit bemerkenswerter Geschwindigkeit voran, insbesondere im Bereich der Sprachmodelle und KI-Agenten. Ein zentrales Thema, das die Leistungsfähigkeit und Anwendbarkeit dieser Systeme maßgeblich beeinflusst, ist die Fähigkeit, große Mengen an Kontextinformationen zu verarbeiten. In diesem Zusammenhang hat die Forschungsgruppe MindLab ein neues System namens LongStraw vorgestellt, das einen signifikanten Fortschritt im Reinforcement Learning (RL) Post-Training darstellt.

Die Herausforderung langer Kontexte im Reinforcement Learning

Moderne Inferenzsysteme für große Sprachmodelle (LLMs) können heute Kontextlängen von Millionen von Tokens verarbeiten. Dies ermöglicht es ihnen, komplexe Anfragen zu verstehen, lange Dokumente zu analysieren und kohärente, detaillierte Antworten zu generieren. Im Gegensatz dazu hinkt das Post-Training im Reinforcement Learning, ein entscheidender Schritt zur Verfeinerung der Modelle, bei den Kontextlängen oft hinterher. Typische RL-Workloads im Post-Training sind oft auf 256.000 Tokens oder weniger beschränkt und verlassen sich auf die Generalisierung der Länge bei der Bereitstellung. Diese Diskrepanz ist besonders kritisch für KI-Agenten. Diese Agenten akkumulieren über lange Interaktionen hinweg Beobachtungen, Ergebnisse von Tool-Anwendungen, Dokumente und frühere Entscheidungen. Eine begrenzte Kontextverarbeitungskapazität im Training kann die Effektivität dieser Agenten stark einschränken, da sie möglicherweise wichtige historische Informationen "vergessen" müssen.

LongStraw: Eine architekturbezogene Lösung

LongStraw wurde entwickelt, um diese Lücke zu schließen. Es handelt sich um einen architekturbezogenen Ausführungsstack, der es ermöglicht, RL-Post-Training mit Millionen von Tokens innerhalb eines festen GPU-Budgets durchzuführen. Die Implementierung erfolgt beispielhaft mit der Group Relative Policy Optimization (GRPO).

Kerninnovationen von LongStraw

Das System integriert mehrere innovative Ansätze, um den Speicherbedarf zu optimieren und die Verarbeitung langer Kontexte zu ermöglichen:

• Bewertung des gemeinsamen Prompts ohne Autograd: LongStraw bewertet den gemeinsamen Initial-Prompt einmalig, ohne dabei die automatische Differenzierung (Autograd) zu nutzen. Dies reduziert den Rechenaufwand und den Speicherbedarf, der normalerweise für die Speicherung von Gradienteninformationen erforderlich wäre.
• Beibehaltung modellspezifischer Zustände: Es werden nur die modellspezifischen Zustände beibehalten, die für die Verarbeitung nachfolgender Tokens notwendig sind. Unnötige Informationen werden nicht im Speicher gehalten.
• Sequentielles Replay kurzer Antwortzweige: Anstatt den gesamten Trainingsgraphen für den Prompt und die Antwortsequenz zu speichern, spielt LongStraw kurze Antwortzweige nacheinander unter Verwendung von Autograd ab. Dieser Ansatz reduziert den Live-Trainingsgraphen auf einen einzelnen Antwortzweig. Der Kompromiss hierbei ist eine erhöhte Replay-Zeit, die jedoch durch einen deutlich geringeren GPU-Speicherverbrauch ausgeglichen wird.

Experimentelle Validierung und Leistung

Die Effektivität von LongStraw wurde anhand von zwei unterschiedlichen Modellfamilien demonstriert:

• Qwen3.6-27B: Ein hybrides rekurrentes Modell mit voller Aufmerksamkeit.
• GLM-5.2: Ein Mixture-of-Experts-Modell mit komprimierter Aufmerksamkeit.

Auf acht H20 GPUs konnte LongStraw das gruppierte Scoring und die Rückwärtspropagation von Qwen für 2,1 Millionen Positionen mit Gruppen von zwei und acht Elementen abschließen. Eine Erhöhung der Gruppengröße führte lediglich zu einem geringen Anstieg des Spitzen-Speicherbedarfs um 0,21 GB. Ein separater Stresstest zeigte, dass das System sogar bis zu 4,46 Millionen Positionen verarbeiten kann.

Des Weiteren wurde auf 32 H20 GPUs der End-to-End-Ausführungspfad von LongStraw für einen 2,1 Millionen Token langen Prompt über alle 78 Schichten von GLM-5.2 validiert. Diese Experimente belegen die Ausführungskapazität des Systems unter realen Bedingungen. Es ist jedoch wichtig zu beachten, dass diese Studien primär die technische Machbarkeit und Skalierbarkeit der Ausführung belegen, nicht die vollständige Korrektheit des Trainings, da der erfasste Prompt-Zustand abgetrennt und einige verteilte Forward- und Gradientenkompositionswege noch unvollständig sind.

Bedeutung für die Zukunft von KI-Agenten

Die Fähigkeit, RL-Post-Training auf Millionen von Tokens zu erweitern, ohne das GPU-Budget zu sprengen, hat weitreichende Implikationen. Insbesondere für KI-Agenten, deren Leistung stark von ihrer Fähigkeit abhängt, langfristige Abhängigkeiten und umfangreiche historische Daten zu berücksichtigen, ist LongStraw ein entscheidender Schritt nach vorn. Es ermöglicht die Entwicklung von Agenten, die über ein tieferes Verständnis ihrer Umgebung und ihrer Interaktionen verfügen, was zu intelligenteren und autonomeren Systemen führen kann.

Die Arbeit von MindLab mit LongStraw zeigt einen vielversprechenden Weg auf, wie die Kluft zwischen den Kontextlängen in der Inferenz und im Training überbrückt werden kann. Dies könnte die nächste Generation von KI-Agenten maßgeblich prägen und deren Einsatzmöglichkeiten in komplexen B2B-Szenarien erweitern, indem sie in die Lage versetzt werden, umfangreichere und nuanciertere Entscheidungen zu treffen.

Herausforderungen und Ausblick

Obwohl LongStraw einen bedeutenden Fortschritt darstellt, bleiben Herausforderungen bestehen. Die Komplexität von Agenten-Trajektorien, bei denen Tool-Outputs mitten in der Sequenz fließen und den Kontext dynamisch verändern können, erfordert weitere Forschung. Die Annahme eines "shared prompt" könnte in solchen Szenarien an ihre Grenzen stoßen. Dennoch bildet LongStraw eine solide Grundlage für zukünftige Entwicklungen und Forschung im Bereich des Langkontext-RL.

Die kontinuierliche Optimierung von Speicher- und Recheneffizienz wird entscheidend sein, um KI-Systeme zu entwickeln, die nicht nur leistungsfähig, sondern auch wirtschaftlich und skalierbar sind. LongStraw ist ein Beispiel dafür, wie innovative architektonische Ansätze dies ermöglichen können.

Bibliographie

- Zhou, C., Liu, K., Zhou, Y., Qiao, Q., Gao, J., Zhang, H., ... & Jin, C. (2026). LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget. arXiv preprint arXiv:2607.14952. - MindLab-Research. (2026). MindLab-Research/longstraw. GitHub. Verfügbar unter: https://github.com/MindLab-Research/longstraw - AI Weekly. (2026). Mind Lab's LongStraw runs RL post-training beyond 2M tokens. Verfügbar unter: https://aiweekly.co/alerts/mind-labs-longstraw-runs-rl-post-training-beyond-2m-tokens - 0to1log. (2026). Million-token reinforcement learning fits on fixed GPUs — LongStraw shows a path. Verfügbar unter: https://0to1log.com/en/news/2026-07-18-research-digest/ - Paperium.net. (2026). LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget: Analysis, Review & Summary. Verfügbar unter: https://paperium.net/article/en/21448/longstraw-long-context-rl-beyond-2m-tokens-under-a-fixed-gpu-budget - Hugging Face. (2026). LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget. Verfügbar unter: https://huggingface.co/papers/2607.14952 - LinkedIn. (2026). LongStraw Extends RL Context to 2M+ Tokens on Fixed GPU Budget. Verfügbar unter: https://www.linkedin.com/posts/daily-ai-wire_longstraw-extends-rl-context-to-2m-tokens-activity-7483885872027734018-QQfl