Durchbruch in der Reinforcement-Learning-Forschung: Mind Labs LongStraw ermöglicht ultra-lange Kontextverarbeitung mit minimalem Hardwarebedarf

Revolution in der Kontextlängen-Forschung: Mind Labs "LongStraw" demokratisiert Ultra-Lang-Kontext-RL

Die Forschung im Bereich künstlicher Intelligenz, insbesondere bei großen Sprachmodellen (LLMs) und Reinforcement Learning (RL), ist maßgeblich von der Fähigkeit geprägt, lange Kontextinformationen zu verarbeiten. Eine aktuelle Entwicklung des Mind Lab, das Projekt "LongStraw", verspricht hier eine signifikante Verschiebung der Paradigmen. Dieses Projekt, das kürzlich quelloffen gemacht wurde, ermöglicht das Training von RL-Modellen mit Kontextlängen von über 2 Millionen Tokens unter einem bislang unerreichten geringen Hardware-Einsatz.

Technologischer Durchbruch: Effizienz durch "LongStraw"

Bisherige Arbeiten im Bereich ultra-langer Kontextmodelle für 1 Million Tokens erforderten oft den Einsatz von Tausenden von GPUs. "LongStraw" hingegen demonstriert, dass eine Kontextlänge von 2,1 Millionen Tokens mit lediglich acht H20 GPUs erreicht werden kann. In Stresstests konnte die Technologie sogar auf 4,46 Millionen Tokens skaliert werden. Dieser Effizienzsprung wird durch eine architektur-aware Ausführungsschicht ermöglicht, die speziell für das Reinforcement Learning Post-Training konzipiert wurde. Das System evaluiert den geteilten Prompt ohne Autograd und speichert nur die für spätere Tokens notwendigen modellspezifischen Zustände, wodurch der Spitzen-Speicherverbrauch nahezu konstant gehalten wird.

Die Lücke zwischen Inferenz und Training schließen

Eine zentrale Motivation für die Entwicklung von "LongStraw" ist die wachsende Diskrepanz zwischen den Kontextlängen, die bei der Inferenz (Anwendung) von KI-Modellen unterstützt werden, und jenen, die beim RL-Post-Training zum Einsatz kommen. Während Inferenzsysteme bereits Kontextlängen im Millionenbereich verarbeiten können, verbleiben Post-Training-Workloads oft bei 256.000 Tokens oder darunter. Diese Diskrepanz ist besonders relevant für KI-Agenten, deren Beobachtungen, Tool-Outputs und frühere Entscheidungen sich über lange Trajektorien ansammeln. "LongStraw" zielt darauf ab, diese Lücke zu schließen, ohne den Erwerb zusätzlicher GPU-Ressourcen vorauszusetzen.

Implikationen für die Forschungsgemeinschaft

Die Veröffentlichung von "LongStraw" als Open-Source-Projekt könnte weitreichende Auswirkungen auf die gesamte KI-Forschungsgemeinschaft haben. Die Reduzierung der benötigten Rechenleistung macht die Erforschung ultra-langer Kontextmodelle zugänglicher. Was zuvor das Privileg großer Forschungseinrichtungen mit umfangreichen Budgets war, steht nun auch kleineren Laboren, Universitäten und Einzelentwicklern offen. Dies könnte die Innovationsgeschwindigkeit in diesem Bereich erheblich steigern und zu einer breiteren Palette von Anwendungen führen, die von der Fähigkeit profitieren, sehr lange Abhängigkeiten in Daten zu erkennen und zu verarbeiten.

Technische Details und weitere Entwicklungen

Das zugrundeliegende System "MinT-2M" ist als Langkontext-Trainingssystem für resident-prefix GRPO (Group Relative Policy Optimization) konzipiert. Es ist darauf ausgelegt, einen 2M-Token-Prompt einmalig zu erfassen, kompakte MLA/DSA-Zustände persistent zu halten und nur die trainierbare Antwort für jedes GRPO-Gruppenmitglied zu wiederholen. Die Intention der Entwickler ist es, über die reine Ausführungskapazität hinaus auch die vollständige Trainingskorrektheit zu validieren. Eine 32-H20-Ausführung wurde bereits zur Validierung von 78 Schichten des GLM-5.2-Modells genutzt.

Blick in die Zukunft

Die Demokratisierung der Forschung im Bereich ultra-langer Kontextmodelle durch Projekte wie "LongStraw" markiert einen wichtigen Schritt in der Entwicklung von künstlicher Intelligenz. Sie ermöglicht es, die Grenzen dessen, was KI-Modelle verstehen und verarbeiten können, weiter zu verschieben und neue Anwendungsfelder zu erschließen, die auf dem tiefen Verständnis langer und komplexer Informationen basieren. Für Unternehmen im B2B-Sektor, die auf fortschrittliche KI-Lösungen angewiesen sind, bedeutet dies ein erhöhtes Potenzial für innovativere Produkte und Dienstleistungen, die von diesen optimierten Kontextfähigkeiten profitieren können.

Bibliographie:

- MindLab-Research/longstraw auf GitHub. Verfügbar unter: https://github.com/MindLab-Research/longstraw - Zhou, C. et al. (2026). LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget. arXiv preprint arXiv:2607.14952. Verfügbar unter: https://arxiv.org/pdf/2607.14952 - Mind Lab's LongStraw runs RL post-training beyond 2M tokens. AI Weekly. Verfügbar unter: https://aiweekly.co/alerts/mind-labs-longstraw-runs-rl-post-training-beyond-2m-tokens - LongStraw trains RL models at 2.1M tokens on eight H20 GPUs. UncensoredHub. Verfügbar unter: https://uncensoredhub.ai/news/2026-07-17-longstraw-trains-rl-models-at-2-1m-tokens-on-eight-h20-gpus - MinT: RL Infrastructure for Experiential Intelligence. Macaron.im. Verfügbar unter: https://macaron.im/mindlab/research/mint-rl-infrastructure-for-experiential-intelligence - Bleiweiss, A. (2025). Scaling to Millions of Tokens with Efficient Long-Context LLM Training. NVIDIA Technical Blog. Verfügbar unter: https://developer.nvidia.com/blog/scaling-to-millions-of-tokens-with-efficient-long-context-llm-training/ - Xu, C. et al. (2026). From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models. Findings of the Association for Computational Linguistics: ACL 2026. Verfügbar unter: https://aclanthology.org/2026.findings-acl.640.pdf