Kürzere Denkketten in hybriden Sprachmodellen: Wie ein Beta-Gate das RL-Reasoning von Qwen3.5-4B beschleunigt

Das Effizienzproblem langer Denkketten bei Reasoning-Modellen

Wenn Sie aktuelle Sprachmodelle mit expliziten Denkprozessen (Reasoning) in betrieblichen Workflows oder Agenten-Architekturen einsetzen, stoßen Sie schnell auf ein strukturelles Kosten- und Latenzproblem: Große Modelle wie Qwen 3.8 27B generieren oft extrem umfangreiche Zwischenschritte, bevor sie zu einer finalen Antwort gelangen [1]. Zwar lassen sich solche ausufernden Denkketten durch Reinforcement Learning (RL) mittels Group Relative Policy Optimization (GRPO) und expliziten Längenstrafen (Length Penalties) eindämmen, doch dieser Optimierungsprozess verläuft im Standardverfahren langsam und rechenintensiv [1].

Einen alternativen architektonischen Hebel hat nun der Forscher Avi Fenesh von Tiyuvta.ai am 13. Oktober 2026 in einem Community-Beitrag auf Hugging Face sowie einem begleitenden Fachartikel dokumentiert [1]. Anstatt die Längenstrafe im RL-Training zu verschärfen, beließ Fenesh das Trainingsrezept unverändert und verlagerte stattdessen den Ort, an dem die trainierbaren Parameter in das Modell eingreifen [1]. Konkret ergänzte er das übliche Low-Rank-Adaptation-Verfahren (LoRA) bei den kleineren hybriden Modellen der Qwen3.5-Familie um ein kompaktes, trainierbares Gate, das direkt die Schreibstärke der rekurrenten Gated-DeltaNet-Schichten reguliert [1].

Die von Fenesh veröffentlichten Messdaten, deren vorab registrierte Hypothesen, Analyseskripte, Adapter und Generierungs-Traces vollständig öffentlich hinterlegt wurden, zeigen auf Qwen3.5-4B einen deutlichen Effekt [1]: Im Vergleich zu einem Standard-LoRA-Lauf denkt das Modell auf dem Benchmark MATH-500 um 48 Prozent kürzer und steigert zugleich seine Genauigkeit über alle untersuchten Token-Budgets hinweg [1]. Für technische Entscheidungsträger wirft diese Arbeit eine zentrale Frage auf: Wie beeinflusst die gezielte Modulation des internen Zustandsgedächtnisses das Konvergenzverhalten beim Reinforcement Learning, und welche Voraussetzungen gelten für die Übertragung in eigene Systeme?

Architekturhintergrund: Gated DeltaNet und die Schreibstärke Beta

Um nachzuvollziehen, warum ein minimaler Eingriff in die Schichtmechanik das Verhalten eines Sprachmodells so stark verändert, müssen Sie die hybride Architektur von Qwen3.5 betrachten [1]. Im Gegensatz zu reinen Transformer-Modellen besteht der Großteil der Schichten in Qwen3.5 aus sogenannten Gated-DeltaNet-Modulen [1]. Dabei handelt es sich um rekurrente Schichten, die bei jedem verarbeiteten Token in eine interne Zustandsmatrix (State Matrix) schreiben [1].

Wie stark eine solche Schicht bei einem bestimmten Token in die Zustandsmatrix eingreift, wird im Auslieferungszustand des Modells durch einen einzigen Skalarwert pro Token und Value-Head gesteuert: die Variable Beta, berechnet als Sigmoid-Funktion von b im Intervall zwischen 0 und 1 [1]. Dieser Wert Beta erfüllt eine Doppelfunktion im Gedächtnis des Modells, da er gleichzeitig festlegt, welcher Anteil des bisherigen Inhalts aus der Zustandsmatrix gelöscht und wie viel neuer Inhalt hineingeschrieben wird [1].

Mathematische Konstruktion und Initialisierung des Beta-Gates

Das von Fenesh entwickelte Beta-Gate fügt jeder Gated-DeltaNet-Schicht genau eine zusätzliche Gewichtsmatrix W ohne Bias-Term hinzu, die von der versteckten Dimension (Hidden Size) auf die Anzahl der Value-Heads projiziert [1]. Bei Qwen3.5-4B entspricht dies über das gesamte Modell hinweg lediglich rund zwei Millionen zusätzlichen trainierbaren Parametern [1].

Während des Forward-Passes liest diese Matrix W den aktuellen Schicht-Input x ein und transformiert ihn über einen Tangens hyperbolicus in einen Steuerwert t im Bereich von -1 bis +1 [1]. Ist t größer oder gleich null, wird das ursprüngliche Beta proportional in Richtung einer definierten Obergrenze (Ceiling) verschoben; ist t negativ, drückt das Gate den Wert Beta in Richtung der Untergrenze null [1]. Da die Matrix W zu Trainingsbeginn exakt mit null initialisiert wird, ist der Steuerwert t anfangs gleich null, sodass Beta exakt dem Wert des ausgelieferten Basismodells entspricht [1]. Das Training startet somit als neutrale Operation (No-Op), ohne die vortrainierten Repräsentationen zu destabilisieren [1].

Ursprung aus der Theorie negativer Eigenwerte

Bemerkenswert ist die Entstehungsgeschichte dieses Ansatzes: Ursprünglich untersuchte Fenesh auf Basis einer Arbeit von Grazzi, Siems et al., ob sich negative Eigenwerte der Delta-Regel nachträglich in bereits vortrainierte große Sprachmodelle integrieren lassen [1]. In linearen rekurrenten Netzen hilft ein negativer Eigenwert (also wenn der Term 1 minus Beta kleiner als null wird, was ein Beta größer als 1 voraussetzt) nachweislich dabei, Zustände über längere Sequenzen hinweg zu verfolgen [1].

Als Fenesh diese Erweiterung zunächst an einem größeren Qwen-Modell testete, verbesserte sich zwar die Leistung bei einer synthetischen Paritätsaufgabe, brachte jedoch keinerlei Vorteile für seine realen Agenten-Workloads und führte bei aktiviertem Denkmodus sogar zu längeren Reasoning-Ketten [1]. Dennoch erkannte der Forscher, dass das Gate selbst – weil es Token für Token entscheidet, wie hart eine Schicht in den Zustand schreibt – genau die richtige Steuergröße dafür sein könnte, wie lange ein Modell seinen Denkprozess fortsetzt [1]. Daraus entstand die präzise Forschungsfrage, ob ein Gate auf der Variable Beta verändert, was ein längenbestraftes RL-Training lernt [1].

Experimentelles Design und das GRPO-Trainingsrezept

Für eine belastbare Einordnung der Ergebnisse ist ein Blick auf das strikt kontrollierte Versuchsdesign erforderlich, das der Autor für alle verglichenen Trainingsarme identisch gehalten hat [1]. Zum Einsatz kam durchgehend GRPO mit einer an die Korrektheit der Antwort gekoppelten Längenstrafe (Correctness-Gated Length Penalty) nach Arora und Zanette mit einem Alpha-Wert von 0,2 [1]. Trainiert wurde über exakt 150 Schritte hinweg mit jeweils 16 Prompts und 8 generierten Samples pro Prompt aus dem GSM8K-Trainingsdatensatz, bei einer Lernrate von 2e-5 und einer harten Trainings-Obergrenze von 512 Token [1].

Die Basis-Adaption erfolgte über LoRA mit Rang 16 auf den Projektionen der Gated-DeltaNet-Schichten, wobei jeder Versuchsarm mit drei unterschiedlichen Zufalls-Seeds ausgeführt wurde [1]. Fenesh evaluierte zwei Varianten seines Gates: In der Konfiguration Gate(0,1) liegt die Obergrenze für Beta bei 1,0, sodass der Eigenwert (1 minus Beta) niemals negativ werden kann [1]. In der Konfiguration Gate(0,2) liegt die Obergrenze bei 2,0, was Beta-Werte über 1 und damit negative Eigenwerte zulässt [1].

Um methodische Verzerrungen auszuschließen, formulierte der Autor seine Hypothesen vor jedem Lauf schriftlich und fror den Auswertungscode vor jedem Messdurchgang ein [1]. Die Evaluierung sämtlicher Modelle fand über gestaffelte Denk-Budgets (Thinking Budgets) von 256 bis 8.192 Token unter Verwendung der originalen Sampling-Parameter des Modellherstellers statt [1]. Als zentrale Qualitätsmetrik dient die sogenannte Anytime-Genauigkeit (Anytime Accuracy): Sie beschreibt die Fläche unter der Genauigkeits-Budget-Kurve auf einer logarithmischen Achse zur Basis 2, wobei ein Idealwert von 1 bedeutet, dass das Modell bei jedem einzelnen Token-Budget die richtige Lösung liefert [1].

Quantitative Ergebnisse auf Qwen3.5-4B und Generalisierungstests

Die Messergebnisse auf Qwen3.5-4B zeigen eine deutliche Trennung zwischen klassischem LoRA-Fine-Tuning und der zusätzlichen Modulation der Gated-DeltaNet-Schreibstärke [1]. Während bereits das reguläre LoRA-Training mit Rang 16 die Denkketten gegenüber dem Basismodell verkürzt und die Genauigkeit hebt, führt das Hinzufügen des Beta-Gates zu einer drastischen weiteren Kompression der Token-Anzahl bei gleichzeitig höherer Lösungsqualität [1].

Im direkten Vergleich zu LoRA (Rang 16) reduziert Gate(0,1) die durchschnittlichen Reasoning-Token auf MATH-500 um 48 Prozent und auf GSM8K um 82 Prozent, während das Modell auf MATH-500 über alle getesteten Budgets bis hin zu 8.192 Token durchgängig präziser arbeitet [1]. Um auszuschließen, dass dieser Vorsprung lediglich aus den rund zwei Millionen zusätzlichen Parametern des Gates resultiert, führte Fenesh einen Kontrolllauf mit LoRA auf Rang 20 durch, der in etwa dieselbe Gesamtanzahl trainierbarer Parameter aufweist wie der Gate-Arm [1]. Dieser Kontrolllauf veränderte die Werte gegenüber LoRA Rang 16 kaum, was belegt, dass nicht die Anzahl der Parameter, sondern deren Platzierung an der Schreibstärke des Zustandsgedächtnisses den Ausschlag gibt [1].

• Basismodell Qwen3.5-4B: 0,699 Anytime-Genauigkeit auf MATH-500 bei durchschnittlich 5.282 Reasoning-Token auf MATH-500 und 3.271 Reasoning-Token auf GSM8K [1].
• Standard-LoRA (Rang 16): 0,786 Anytime-Genauigkeit auf MATH-500 bei 4.223 Reasoning-Token auf MATH-500 und 1.666 Reasoning-Token auf GSM8K [1].
• Parameter-Kontrollgruppe LoRA (Rang 20): 0,792 Anytime-Genauigkeit auf MATH-500 bei 4.003 Reasoning-Token auf MATH-500 und 1.296 Reasoning-Token auf GSM8K [1].
• Gate(0,1) (LoRA Rang 16 plus Beta-Gate bis maximal 1,0): 0,852 Anytime-Genauigkeit auf MATH-500 bei 2.202 Reasoning-Token auf MATH-500 und 297 Reasoning-Token auf GSM8K [1].
• Gate(0,2) (LoRA Rang 16 plus Beta-Gate bis maximal 2,0): 0,849 Anytime-Genauigkeit auf MATH-500 bei 2.153 Reasoning-Token auf MATH-500 und 261 Reasoning-Token auf GSM8K [1].

Validierung auf ungesehenen AIME- und AMC-Wettbewerbsaufgaben

Da die Benchmarks MATH-500 und GSM8K im Verlauf der Entwicklungsarbeit mehrfach ausgelesen worden waren, stellte Fenesh einen völlig neuen Testdatensatz zusammen, um eine mögliche Überanpassung an die bekannten Testdaten auszuschließen [1]. Dieses frische Evaluierungsset umfasste 130 anspruchsvolle Mathematikaufgaben aus den Wettbewerben AIME der Jahre 2024, 2025 und 2026 sowie AMC 2023 [1]. Nach der Vorab-Registrierung zweier Hypothesen wurde dieser Datensatz exakt ein einziges Mal ausgewertet [1].

Auch auf diesem ungesehenen Aufgabenpool bestätigte sich der Befund: Gate(0,1) übertraf den reinen LoRA-Ansatz bei der Anytime-Genauigkeit um 0,110 Punkte – ein Anstieg von 0,285 auf 0,395 bei einem 95-Prozent-Konfidenzintervall von 0,089 bis 0,132 [1]. Gleichzeitig benötigte das Modell mit Beta-Gate im Mittel 1.329 Reasoning-Token weniger als die LoRA-Variante, wobei sowohl der Genauigkeitsgewinn als auch die Token-Reduktion konsistent bei allen drei Zufalls-Seeds auftraten [1].

Abgeschwächte Effekte beim kleineren 2B-Modell

Neben der 4B-Variante untersuchte der Forscher auch das kleinere Schwestermodell Qwen3.5-2B [1]. Hier fielen die Zugewinne durch das Beta-Gate nach Angaben des Autors jedoch geringer und weniger stabil aus als beim 4B-Modell, wozu die detaillierten Einzelwerte im begleitenden Fachbeitrag dokumentiert sind [1]. Für Ihre Modellauswahl bedeutet dies, dass sich die Wirksamkeit des Eingriffs nicht linear auf beliebig kleine Modellgrößen übertragen lässt [1].

Kausale Analyse: Wo die Verkürzung der Denkketten entsteht

Aus technischer Sicht stellt sich die Frage, ob das Beta-Gate lediglich während der Inferenz wie eine Bremse wirkt oder ob seine Anwesenheit bereits während des GRPO-Trainings verändert, was die parallel trainierten LoRA-Gewichte lernen [1]. Durch gezielte Ablationsstudien auf einem Validierungsausschnitt von GSM8K konnte Fenesh nachweisen, dass beide Mechanismen gleichzeitig greifen [1].

Entfernt man bei einem vollständig trainierten Gate(0,1)-Modell während der Inferenz das trainierte Beta-Gate und nutzt nur dessen LoRA-Gewichte, steigt die mittlere Reasoning-Länge von 307 auf 665 Token an – bleibt damit aber immer noch weit unter den Werten eines regulär ohne Gate trainierten LoRA-Modells [1]. Setzt man umgekehrt das fertig trainierte Gate isoliert auf ein reines Warm-up-LoRA-Modell auf, sinkt die Token-Länge von 2.916 (Warm-up ohne Gate) auf 970 Token [1]. Skaliert man zudem die Gewichtsmatrix W des Gates zur Laufzeit kontinuierlich mit einem Faktor von 0 bis 2, verkürzt sich der Denkprozess bei allen drei Seeds monoton [1]. Das Gate wirkt somit direkt bei der Textgenerierung und formt zugleich während des Trainings die Koadaption der LoRA-Adapter [1].

Ein Blick auf die Trainingsdynamik erklärt diesen Synergieeffekt: Während der 150 GRPO-Schritte lernten die mit dem Beta-Gate ausgestatteten Läufe deutlich früher, ihre Denkketten innerhalb des harten Trainingslimits von 512 Token abzuschließen [1]. Die reinen LoRA-Läufe stießen hingegen selbst am Ende der 150 Schritte noch regelmäßig an diese 512-Token-Obergrenze [1]. In der analytischen Einordnung zeigt sich damit, dass das Beta-Gate vor allem die Konvergenzgeschwindigkeit erhöht, mit der das Reinforcement Learning innerhalb einer festen Schrittzahl kürzere Lösungswege findet [1].

Warum negative Eigenwerte beim nachträglichen RL-Tuning nicht benötigt werden

Eine der wissenschaftlich interessantesten Erkenntnisse der Studie betrifft die ursprüngliche Arbeitshypothese rund um die negativen Eigenwerte [1]. Obwohl das Gate konzipiert wurde, um über Beta-Werte zwischen 1 und 2 negative Eigenwerte in den Gated-DeltaNet-Schichten zu ermöglichen, erwies sich genau dieser Wertebereich für die Verkürzung des Reasonings als vernachlässigbar [1].

Zwischen Gate(0,1) und Gate(0,2) zeigt sich weder auf MATH-500 (0,852 gegenüber 0,849 Anytime-Genauigkeit; 2.202 gegenüber 2.153 Token) noch auf GSM8K (297 gegenüber 261 Token) eine substanzielle Trennung [1]. Auf dem frischen AIME/AMC-Testset brachte der erweiterte Wertebereich bis 2,0 lediglich einen minimalen Zuwachs von 0,012 Punkten bei der Anytime-Genauigkeit [1]. Um die Längenreduktion im RL-Training zu erreichen, genügt es folglich vollkommen, Beta im klassischen nicht-negativen Eigenwertbereich zwischen 0 und 1 flexibel steuerbar zu machen [1].

Anders verhält es sich hingegen bei Modellen, die bereits von Grund auf (Pretraining) mit negativen Eigenwerten trainiert wurden [1]. Fenesh überprüfte dies anhand von Olmo-Hybrid-7B, indem er dessen negative Eigenwerte nachträglich abschnitt (Clamping) [1]. Daraufhin verschlechterte sich der Held-out-Loss um 0,020 Nats pro Token, und bei Aufgaben zum Zählen häufiger Wörter (Common-Word Counting) verlor das Modell zwischen 3,8 und 6,3 Punkte, während andere Aufgaben innerhalb einer Schwankungsbreite von 4 Punkten blieben [1]. Wenn ein Modell also bereits im Pretraining lernt, negative Eigenwerte für das State-Tracking zu nutzen, ist es im Betrieb darauf angewiesen; beim nachträglichen RL-Fine-Tuning eines ohne negative Eigenwerte vortrainierten Modells wie Qwen3.5 bringt die Öffnung dieses Bereichs jedoch keinen nennenswerten Mehrwert [1].

Methodische Grenzen und noch ausstehende Kontrollexperimente

So überzeugend die Messwerte auf Qwen3.5-4B ausfallen, so transparent benennt der Autor auch die bisherigen Limitierungen seiner Untersuchung [1]. Für eine fundierte Bewertung in Ihrer Forschungs- und Entwicklungsabteilung sollten Sie beachten, dass es sich um die Ergebnisse eines einzelnen Forschers mit einem spezifischen Hyperparameter-Raster handelt, bei dem wichtige Kontrollgruppen noch ausstehen [1].

Insbesondere weist Fenesh darauf hin, dass eine höhere Lernrate oder ein längerer Trainingslauf über die 150 Schritte hinaus einen Teil der Lücke zwischen reinem LoRA und dem Beta-Gate schließen könnte – eine Hypothese, die bislang noch nicht experimentell überprüft wurde [1]. Der Autor kündigte an, die fehlenden Kontrollläufe nachzuholen, sobald seine entsprechende GPU-Infrastruktur wieder zur Verfügung steht [1].

• Bisher wurden lediglich eine einzige Lernrate (2e-5), eine feste Schrittzahl (150 Schritte), ein einziges Trainings-Token-Limit (512 Token) sowie ausschließlich Trainings-Prompts aus GSM8K getestet [1].
• Es fehlt bislang ein reiner Gate-Arm (Training nur des Beta-Gates gänzlich ohne LoRA-Adapter), um den isolierten Trainingseffekt der zwei Millionen Gate-Parameter zu quantifizieren [1].
• Ein Vergleich mit LoRA auf sämtlichen linearen Schichten des Modells (statt nur auf den Gated-DeltaNet-Projektionen) wurde noch nicht durchgeführt [1].
• Es wurde noch kein Gate-Arm ohne Längenstrafe im RL-Training untersucht, um zu prüfen, ob das Gate auch ohne expliziten Kompressionsdruck zu kürzeren Antworten führt [1].
• Denk-Budgets jenseits von 8.192 Token sowie andere hybride Modellfamilien außerhalb von Qwen3.5 (getestet bei 2B und 4B für GRPO sowie ergänzende Adapter für 4B und 9B Forgetting und 4B Chat-SFT in der Hugging-Face-Sammlung) sind in den GRPO-Reasoning-Experimenten noch nicht abgedeckt [1].

Praktische Implikationen für MLOps und Enterprise-Deployments

Für Unternehmen, die Open-Source-Sprachmodelle der Qwen-Familie produktiv betreiben, fügt sich diese Arbeit in ein breit ausgebautes Software-Ökosystem ein [2]. In der Praxis greifen Entwicklungsteams für das Training, das Fine-Tuning mittels LoRA oder PEFT sowie das hochperformante Serving von Qwen-Modellen auf etablierte Frameworks wie Hugging Face Transformers, LLaMA-Factory, Unsloth, SGLang oder die speichereffiziente Inferenz-Engine vLLM zurück [2].

Wenn Sie das Beta-Gate in Ihrer eigenen Infrastruktur erproben oder einsetzen möchten, müssen Sie jedoch eine wichtige architektonische Besonderheit berücksichtigen: Da die Gate-Varianten einen modifizierten Forward-Pass innerhalb der Gated-DeltaNet-Schicht benötigen, lassen sich die bereitgestellten Adapter nicht als standardisierte PEFT-Ordner in eine unveränderte Laufzeitumgebung laden [1]. Stattdessen stellt Fenesh die Adapter als reguläre PyTorch-Tensoren bereit, die über ein mitgeliefertes Skript aus Safetensors-Dateien konvertiert werden [1]. Für die Inferenz-Auswertung nutzte der Forscher die Version vLLM 0.31.0 in Verbindung mit einem speziellen Gate-Plugin, dessen Aufrufkommandos und Quellcode im zugehörigen GitHub-Repository dokumentiert sind [1].

In der analytischen Gesamtschau liefert die Untersuchung von Avi Fenesh dennoch eine wichtige Erkenntnis für das Engineering hybrider KI-Systeme: Wenn Sie hybride Sprachmodelle mit rekurrenten Zustandsmatrizen per Reinforcement Learning auf Effizienz trimmen wollen, ist der genaue Angriffspunkt der trainierbaren Parameter wichtiger als deren bloße Anzahl [1]. Ein minimaler Eingriff an der Schreibstärke der Zustandsschicht erzielt in kurzer Trainingszeit deutlich stärkere Token-Einsparungen als eine Erhöhung des LoRA-Rangs [1]. Für MLOps-Teams entsteht daraus eine klare Abwägung zwischen dem Pflegeaufwand eines gepatchten Forward-Passes in Engines wie vLLM und einer potenziellen Halbierung der generierten Reasoning-Token im laufenden Betrieb [1, 2].

Quellen

[1] A gate on Gated DeltaNet's beta makes RL-trained Qwen3.5 reason 48% shorter — https://huggingface.co/blog/Avifenesh/beta-gate-qwen35 (abgerufen am 2026-10-14)

[2] Projects in Awesome Lists tagged with qwen | Ecosyste.ms: Awesome — https://awesome.ecosyste.ms/projects?keyword=qwen (abgerufen am 2026-10-14)