DAGFormer plant Transformer-Verbindungen global statt Schicht für Schicht

Bessere Sprachmodellwerte, aber nicht an jedem Modellpunkt

Als Hauptmaß für Sprachmodellierung verwendet die Studie die negative Log-Likelihood auf dem Testsatz WikiText-2. Die Autoren berichten daraus abgeleitet eine um 17 bis 25 Prozent niedrigere Perplexität als beim Standard-Transformer über die untersuchten Größen von 75 Millionen bis einer Milliarde Parametern. Beispielsweise sank die ausgewiesene negative Log-Likelihood bei 75 Millionen Parametern von 4,997 auf 4,711; bei 300 Millionen von 3,808 auf 3,544. [1] [2]

Der Vergleich mit vier Routing-Baselines fällt nicht bei jeder Größe gleich aus. DAGFormer weist laut Tabelle bei 75 Millionen, 300 Millionen und einer Milliarde Parametern die niedrigste WikiText-2-Negativ-Log-Likelihood auf. Bei 150 Millionen Parametern liegt jedoch MUDDFormer mit 4,041 vor DAGFormer mit 4,085. Eine pauschale Aussage, DAGFormer schlage alle Routing-Ansätze in jeder Modellgröße, wäre daher nicht durch die Tabelle gedeckt. [2]

Für eine Milliarde Parameter vergleichen die Autoren außerdem Modelle mit unterschiedlichen Trainingsmengen: DAGFormer erreicht nach fünf Milliarden Tokens einen niedrigeren Wert als der Standard-Transformer nach zehn Milliarden Tokens. Das ist ein Vergleich der Tokenbudgets, kein Beleg dafür, dass DAGFormer bei halbiertem Gesamt-Rechenaufwand trainiert wurde. Die Studie weist den zusätzlichen Aufwand des Routings gesondert aus. [1] [2]

Übertragung auf Aufgaben und Instruction-Finetuning

Die Autoren untersuchten außerdem 13 Aufgaben aus den Bereichen Alltagswissen, Naturwissenschaften, Leseverständnis und Mathematik. Bei 300 Millionen Parametern lag die mittlere Genauigkeit über diese Aufgaben bei DAGFormer bei 36,2 Prozent, beim Standard-Transformer bei 34,2 Prozent. Im Vergleich der Ein-Milliarden-Modelle mit fünf Milliarden Trainings-Tokens betrugen die Mittelwerte 38,1 und 35,7 Prozent. Bei zehn Milliarden Tokens erreichte DAGFormer 39,1 Prozent, gegenüber 36,6 Prozent für den Standard-Transformer. [2]

Diese aggregierten Werte zeigen keine gleich große Verbesserung auf jeder einzelnen Aufgabe. Die Tabelle weist Mathematik als besonders schwierigen Bereich aus: Bei beiden Ein-Milliarden-Modellen mit fünf Milliarden Tokens lag die mittlere Genauigkeit auf den zwei Mathematikaufgaben nur bei rund zwölf Prozent. Die Gesamtmittelwerte sollten deshalb nicht als gleichmäßiger Leistungszuwachs über alle Fähigkeiten gelesen werden. [2]

Für Instruction-Finetuning nennen die Autoren eine AlpacaEval-Win-Rate von 63 bis 70 Prozent gegenüber dem Standard-Transformer und berichten, DAGFormer habe dabei auch die Routing-Baselines übertroffen. Die hier vorliegenden Angaben enthalten jedoch keine vollständigen Detailtabellen zu den einzelnen Modellgrößen und Auswertungsbedingungen. Die Zahlen sind daher als berichtete Ergebnisse des Papers einzuordnen, nicht als unabhängiger Leistungsnachweis. [1] [2]

Auch beim strukturierten Pruning melden die Autoren einen Vorteil: In fünf von sechs untersuchten Einstellungen habe DAGFormer den geringsten Leistungsabfall gezeigt. Das Paper beschreibt dabei einen Test der trainierten Topologie ohne erneute Planung durch den Prädiktor. Die verfügbaren Angaben reichen nicht aus, um daraus eine allgemeine Robustheitsgarantie für beliebige Pruning-Verfahren abzuleiten. [1] [2]

Der Leistungsgewinn hat messbare Laufzeitkosten

Die zusätzlichen Verbindungen erfordern mehr Berechnungen. Laut Paper steigen die FLOPs pro Token bei der beschriebenen Projektionsreihenfolge von etwa dem 1,18-Fachen des Standard-Transformers bei 75 Millionen Parametern bis zum 2,13-Fachen bei einer Milliarde Parametern. Eine alternative Reihenfolge kann den rechnerischen Zuschlag auf etwa zwei bis vier Prozent begrenzen, ist den Autoren zufolge aber durch Speicherzugriffe begrenzt. [2]

Für den Prefill-Schritt – die Verarbeitung bereits vorliegender Eingabetokens – messen die Autoren eine andere, praktische Kennzahl: Die Laufzeit pro Token beträgt je nach Modellgröße das 1,49- bis 1,89-Fache des Standard-Transformers. Die Messung beruht auf einem Vorwärtslauf über acht Sequenzen mit jeweils 1.024 Tokens. Diese konkreten Werte sollten nicht mit FLOPs gleichgesetzt werden: Sie erfassen eine Laufzeitmessung unter der angegebenen Versuchsanordnung. [2]

Auch die Modellgrößen sind nicht vollständig gleichzusetzen. Die genannten Größen von 75 Millionen bis einer Milliarde Parametern zählen laut Paper die Backbone-Parameter; das Routing fügt weitere 29 bis 37 Millionen Parameter hinzu. Davon entfallen 25,7 Millionen auf das Token-Embedding des Prädiktors. [2]

Für Unternehmen ist damit nicht allein die Frage entscheidend, ob ein Benchmarkwert steigt. Relevant ist, ob der mögliche Qualitätsgewinn die zusätzlichen Parameter, Rechenoperationen und Prefill-Zeiten im jeweiligen Einsatz rechtfertigt. Aus den vorliegenden Messungen lässt sich keine allgemeingültige Kosten-Nutzen-Bewertung für produktive Inferenz ableiten. [2]

Was die Ergebnisse belegen – und was offenbleibt

Die Vergleichsanordnung enthält mehrere kontrollierte Elemente: Standard-Transformer und DAGFormer nutzen laut Paper denselben OLMo-2-Backbone, Tokenizer, Datenreihenfolge, Tokenbudget und Optimierer; die Vergleiche berücksichtigen den Routing-Aufwand. Die Modelle wurden unter anderem auf Dolma-Daten trainiert. Das stärkt die Aussagekraft des Architekturvergleichs innerhalb dieses Versuchsaufbaus. [2]

Gleichzeitig bleibt die Reichweite der Befunde begrenzt. Untersucht wurden bestimmte Modellgrößen, Trainingsrezepte und Testsätze; die Quellen dokumentieren keine unabhängige Replikation durch andere Forschungsteams. Die zusätzlichen Seiten, die das Paper zusammenfassen, wiederholen im Wesentlichen dessen Abstract und sind keine unabhängigen experimentellen Bestätigungen. [1] [2] [3] [4]

Die globale Darstellung kann die Analyse von Verbindungen erleichtern: Das Paper beschreibt, dass sich geplante Graphen untersuchen, einfrieren und zwischen Eingaben austauschen lassen. Daraus folgt jedoch nicht automatisch, dass das Modellverhalten vollständig erklärbar oder seine Entscheidungen kausal nachvollziehbar wären. Die explizite Routing-Struktur ist zunächst ein analysierbares Architekturmerkmal; ihr Nutzen für belastbare Interpretierbarkeit müsste gesondert nachgewiesen werden. [2]

DAGFormer ist damit vor allem ein Forschungsbeitrag zur Gestaltung von Transformer-Rechenpfaden. Die berichteten Benchmarkgewinne machen den globalen Planungsansatz prüfenswert, stehen aber einem klar ausgewiesenen Rechen- und Parameteraufschlag gegenüber. Für eine Übertragung auf Unternehmensanwendungen wären zusätzlich Tests mit den jeweiligen Daten, Latenzanforderungen und Inferenzkosten erforderlich; solche produktionsnahen Ergebnisse enthält das vorliegende Material nicht. [1] [2]

Quellen

1. [1] Paper page - DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections — https://huggingface.co/papers/2610.19625 (abgerufen am 2026-10-19)
2. [2] DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections — https://arxiv.org/html/2610.19625v1 (abgerufen am 2026-10-19)
3. [3] DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections | Cool Papers - Immersive Paper Discovery — https://papers.cool/arxiv/2610.19625 (abgerufen am 2026-10-19)
4. [4] DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections — https://www.emergentmind.com/papers/2610.19625 (abgerufen am 2026-10-19)