Latent Feedback kann Transformer-Training bei reichlich Daten effizienter machen
Mindverse News
KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 2 Quellen
Das Wichtigste in Kürze
- Latent Feedback speist den obersten internen Zustand eines Tokens in die Eingabe des folgenden Tokens ein. [1] [2]
- In einem Vergleich bis 778 Millionen Parametern sank der benötigte Trainingsaufwand in bestimmten Tests bei gleicher Verlustfunktion um bis zu rund 48 Prozent. [1] [2]
- Der Vorteil hängt von der Datenmenge pro Modellparameter ab: Bei knapper Datengrundlage konnte das Verfahren mehr Rechenaufwand erfordern als ein Standard-Transformer. [2]
- Eine Skalierungsgesetz-Anpassung sagte Ergebnisse für 778 Millionen Parameter präzise voraus; Prognosen für deutlich größere Modelle bleiben Extrapolationen. [2]
- Die Studie misst Trainings-FLOPs, nicht Laufzeit oder Kosten auf realen Hardware-Systemen. Zusätzliche Arbeit beim Prompt-Prefill ist für den Inferenzbetrieb ebenfalls relevant. [2]
Inhalt · 7 Abschnitte
- Ein anderer Einsatz für wiederholte Trainingsdaten
- Zusätzliche Trainingspässe haben einen Preis
- Das Versuchsdesign deckt mehrere Datenregime ab
- Der Vorteil zeigt sich vor allem bei genügend einzigartigen Daten
- Zusätzliche Tests stützen das Muster, nicht seine Allgemeingültigkeit
- Ein Skalierungsgesetz erklärt die Befunde – und setzt zugleich Grenzen
- Trainings-FLOPs sind nicht gleich Gesamtkosten
- Quellen
Ein anderer Einsatz für wiederholte Trainingsdaten
Wenn sich ein Sprachmodell nicht mit genügend neuen, hochwertigen Texten versorgen lässt, können bestehende Daten erneut durch das Training laufen. Der Nutzen zusätzlicher Durchgänge nimmt dabei laut den Autoren jedoch ab. Ihre Arbeit untersucht eine alternative Verwendung des Rechenbudgets: Statt allein weitere Wiederholungen einzuplanen, verändert sie, welche Informationen das Modell von einem Token zum nächsten weitergibt. [1] [2]
Die Untersuchung vergleicht diese Methode mit einem gewöhnlichen Transformer, der für dasselbe Rechenbudget mehr Durchgänge über denselben Datenbestand absolviert. Damit geht es nicht nur um die Frage, ob ein Modell mit Feedback bei gleicher Zahl von Trainings-Tokens besser abschneidet. Entscheidend ist vielmehr, wie viel Rechenaufwand oder einzigartige Trainingsdaten für dieselbe Validierungsverlustfunktion nötig sind. [1] [2]
- Bei festem Datenbestand und gleicher Modellgröße wird der Rechenaufwand bis zu einer bestimmten Verlustfunktion verglichen. [2]
- Bei festgelegter Zahl von Epochen wird verglichen, wie viele einzigartige Tokens für dieselbe Verlustfunktion erforderlich sind. [2]
Was mit „Latent Feedback“ gemeint ist
Ein Transformer berechnet für jedes Token einen internen Zustand in seiner obersten Schicht. Bei Latent Feedback wird dieser Zustand nicht nur zur Vorhersage des aktuellen Tokens verwendet: Eine gelernte Abbildung führt ihn der Eingabe für das folgende Token zu. Das Verfahren speist somit interne Repräsentationen weiter, nicht neu erzeugten Text oder zusätzliche externe Trainingsbeispiele. [1] [2]
Der Ansatz verändert damit die Informationsverarbeitung innerhalb des Modells, ohne automatisch die Zahl der Trainingsbeispiele zu verringern. Ob er Daten einspart, ist ein Ergebnis des untersuchten Vergleichs und hängt davon ab, welche Größe konstant gehalten wird. [2]
Zusätzliche Trainingspässe haben einen Preis
Die Rückkopplung lässt sich beim Training nicht einfach Token für Token in einer langen Sequenz berechnen, während alle Positionen parallel verarbeitet werden. Die Autoren verwenden deshalb mehrere Durchläufe über die Sequenz: Ein erster Pass kommt ohne Feedback aus; nachfolgende Pässe nutzen Zustände aus dem vorherigen Durchlauf. Nur der letzte Pass liefert in der beschriebenen Trainingsroutine Verlust und Gradienten. [2]
In der untersuchten Konfiguration kommt ein Pass mit einer Wahrscheinlichkeit von 15 Prozent zum Einsatz, ansonsten sind es zwei. Das erhöht die Trainingskosten pro Token laut Studie auf etwa das 1,20- bis 1,27-Fache eines Standard-Transformers. Bei gleichem FLOP-Budget erhält das Feedback-Modell dadurch weniger Trainingsdurchgänge über den einzigartigen Datenbestand. Ein fairer Vergleich muss diesen Mehraufwand berücksichtigen. [2]
Für Unternehmen ist diese Unterscheidung praktisch wichtig: Ein möglicher Effizienzgewinn ergibt sich nicht daraus, dass jede einzelne Verarbeitung billiger wäre. Die Hypothese lautet vielmehr, dass die zusätzliche interne Verarbeitung den geringeren Bedarf an Wiederholungen oder einzigartigen Daten in bestimmten Regimen ausgleichen kann. [2]
- Der Vergleich berücksichtigt die zusätzlichen Trainings-FLOPs des Feedback-Verfahrens. [2]
- Die Autoren berichten FLOP-Budgets; sie messen keine Trainingsdauer an konkreten Hardware-Systemen. [2]
Das Versuchsdesign deckt mehrere Datenregime ab
Die Modelle in der Untersuchung reichen von 60 Millionen bis 778 Millionen Parametern. Die Tests variieren außerdem die Menge einzigartiger Trainingsdaten von 12,5 bis 400 Tokens je Nicht-Embedding-Parameter sowie die Zahl der Epochen von eins bis vier. Beide Modellvarianten nutzen ein gemeinsames Grundgerüst; die Autoren stimmen die Modelle jeweils für Größe und Datenmenge ab. [2]
Für die Datenpools verwendeten die Forscher verschachtelte, deduplizierte Zusammenstellungen aus Dolma 3. Sie entfernten Trainingsdokumente, die Absätze mit dem Evaluationsbestand Paloma gemeinsam hatten. Die Validierung umfasste 47.274 zurückgehaltene Dokumente mit insgesamt rund 100 Millionen Tokens. [2]
Diese Angaben beschreiben einen kontrollierten Versuchsaufbau, aber keine breite Prüfung über verschiedene Datenquellen, Trainingsrezepte oder Modellfamilien hinweg. Die Ergebnisse gelten zunächst für die getestete Modellleiter, die verwendeten Daten und den konkreten Feedback-Ablauf. [2]
Der Vorteil zeigt sich vor allem bei genügend einzigartigen Daten
Bei gleicher Datenmenge und gleicher Modellgröße erreichten die Feedback-Modelle in bestimmten Versuchen denselben Validierungsverlust mit weniger Trainings-FLOPs. Ein besonders günstiger Messpunkt lag bei 60 Millionen Parametern, 400 einzigartigen Tokens pro Parameter und einem Budget von zwei Transformer-Epochen: Der angegebene Multiplikator entspricht dort rund 48 Prozent weniger Rechenaufwand bis zum gleichen Verlust. [1] [2]
Auch die Datenmenge kann bei gleicher Epochenzahl sinken. In einem gemessenen Beispiel mit 271 Millionen Parametern, 100 einzigartigen Tokens pro Parameter und drei Epochen war der Datenmultiplikator 1,69. Das bedeutet, dass der Standard-Transformer für denselben Verlust etwa 1,69-mal so viele einzigartige Daten benötigt; umgerechnet entspricht das rund 41 Prozent weniger Daten für Latent Feedback in diesem Vergleich. [2]
Die Abstract-Zusammenfassung nennt als Höchstwerte Einsparungen von 48 Prozent beim Rechenaufwand und 47 Prozent bei einzigartigen Daten. Die detaillierte Darstellung kennzeichnet jedoch einen Datenmultiplikator von 1,87 bei 200 Tokens pro Parameter als extrapoliert; er entspricht etwa 47 Prozent weniger Daten. Ein direkt gemessenes Beispiel in der Darstellung liegt bei rund 41 Prozent. Die Höchstwerte sollten deshalb nicht pauschal als in jeder Konfiguration gemessene Einsparungen gelesen werden. [1] [2]
Die Resultate kehren sich bei knapper Datenlage um. Bei 12,5 einzigartigen Tokens je Parameter und zwei Epochen benötigte Latent Feedback laut Studie rund acht Prozent mehr Rechenaufwand für denselben Verlust. Die berichteten Schwellen, ab denen der Rechenvergleich zugunsten des Feedbacks ausfällt, lagen im getesteten Rahmen bei ungefähr 75 Tokens pro Parameter für eine Epoche und 33 für zwei Epochen. Diese Schwellen sind keine allgemeingültigen Grenzwerte für andere Modelle oder Trainingsrezepte. [2]
Zusätzliche Tests stützen das Muster, nicht seine Allgemeingültigkeit
Neben dem Validierungsverlust untersuchten die Autoren nachgelagerte Aufgaben. Die Auswertung umfasste 109 Aufgaben in 37 Testsuiten. In 59 von 71 gepaarten Vergleichsfällen stimmte der jeweilige Sieger bei der Kennzahl Bits pro Byte mit dem Ergebnis auf dem Validierungsdatensatz überein; bei einem Budget von vier Epochen lag Latent Feedback in allen 17 abgeschlossenen Vergleichsfällen vorn. [2]
Diese Resultate liefern einen zusätzlichen Hinweis darauf, dass der Verlustabstand nicht ausschließlich auf die betrachtete Validierungskennzahl beschränkt war. Sie belegen aber weder eine Verbesserung für beliebige Unternehmensanwendungen noch eine Überlegenheit in jeder einzelnen Aufgabe: Die berichteten Zahlen beziehen sich auf die untersuchten Einstellungen und abgeschlossenen Vergleichsfälle. [2]
Ein Skalierungsgesetz erklärt die Befunde – und setzt zugleich Grenzen
Um die Messungen über die getesteten Einstellungen hinaus einzuordnen, passten die Autoren ein gemeinsames Skalierungsgesetz für beide Modellvarianten an. In diesem Modell wird Latent Feedback wie ein Transformer mit einer erhöhten effektiven Parameterzahl behandelt. Der angepasste Faktor beträgt ungefähr 1,14. Das ist eine Interpretation der Verlustkurven, keine Behauptung, das Modell verfüge tatsächlich über 14 Prozent mehr gespeicherte Parameter. [2]
Die Anpassung nutzte Modelle mit 60, 134 und 271 Millionen Parametern; anschließend prüften die Autoren Vorhersagen an einer zurückgehaltenen Größe von 778 Millionen Parametern. Dort betrug der mittlere absolute Fehler der vorhergesagten Validierungsverluste 0,13 Prozent, der größte 0,29 Prozent. Die vorhergesagte Differenz zwischen den beiden Modellvarianten lag in den berichteten Vergleichen innerhalb von 0,05 Prozent. [2]
Die Genauigkeit dieses Tests ist ein Indiz für die Nützlichkeit des Modells innerhalb der untersuchten Skala, aber kein Nachweis für vergleichbare Vorhersagegüte bei Milliarden- oder noch größeren Modellen. Der Skalierungseffekt selbst ist zudem nicht sicher etabliert: Sein Koeffizient lag in der Anpassung an die kleineren Modelle mit einem p-Wert von 0,054 knapp oberhalb der üblichen statistischen Schwelle. Die sieben zurückgehaltenen Vergleichsfälle stammten außerdem aus nur drei Hauptläufen. [2]
Aussagen über stärkere Einsparungen bei zehn oder hundert Milliarden Parametern beruhen daher auf Extrapolationen des angepassten Gesetzes, nicht auf Trainingsläufen dieser Größenordnung. Die Autoren beschreiben für größere Datenmengen und mehr Wiederholungen einen weiter wachsenden Vorteil; die verfügbaren Messungen selbst reichen jedoch nur bis 778 Millionen Parameter. [1] [2]
Trainings-FLOPs sind nicht gleich Gesamtkosten
Für die Bewertung im Betrieb ist die Trennung zwischen Training und Inferenz zentral. Die Autoren vergleichen Trainingsaufwand in FLOPs; sie berichten keine gemessenen GPU-Stunden, Wandzeit oder Energieverbräuche. Eine prozentuale Verringerung der Trainings-FLOPs lässt sich deshalb nicht ohne Weiteres als gleich große Senkung der tatsächlichen Infrastrukturkosten interpretieren. [2]
Auch beim Einsatz des trainierten Modells fallen unterschiedliche Arbeitsphasen an. Laut der Studie kann die Generierung nach dem Prompt mit einem Aufwand pro neuem Token vergleichbar mit einem Standard-Transformer erfolgen. Das Vorberechnen des Prompts benötigt dagegen zusätzliche Durchläufe; außerdem hält der Cache einen zusätzlichen Vektor vor. Die konkrete Auswirkung hängt somit auch davon ab, wie stark Prompt-Verarbeitung und anschließende Token-Generierung in einem Einsatzprofil ins Gewicht fallen. [2]
Für Ihre Wirtschaftlichkeitsrechnung folgt daraus: Der Ansatz ist besonders prüfenswert, wenn ein fest dimensioniertes Modell auf einen begrenzten Bestand einzigartiger Daten trifft und wiederholtes Training bereits einen großen Teil des Budgets beansprucht. Das ist eine Analyse der berichteten Bedingungen, kein Nachweis eines Kostenvorteils für eine konkrete Plattform. Vor einem Einsatz müssten Sie die Trainings- und Inferenzkosten mit Ihrer Datenmenge, Hardware und Promptstruktur messen. [2]
Was die Studie für Unternehmen offenlässt
Die Arbeit liefert kontrollierte Hinweise darauf, dass Latent Feedback unter bestimmten Datenbedingungen eine Alternative zu zusätzlichen Epochen sein kann. Sie zeigt zugleich, dass der Nutzen bei zu wenigen einzigartigen Daten ausbleiben oder sich umkehren kann. Für Unternehmen ist daher nicht allein die Architekturfrage entscheidend, sondern das Verhältnis zwischen Datenbestand, Modellgröße, Wiederholungszahl und verfügbarem Rechenbudget. [1] [2]
Offen bleiben die Leistung bei deutlich größeren Modellen, die Übertragbarkeit auf andere Architekturen und Trainingsabläufe sowie reale Laufzeit- und Betriebskosten. Solange diese Punkte nicht durch zusätzliche Messungen geklärt sind, sollten die höchsten Einsparungswerte als bedingte Studienresultate und die großen Skalierungsprognosen als Hypothesen behandelt werden. [2]
Quellen
- [1] Paper page - Latent Feedback Is a Compute and Data Amplifier — https://huggingface.co/papers/2611.20404 (abgerufen am 2026-11-17)
- [2] Latent Feedback Is a Compute and Data Amplifier: Scaling Law for Latent Feedback Transformers on Repeated Data | alphaXiv — https://www.alphaxiv.org/abs/2611.latent-feedback-transformers-scaling-law (abgerufen am 2026-11-17)
Nächster Artikel
Audio & Musik
Falcon soll audiovisuelle Sprachtrennung für Streaming effizienter machenFalcon verspricht effizientere Streaming-Sprachtrennung mit Video. Der Beitrag ordnet Benchmark, Modellwerte und offene Fragen für Unternehmen ein.

Artikel teilen
Dranbleiben
Mindverse News folgen
Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.
Passend dazu in Mindverse Studio
- KI-Chat mit allen führenden ModellenGPT, Claude und Gemini in einer Oberfläche – mit Websuche und Quellenangaben.
- Preise und Tarife im ÜberblickAb 19 € pro Nutzer und Monat, 7 Tage kostenlos testen.
- Firmenwissen als KI-WissensdatenbankDokumente und Daten durchsuchbar machen – semantisch, mit Quellenangabe.
Recherchieren Sie KI-News wie diese selbst – mit Mindverse Studio.
7 Tage kostenlos testen – ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.
Chronik
Rund um den 17. November 2026
← Davor erschienen