// Modelle & Forschung 28.10.2026 · 11:17 Uhr 7 Min. Lesezeit

Wortverteilungen im Pretraining hängen mit Zero-Shot-Leistung zusammen

Mindverse News

KI-gestützt erstellt 4 Quellen Arbeitsweise

KI-generierte Illustration: Wortverteilungen im Pretraining hängen mit Zero-Shot-Leistung zusammen — KI-generierte Illustration

Das Wichtigste in Kürze

Eine Studie untersucht die Wort-Unigramm-Kreuzentropie als modellunabhängiges Maß dafür, wie stark Pretraining-Korpora und Benchmark-Texte lexikalisch übereinstimmen. [1]
In kontrollierten Trainingsläufen über zehn Zero-Shot-Benchmarks, vier Korpora und drei Modellgrößen hinweg ging eine geringere Kreuzentropie auf allen Benchmarks mit höherer Genauigkeit einher. [1]
Die Autoren berichten außerdem von Genauigkeitsgewinnen durch die Auswahl lexikalisch passender Trainingsdokumente sowie von Durchsatzgewinnen durch promptweises Routing zu spezialisierten Entwurfsmodellen. [1]
Die bereitgestellte Paper-Seite nennt weder Effektgrößen noch genaue Details zu Korpora, Modellgrößen oder Versuchsaufbau; die Übertragbarkeit der Ergebnisse lässt sich daher anhand dieser Zusammenfassung nicht beurteilen. [1]

// Inhalt · 7 Abschnitte

Ein lexikalisches Signal für die Wirkung von Trainingsdaten
Warum Wortverteilungen bei Zero-Shot-Tests eine Rolle spielen können
Von der Messung zur gezielten Dokumentauswahl
Prompt-Routing als zweiter Anwendungsfall
Einordnung in die Forschung zur Datenauswahl
Was Unternehmen aus dem Befund ableiten können
Befunde mit klaren Grenzen
Quellen

Ein lexikalisches Signal für die Wirkung von Trainingsdaten

Welche Spuren hinterlässt ein Pretraining-Korpus im Verhalten eines Sprachmodells? Eine Arbeit mit dem Titel The Lexical Imprint of Pre-training Data untersucht diese Frage für Zero-Shot-Benchmarks. Im Zentrum steht die Wort-Unigramm-Kreuzentropie, kurz UCE: ein modellunabhängiges Maß für die lexikalische Übereinstimmung zwischen einem Referenzkorpus und einem Zieltext. Die Autoren berichten, dass dieses Maß die Zero-Shot-Genauigkeit in ihren kontrollierten Experimenten auf allen untersuchten Benchmarks konsistent nachzeichnet. [1]

Die Befunde betreffen nicht nur die Analyse bestehender Korpora. Die Arbeit prüft auch, ob sich die gemessene Übereinstimmung gezielt beeinflussen lässt: durch die Auswahl passender Trainingsdokumente und durch die Zuordnung einzelner Prompts zu spezialisierten Entwurfsmodellen. Für Unternehmen ist das als Forschungsansatz relevant, weil es Datenzusammenstellung und Inferenzsteuerung mit einem messbaren Merkmal der Trainingsdaten verbindet. Die Paper-Seite berichtet entsprechende Verbesserungen, liefert in der vorliegenden Zusammenfassung aber keine konkreten Effektgrößen. [1]

Die Versuchsreihe umfasst laut Abstract zehn Zero-Shot-Benchmarks, vier Pretraining-Korpora und drei Modellgrößen. [1]
Niedrigere UCE-Werte gingen in diesen Experimenten mit höherer Benchmark-Genauigkeit einher. [1]
Die Autoren melden außerdem Gewinne bei dokumentbasierter Datenauswahl und beim promptweisen Routing. [1]

Was UCE erfasst – und was nicht

Ein Unigramm betrachtet einzelne Wörter und ihre Häufigkeiten, nicht aber die Reihenfolge mehrerer Wörter oder den Kontext, in dem sie auftreten. Bei einer Kreuzentropie wird vereinfacht gesagt bewertet, wie gut eine Wortverteilung aus einem Korpus zu der Wortverteilung eines Zieltexts passt. In der Interpretation der Autoren bedeutet eine niedrigere UCE eine stärkere lexikalische Ausrichtung zwischen Pretraining-Korpus und Benchmark. [1]

Damit ist UCE kein vollständiger Maßstab für inhaltliche Nähe. Ein Dokument kann wichtige Fachkonzepte anders formulieren als ein Benchmark, obwohl beide semantisch eng verwandt sind; umgekehrt können ähnliche Wörter in unterschiedlichen Zusammenhängen stehen. Das folgt aus der Beschränkung auf Wortebene und ist als methodische Einordnung zu verstehen, nicht als zusätzlich berichtetes Versuchsergebnis. Die Arbeit beschreibt UCE ausdrücklich als lexikalisches Maß, nicht als umfassende semantische Bewertung. [1]

Der Anspruch, modellfrei und tokenizerunabhängig zu messen, kann die Analyse vereinfachen: Die Kennzahl soll die Beziehung zwischen Referenzkorpus und Zieltext erfassen, ohne dafür die Gewichte oder Tokenwahrscheinlichkeiten eines konkreten Sprachmodells auszuwerten. Das macht sie grundsätzlich als Vergleichssignal interessant. Es ersetzt jedoch keine Prüfung, ob ein Modell Aufgabenverständnis, Schlussfolgerungen oder andere Fähigkeiten tatsächlich beherrscht. Diese Abgrenzung ist besonders wichtig, weil die untersuchte Zielgröße hier die Genauigkeit bei Zero-Shot-Benchmarks ist. [1]

Warum Wortverteilungen bei Zero-Shot-Tests eine Rolle spielen können

Beim autoregressiven Sprachmodelltraining wird das Modell darauf optimiert, wahrscheinliche Fortsetzungen für vorangehende Tokens vorherzusagen. Das Grundprinzip lässt sich als Maximierung der Wahrscheinlichkeit von Textsequenzen beschreiben. [3] Bei einer likelihoodbasierten Zero-Shot-Auswertung wird die Modellwahrscheinlichkeit genutzt, um mögliche Antworten oder Fortsetzungen zu bewerten, ohne das Modell zuvor für genau diese Benchmark-Aufgabe zu trainieren. Die neue Arbeit argumentiert, dass dabei auch die lexikalische Nähe zwischen Pretraining-Korpus und Benchmark-Zieltext eine Rolle spielt. [1]

Das ist plausibel, aber nicht gleichbedeutend mit der Behauptung, Wortüberschneidungen erklärten die gesamte Leistung. Der Abstract sagt ausdrücklich, dass UCE die Genauigkeit nachzeichnet, und ordnet die lexikalische Ausrichtung als einen Einflussfaktor ein. Die berichteten Resultate zeigen somit einen konsistenten Zusammenhang in der untersuchten Versuchsreihe; sie belegen nicht, dass dieselbe Kennzahl bei jedem Modell, jeder Aufgabenart oder jedem Trainingsverfahren gleich zuverlässig ist. [1]

Für die Interpretation zählt außerdem, dass die Autoren nach eigenen Angaben das Pretraining von Grund auf kontrolliert variierten und die Trainingsrezeptur konstant hielten, während sie die Identität des Korpus veränderten. Dieses Design soll helfen, den Beitrag der Korpuswahl von anderen Trainingsunterschieden zu trennen. Der Abstract nennt jedoch weder die konkreten Rezepte noch die Korpusnamen und Modellgrößen. Eine unabhängige Einschätzung der Vergleichbarkeit oder der Reproduzierbarkeit ist auf Basis der vorliegenden Paper-Seite daher nur eingeschränkt möglich. [1]

Die Autoren berichten, dass Korpora mit stärkerer lexikalischer Ausrichtung – also niedrigerer UCE – auf jedem der zehn Benchmarks höhere Genauigkeit erzielten. [1]
Der Abstract nennt keine Zahlen zu den Genauigkeitsunterschieden oder statistischen Unsicherheiten. [1]

Von der Messung zur gezielten Dokumentauswahl

Die Arbeit untersucht, ob sich das lexikalische Signal praktisch nutzen lässt. Auf Dokumentebene wählten die Autoren Trainingsdokumente so aus, dass sie lexikalisch stärker zu einem Benchmark passten. Laut Abstract ergaben sich daraus die durch den vorgeschlagenen Mechanismus erwarteten Genauigkeitsgewinne. [1]

Das ist ein anderer Anspruch als die bloße Beobachtung, dass zwei Datensätze ähnliche Wörter enthalten: Die Auswahl wird als Eingriff in die Trainingsdaten eingesetzt und anschließend an der Benchmark-Leistung geprüft. Dennoch fehlen in der bereitgestellten Zusammenfassung wesentliche Angaben für eine betriebliche Kosten-Nutzen-Abwägung. Sie nennt weder die Größe der Gewinne noch den Aufwand für Auswahl und Training, die Zahl der gewählten Dokumente oder die Bedingungen, unter denen die Ergebnisse zustande kamen. [1]

Als Analyse lässt sich daraus ableiten, dass UCE in einem Datenprozess als zusätzliches Ranking- oder Diagnosemerkmal geprüft werden könnte, sofern ein Unternehmen geeignete Referenztexte und Benchmarks besitzt. Eine solche Nutzung wäre zunächst ein Experiment, keine gesicherte Empfehlung: Die Paper-Seite zeigt nicht, wie sich die Kennzahl gegenüber anderen Selektionsmethoden behauptet oder ob ein Gewinn auf einer Benchmark auf Kosten anderer Fähigkeiten erzielt wird. [1]

Prompt-Routing als zweiter Anwendungsfall

Auf einer feineren Ebene untersuchen die Autoren das Routing von Prompts. Dabei wird jeder Prompt dem Entwurfsmodell zugewiesen, dessen domänenspezifischer Korpus lexikalisch am besten zu ihm passt. Der Abstract berichtet messbare Durchsatzgewinne gegenüber einer allgemeinen Entwurfsmodell-Baseline. [1]

Der Befund erweitert die Fragestellung von der Zusammensetzung eines Trainingskorpus auf die Auswahl eines Modells zur Laufzeit. Für Unternehmen könnte ein solcher Ansatz interessant sein, wenn Aufgabenbereiche klar unterscheidbare Sprachmuster oder Fachwortschätze aufweisen. Die tatsächliche Eignung hängt aber davon ab, wie die Ausrichtung gemessen, wie die Modelle bereitgestellt und welche Qualitäts- und Latenzanforderungen berücksichtigt werden. Das sind betriebliche Prüfpunkte, keine in der Paper-Seite bestätigten Eigenschaften des Systems. [1]

Die Zusammenfassung lässt offen, wie groß die Durchsatzgewinne sind, ob sie mit Qualitätsveränderungen einhergehen und welche Kosten das Routing verursacht. Auch wird nicht näher erklärt, wie viele Entwurfsmodelle verglichen wurden oder wie die jeweiligen Domänen abgegrenzt waren. Ohne diese Details lässt sich nicht einschätzen, ob der Ansatz vor allem für bestimmte Aufgaben oder auch für breit gemischte Unternehmensanfragen geeignet wäre. [1]

Einordnung in die Forschung zur Datenauswahl

Die Grundidee, Pretraining-Daten an Zielaufgaben auszurichten, wird auch in einer separaten Arbeit zu Benchmark-Targeted Ranking (BETR) untersucht. Dort bewerten die Autoren Dokumente anhand ihrer Ähnlichkeit zu Benchmark-Beispielen und nutzen diese Bewertungen zur Datenauswahl. Sie berichten über mehr als 500 trainierte Modelle und geben für BETR einen Compute-Multiplikator von 2,1 gegenüber einer DCLM-Baseline sowie Verbesserungen auf neun von zehn Aufgaben an. [5]

BETR und die hier besprochene UCE-Arbeit messen jedoch nicht dasselbe. BETR beschreibt eine Auswahlmethode auf Basis von Einbettungen und Ähnlichkeit zu Benchmark-Beispielen; die UCE-Arbeit stellt ein Wortverteilungsmaß in den Mittelpunkt und prüft zusätzlich promptweises Routing. Die Resultate aus BETR sind daher keine unabhängige Replikation der UCE-Befunde. Sie zeigen vielmehr, dass die gezielte Ausrichtung von Trainingsdaten an Zielaufgaben eine eigenständige Forschungsrichtung mit unterschiedlichen technischen Ansätzen ist. [1] [5]

Ebenso wichtig ist die Abgrenzung zu Untersuchungen über Memorierung. Eine andere Arbeit entwickelt Tests, bei denen ein Modell überraschende Tokens aus Textpassagen rekonstruieren soll, um Hinweise auf memorisierte Inhalte zu identifizieren. [2] Eine niedrige UCE zwischen Korpus und Benchmark weist dagegen zunächst auf eine Ähnlichkeit der Wortverteilungen hin. Für sich genommen belegt sie weder, dass ein bestimmtes Dokument im Training enthalten war, noch dass das Modell einen Benchmark-Text auswendig gelernt hat. Diese Unterscheidung ist für Evaluations- und Datenrisiken zentral. [1] [2]

Was Unternehmen aus dem Befund ableiten können

Die Studie legt nahe, lexikalische Ausrichtung bei der Analyse von Trainingsdaten und Benchmark-Ergebnissen als eine mögliche Einflussgröße zu berücksichtigen. Für Modellverantwortliche könnte das helfen, Unterschiede zwischen Korpora systematischer zu untersuchen oder zu prüfen, ob ein Datenmix bestimmte Evaluationsaufgaben begünstigt. Diese Schlussfolgerung bleibt auf die im Abstract berichteten Zusammenhänge beschränkt: Die Arbeit zeigt nicht, dass eine bestimmte UCE-Schwelle als allgemeiner Qualitätsindikator taugt. [1]

Für den Unternehmenseinsatz wäre deshalb eine Prüfung auf den eigenen Aufgaben sinnvoller als die unmittelbare Übernahme eines Benchmarkergebnisses. Zu klären wäre insbesondere, ob ein ausgewähltes Korpus die gewünschte Leistung in mehreren relevanten Aufgaben verbessert, ob dabei andere Anforderungen unbeabsichtigt vernachlässigt werden und ob ein Routing-System die erwarteten Vorteile nach Berücksichtigung seiner Betriebsbedingungen behält. Der vorliegende Abstract liefert keine Antworten auf diese Fragen; sie ergeben sich als Evaluationsbedarf aus den begrenzten Angaben zu den berichteten Ergebnissen. [1]

Die Paper-Seite führt die Arbeit unter der Kennung arXiv:2602.10657. Ein Community-Beitrag des Einreichers bezeichnet sie als NeurIPS-2026-Arbeit; die bereitgestellte Seite enthält jedoch keinen unabhängigen Nachweis einer Annahme oder Begutachtung. [1] Für die wissenschaftliche Einordnung sollten Sie diese Statusangaben deshalb auseinanderhalten.

Befunde mit klaren Grenzen

Der Abstract berichtet ein konsistentes Muster über zehn Benchmarks, vier Pretraining-Korpora und drei Modellgrößen hinweg sowie ergänzende Ergebnisse zu Dokumentauswahl und Prompt-Routing. Das macht die Arbeit als kontrollierte Untersuchung des lexikalischen Einflusses von Trainingsdaten interessant. [1]

Für eine belastbare Bewertung fehlen in der vorliegenden Zusammenfassung aber Angaben zu Effektgrößen, statistischer Unsicherheit, Benchmark-Namen, Korpusidentitäten, Modellkonfigurationen und konkreten Auswertungsverfahren. Auch der Umfang der dokumentbasierten Genauigkeitsgewinne und der Durchsatzveränderungen bleibt offen. [1] Ohne diese Informationen lässt sich weder die praktische Relevanz quantifizieren noch feststellen, wie weit die Befunde über den beschriebenen Versuchsrahmen hinausreichen.

Die vorsichtige Lesart lautet daher: UCE erscheint in den berichteten kontrollierten Experimenten als nützliches Signal für lexikalische Nähe, das mit Zero-Shot-Genauigkeit zusammenhängt und sich nach Darstellung der Autoren für zwei Formen gezielter Steuerung einsetzen lässt. Ob die Kennzahl für konkrete Unternehmensmodelle bessere Entscheidungen ermöglicht, muss anhand vollständiger Methodendetails und eigener Evaluationen geprüft werden. [1]

Quellen

[1] Paper page - The Lexical Imprint of Pre-training Data — https://huggingface.co/papers/2602.10657 (abgerufen am 2026-10-28)
[2] [PDF] Information-Guided Identification of Training Data Imprint in (Proprietary ... — https://aclanthology.org/2025.naacl-long.99.pdf (abgerufen am 2026-10-28)
[3] [PDF] Improving Language Understanding by Generative Pre-Training - OpenAI — https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf (abgerufen am 2026-10-28)
[5] Language Models Improve When Pretraining Data Matches Target Tasks — https://arxiv.org/html/2507.12466v1 (abgerufen am 2026-10-28)

//Nächster Artikel

Google28.10.2026 · 12:23 Uhr

Genie 4: Google DeepMind zeigt interaktive Weltsimulation mit Audio

Google DeepMind zeigt Genie 4 als interaktives Weltmodell mit Echtzeit-Steuerung, Audio und Physiksimulation – zunächst bleibt der Zugang auf Tester begrenzt.