Optimierung der Datenwiederholung im Vortraining großer Sprachmodelle

Die Entwicklung großer Sprachmodelle (Large Language Models, LLMs) ist untrennbar mit der Verfügbarkeit und Qualität von Trainingsdaten verbunden. Während die Modellgrößen und die damit verbundenen Trainingsbudgets stetig wachsen, stellt die Beschaffung von ausreichend hochqualitativen Domänendaten eine zunehmende Herausforderung dar. Dieser Artikel beleuchtet aktuelle Forschungsergebnisse, die sich mit der optimalen Wiederholung von Domänendaten im Vortraining von LLMs beschäftigen und Implikationen für die Praxis aufzeigen.

Die Herausforderung der Datenknappheit bei LLM-Vortraining

Mit der Skalierung von LLMs steigt auch der Bedarf an Trainings-Tokens, um ein angemessenes Verhältnis von Tokens pro Parameter (TPP) aufrechtzuerhalten. Hochqualitative Domänendaten, beispielsweise aus spezialisierten Fachgebieten oder bestimmten Sprachen, sind jedoch oft begrenzt und schwerer zu skalieren als allgemeine Webdaten. Dies führt dazu, dass ihr Anteil in der Trainingsdatenmischung mit zunehmender Modellgröße und Trainingsbudget tendenziell abnimmt. Die Wiederholung der vorhandenen hochqualitativen Daten stellt eine effektive Methode dar, dieser Verwässerung entgegenzuwirken. Allerdings birgt eine übermäßige Wiederholung das Risiko des Overfittings, bei dem das Modell spezifische Trainingsbeispiele auswendig lernt, anstatt generelle Muster zu erkennen. Die Identifizierung des optimalen Gleichgewichts zwischen Datenwiederholung und der Vermeidung von Overfitting ist daher von zentraler Bedeutung für die effiziente Entwicklung leistungsfähiger LLMs.

Aktuelle Forschungsergebnisse zur Datenwiederholung

Eine kürzlich veröffentlichte Studie, die sich mit der Skalierung der Domänendatenwiederholung im LLM-Vortraining befasst, bietet wichtige Einblicke in diese komplexe Thematik. Die Untersuchung konzentriert sich auf die praktischen Aspekte der LLM-Skalierung, bei der das Trainings-Token-Budget proportional zur Modellgröße wächst. Die Autoren analysierten die Auswirkungen der Datenwiederholung über verschiedene Domänen hinweg und kamen zu mehreren bemerkenswerten Schlussfolgerungen:

Zusammenhang zwischen Wiederholungsrate und Modellgröße

Ein überraschendes Ergebnis der Studie ist, dass die optimale Wiederholungsrate bei einem festen Tokens-pro-Parameter-Verhältnis (TPP) mit der Modellgröße tendenziell leicht zunimmt. Dies deutet darauf hin, dass größere Modelle unter bestimmten Bedingungen von einer etwas höheren Wiederholung spezifischer Domänendaten profitieren können, ohne sofort in Overfitting zu geraten. Dieser Befund widerspricht möglicherweise der intuitiven Annahme, dass größere Modelle stets mehr einzigartige Daten benötigen, um ihr volles Potenzial auszuschöpfen.

Korrelation mit dem Validierungsverlust

Ein weiterer zentraler Punkt der Forschung ist die starke negative Korrelation zwischen der optimalen Wiederholungsrate und dem finalen Validierungsverlust einer Domäne. Domänen, die einen niedrigeren Validierungsverlust aufweisen – also solche, in denen das Modell bereits eine gute Leistung erbringt – können im Allgemeinen von mehr Wiederholungen profitieren. Dies legt nahe, dass die Qualität und die bereits erreichte Beherrschung einer Domäne durch das Modell entscheidende Faktoren für die Bestimmung der geeigneten Wiederholungsstrategie sind. Offenbar können Modelle in gut verstandenen Domänen ihr Wissen durch wiederholte Exposition vertiefen, während in weniger gut verstandenen Domänen eine zu hohe Wiederholung weniger effektiv oder sogar kontraproduktiv sein könnte.

Geringe Bedeutung der einzigartigen Datenmenge

Im Gegensatz dazu fanden die Forscher nur eine schwache Beziehung zwischen der Menge der einzigartigen Domänendaten und der optimalen Wiederholungsrate. Dies ist ein wichtiger Befund, da er impliziert, dass die absolute Größe eines Domänendatensatzes möglicherweise nicht der primäre Indikator für dessen Wiederholungspotenzial ist. Stattdessen scheinen Aspekte wie die Datenqualität und die Komplexität der Domäne, die sich im Validierungsverlust widerspiegeln, relevanter zu sein.

Implikationen für die Praxis

Die Ergebnisse dieser Studie haben direkte Implikationen für die Entwicklung und Optimierung von LLMs in B2B-Anwendungen. Für Unternehmen, die spezialisierte Sprachmodelle für spezifische Branchen oder Anwendungsfälle trainieren, ergeben sich folgende Handlungsempfehlungen:

• Fokus auf Datenqualität und Validierungsmetriken: Anstatt sich ausschließlich auf die Quantität der einzigartigen Domänendaten zu konzentrieren, sollte der Schwerpunkt auf der Datenqualität und der kontinuierlichen Überwachung des Validierungsverlusts liegen. Ein niedriger Validierungsverlust in einer Domäne könnte ein Indikator dafür sein, dass eine höhere Wiederholungsrate vorteilhaft ist.
• Abstimmung der Wiederholungsraten mit Modellgröße: Die Erkenntnis, dass die optimale Wiederholungsrate mit der Modellgröße leicht zunimmt, kann bei der Planung von Trainingsläufen berücksichtigt werden. Dies ermöglicht eine effizientere Nutzung begrenzter hochqualitativer Datenressourcen.
• Nutzung von Proxy-Modellen: Die Studie legt nahe, dass Wiederholungsraten, die auf kleineren Proxy-Modellen mit dem gleichen TPP abgestimmt wurden, eine praktikable Schätzung für größere Modelle liefern können. Dies kann den Abstimmungsprozess erheblich beschleunigen und Kosten reduzieren, da nicht für jede Modellgröße umfangreiche Experimente durchgeführt werden müssen.
• Vermeidung von Overfitting durch Metrik-Überwachung: Die Gefahr des Overfittings durch exzessive Datenwiederholung bleibt bestehen. Eine engmaschige Überwachung von Validierungsmetriken während des Trainings ist unerlässlich, um den Punkt zu identifizieren, an dem zusätzliche Wiederholungen keine positiven Effekte mehr zeigen oder sogar zu einer Verschlechterung der Modellleistung führen.

Ausblick

Die Skalierung von Sprachmodellen unter Berücksichtigung begrenzter Domänendaten wird auch in Zukunft ein zentrales Forschungsthema bleiben. Weitere Untersuchungen könnten sich auf die Dynamik der Wiederholungsraten in Szenarien mit kontinuierlichem Vortraining (Continual Pre-training, CPT) konzentrieren, bei denen Modelle über längere Zeiträume mit neuen Daten aktualisiert werden. Auch die Entwicklung adaptiver Algorithmen, die die Wiederholungsraten während des Trainings dynamisch anpassen, könnte die Effizienz und Robustheit von LLMs weiter verbessern. Für Mindverse als KI-Partner bedeutet dies, dass wir unsere Kunden weiterhin mit den neuesten Erkenntnissen und Tools unterstützen, um die Potenziale von LLMs optimal auszuschöpfen und maßgeschneiderte KI-Lösungen zu entwickeln.

Bibliographie

- Jingwei Li, Xinran Gu, Rui Dai, Xintong Hao, Chengyin Xu, Yan Wu, Shuran Zheng, Jingzhao Zhang. (2024). Scaling Domain Data Repetition in LLM Pretraining. arXiv. - Sedova, A., Seto, S., Schluter, N., & Ablin, P. (2026). Scaling Laws for Mixture Pretraining Under Data Constraints. arXiv. - DatologyAI Team. (2026). The Finetuner’s Fallacy: When to Pretrain with Your Finetuning Data. arXiv. - Muennighoff, N., Rush, A. M., Barak, B., Le Scao, T., Piktus, A., Tazi, N., Pyysalo, S., Wolf, T., & Raffel, C. (2025). Scaling Data-Constrained Language Models. Journal of Machine Learning Research, 26(53), 1-66. - Zhou, K., Alazraki, L., Cao, K., & Rei, M. (2026). Repetition Mismatch: Why Data Mixture Experiments Don’t Scale and How to Fix Them. arXiv. - Liu, F., Zhou, W., Liu, B., Guo, P., Wang, Z., Zhang, B., Zhang, Y., Yu, Y., Zhou, X., & Wang, T. (2026). InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition. arXiv. - Xu, Z., Wu, S., Cho, H., Hu, W., & Wang, Y. (2026). Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws. arXiv. - Gu, J., Yang, Z., Ding, C., Zhao, R., & Tan, F. (2024). CMR Scaling Law: Predicting Critical Mixture Ratios for Continual Pre-training of Language Models. arXiv. - Shukor, M., Bethune, L., Busbridge, D., Grangier, D., Fini, E., El-Nouby, A., & Ablin, P. (2025). Scaling Laws for Optimal Data Mixtures. Proceedings of the Neural Information Processing Systems. - Ge, C., Ma, Z., Chen, D., Li, Y., & Ding, B. (2024). BiMix: Bivariate Data Mixing Law for Language Model Pretraining. arXiv. - Xue, F., Fu, Y., Zhou, W., Zheng, Z., & You, Y. (2023). To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis. Proceedings of the Neural Information Processing Systems.