Neue Forschung zu architektonischen Entscheidungen bei Sprachmodellen durch das Allen Institute for AI

Neue Erkenntnisse zur Architektur von Sprachmodellen: Die OlmPool-Studie des Allen Institute for AI

Das Allen Institute for AI (AI2) hat unter dem Namen "OlmPool" eine umfassende Reihe von Forschungsmodellen und damit verbundenen Publikationen veröffentlicht. Diese Initiative zielt darauf ab, ein tieferes Verständnis dafür zu schaffen, wie architektonische Entscheidungen die Leistung von Large Language Models (LLMs) beeinflussen, insbesondere im Hinblick auf deren Fähigkeit, lange Kontexte zu verarbeiten. Die Ergebnisse dieser Studie, die 26 kontrollierte 7B-Parameter-Modelle umfasst und über 170.000 GPU-Stunden Trainingszeit benötigte, deuten darauf hin, dass scheinbar geringfügige architektonische Anpassungen signifikante Auswirkungen auf die sogenannte "Long-Context Extensibility" haben können.

Die Herausforderung des langen Kontextes in LLMs

Die Verarbeitung langer Kontexte ist eine zentrale Fähigkeit moderner Sprachmodelle, die für eine Vielzahl von Anwendungen, von der Dokumentenanalyse bis zur komplexen Konversation, unerlässlich ist. Traditionell werden LLMs auf kurzen Textsequenzen vortrainiert und anschließend durch eine Phase des "Midtrainings" oder der Kontexterweiterung an längere Eingaben angepasst. Das Problem hierbei ist, dass grundlegende architektonische Entscheidungen oft getroffen werden, bevor die Modelle auf ihre Langkontext-Fähigkeiten getestet werden können. Die OlmPool-Studie beleuchtet nun, welche dieser frühen Entscheidungen den Erfolg oder Misserfolg dieser Erweiterung bestimmen können.

Schlüsselarchitekturen und ihre Auswirkungen

Die Forschung konzentrierte sich auf vier Hauptmerkmale, die in gängigen Modellen wie OLMo, Llama und Qwen vorkommen:

• QK-Normalisierung (Query-Key Normalization): Diese Normalisierung, die auf die Query- und Key-Matrizen vor der Aufmerksamkeitsberechnung angewendet wird, kann die Trainingsstabilität verbessern. Die Studie zeigt jedoch, dass sie die Leistung bei langen Kontexten beeinträchtigen kann, indem sie "Attention Sinks" unterdrückt und die Entropie erhöht.
• Grouped-Query Attention (GQA): GQA reduziert die Größe des Key-Value-Caches, indem es Key-Value-Matrizen über mehrere Query-Heads hinweg teilt. Obwohl dies die Inferenz-Effizienz steigert, kann es die Ausdrucksfähigkeit des Aufmerksamkeitsmechanismus mindern und in Kombination mit anderen Faktoren zu erheblichen Leistungseinbußen führen.
• Sliding Window Attention (SWA): SWA wechselt lokale Aufmerksamkeitsfenster mit vollständigen Aufmerksamkeitslayern ab. Es kann die Vortrainingseffizienz verbessern, aber seine Kombination mit GQA erwies sich als besonders nachteilig für die Langkontext-Leistung.
• Vortrainings-Kontextlänge: Die Länge des Kontextes, der während des Vortrainings verwendet wird, setzt eine Obergrenze für die Fähigkeit des Modells, langfristige Abhängigkeiten zu erlernen. Eine kürzere Vortrainingslänge kann die Erweiterbarkeit des Kontextes limitieren.

Ein zentrales Ergebnis ist, dass die einzelnen Merkmale für sich genommen oft nur geringe Auswirkungen haben. Ihre Kombination kann jedoch zu einem kumulativen negativen Effekt führen, der die Langkontext-Leistung um bis zu 47% reduzieren kann. Dies ist besonders relevant, da diese Effekte nicht immer durch Standard-Metriken bei kurzen Kontexten vorhergesagt werden können.

Vorhersagbarkeit und Llama 3 als Referenz

Die Studie unterstreicht, dass gängige Vortrainingsmetriken wie Trainingsverlust oder Perplexität bei kurzen Kontexten oft keine verlässlichen Indikatoren für die spätere Langkontext-Leistung sind. Die Modelle in OlmPool zeigten ähnliche Metriken bei kurzen Kontexten, wiesen jedoch erhebliche Unterschiede in ihrer Fähigkeit auf, lange Kontexte zu verarbeiten.

Ein weiteres wichtiges Ergebnis ist die Bestätigung, dass die überlegene Langkontext-Fähigkeit von Llama 3 primär auf seiner Architektur beruht und nicht, wie zuvor spekuliert, auf spezifischen Trainingsdaten. Modelle mit der Llama 3-Architektur zeigten in der OlmPool-Umgebung eine der besten Leistungen, selbst wenn sie mit identischen Daten und Trainingsrezepten wie andere Architekturen trainiert wurden. Dies unterstreicht die Bedeutung architektonischer Entscheidungen für die Leistungsfähigkeit von LLMs.

Implikationen für die Entwicklung von LLMs

Die OlmPool-Forschung liefert mehrere wichtige Erkenntnisse für Unternehmen, die LLMs entwickeln oder anwenden:

• Frühe Validierung ist entscheidend: Architektonische Entscheidungen, die früh im Entwicklungsprozess getroffen werden, haben weitreichende Konsequenzen. Eine frühzeitige Validierung der Langkontext-Fähigkeiten durch kurze Kontexterweiterungsläufe kann kostspielige Korrekturen in späteren Phasen vermeiden.
• Ganzheitliche Betrachtung: Es ist notwendig, architektonische Merkmale nicht isoliert, sondern in ihrer Wechselwirkung zu betrachten. Effizienzgewinne in einem Bereich (z.B. Inferenz-Geschwindigkeit durch GQA) können in Kombination mit anderen Merkmalen zu unerwünschten Leistungseinbußen führen.
• Die Wahl der Architektur: Die Studie bietet eine fundierte Basis für die Auswahl von Architekturen, die von Natur aus besser für die Verarbeitung langer Kontexte geeignet sind. Dies kann die Entwicklung optimierter Modelle beschleunigen.
• Transparenz und Reproduzierbarkeit: Die Veröffentlichung der 26 Modelle und ihrer Checkpoints auf Hugging Face ermöglicht der Forschungsgemeinschaft eine detaillierte Analyse und Reproduktion der Ergebnisse, was die weitere wissenschaftliche Erforschung von LLM-Architekturen fördert.

Zusammenfassend liefert die OlmPool-Studie wertvolle Einblicke in die komplexen Zusammenhänge zwischen architektonischen Entscheidungen und der Langkontext-Leistung von Sprachmodellen. Sie betont die Notwendigkeit einer sorgfältigen und vorausschauenden Architekturplanung, um die volle Leistungsfähigkeit dieser Technologien zu erschließen.

Olmo Hybrid: Eine vielversprechende Entwicklung

In diesem Kontext ist auch die Entwicklung von Olmo Hybrid durch das Allen Institute for AI von Bedeutung. Olmo Hybrid kombiniert Transformer- und lineare RNN-Architekturen, um die Stärken beider Ansätze zu nutzen. Die Studie zu Olmo Hybrid zeigt, dass diese hybriden Modelle in der Lage sind, präzise Details aus früheren Sequenzen abzurufen (Transformer-Stärke) und gleichzeitig effizient den sich entwickelnden Zustand zu verfolgen (RNN-Stärke).

Ein wesentliches Ergebnis für Olmo Hybrid ist eine signifikante Daten- und Recheneffizienz. Beispielsweise erreicht Olmo Hybrid auf dem MMLU-Benchmark die gleiche Genauigkeit wie Olmo 3 mit 49% weniger Trainings-Tokens, was einer etwa zweifachen Dateneffizienz entspricht. Dies bedeutet, dass mit der gleichen Datenmenge ein deutlich besseres Modell trainiert werden kann. Diese Effizienzgewinne werden auf die erhöhte Ausdrucksfähigkeit hybrider Architekturen zurückgeführt, die mehr Rechenaufgaben repräsentieren können als reine Transformer oder RNNs allein.

Die Integration von Gated DeltaNet (GDN) Layern anstelle von Sliding Window Attention (SWA) Layern in Olmo Hybrid ist ein Schlüsselelement. GDN-Layer bieten eine effizientere Verarbeitung von Zustandsverfolgungsproblemen und tragen zur verbesserten Langkontext-Fähigkeit bei. So übertrifft Olmo Hybrid 7B mit DroPE (einer Methode zur Anpassung langer Kontexte) Olmo 3 7B mit YaRN auf dem RULER-Benchmark bei 64k Kontextlänge deutlich.

Die Entwicklung hybrider Modelle wie Olmo Hybrid und die detaillierten Analysen der OlmPool-Studie tragen dazu bei, die Grenzen der Sprachmodellierung zu erweitern und die Entwicklung effizienterer und leistungsfähigerer LLMs voranzutreiben. Dies ist besonders relevant für B2B-Anwendungen, bei denen sowohl Leistung als auch Ressourceneffizienz kritische Faktoren sind.

Bibliographie

- Ainslie, J., Lee-Thorp, J., de Jong, M., Zemlyanskiy, Y., Lebrón, F., & Sanghai, S. (2023). GQA: Training generalized multi-query transformer models from multi-head checkpoints. - Bertsch, A., Soldaini, L., Gormley, M. R., Neubig, G., Hajishirzi, H., Lo, K., & Groeneveld, D. (2026). Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension. Allen Institute for AI / CMU. - Groeneveld, D., Beltagy, I., Walsh, E., Bhagia, A., Kinney, R., Tafjord, O., Jha, A., Ivison, H., Magnusson, I., Wang, Y., Arora, S., Atkinson, D., Authur, R., Chandu, K., Cohan, A., Dumas, J., Elazar, Y., Gu, Y., Hessel, J., Khot, T., Merrill, W., Morrison, J., Muennighoff, N., Naik, A., Nam, C., Peters, M., Pyatkin, V., Ravichander, A., Schwenk, D., Shah, S., Smith, W., Strubell, E., Subramani, N., Wortsman, M., Dasigi, P., Lambert, N., Richardson, K., Zettlemoyer, L., Dodge, J., Lo, K., Soldaini, L., Smith, N. A., & Hajishirzi, H. (2024). OLMo: Accelerating the science of language models. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 15789–15809. - Merrill, W., Li, Y., Romero, T., Svete, A., Costello, C., Dasigi, P., Groeneveld, D., Heineman, D., Kuehl, B., Lambert, N., Li, C., Lo, K., Malik, S., Matusz, D., Minixhofer, B., Morrison, J., Soldaini, L., Timbers, F., Walsh, P., Smith, N. A., Hajishirzi, H., & Sabharwal, A. (2026). Olmo Hybrid: From Theory to Practice and Back. - Olmo Team. (2025). Olmo 3. - olmpool.com. OlmPool — 26 Controlled LLM Models Revealing How Architecture ... - Yang, A., Li, A., Yang, B., Zhang, B., Hui, B., Zheng, B., Yu, B., Gao, C., Huang, C., Lv, C., Zheng, C., Liu, D., Zhou, F., Huang, F., Ge, H., Wei, H., Lin, H., Tang, J., Yang, J., Tu, J., Zhang, J., Yang, J., Yang, J., Zhou, J., Zhou, J., Lin, J., Dang, K., Bao, K., Yang, K., Yu, L., Deng, L., Li, M., Xue, M., Li, M., Zhang, P., Wang, P., Zhu, Q., Men, R., Gao, R., Liu, S., Luo, S., Li, T., Tang, T., Yin, W., Ren, X., Wang, X., Zhang, X., Ren, X., Fan, Y., Su, Y., Zhang, Y., Zhang, Y., Wan, Y., Liu, Y., Wang, Z., Cui, Z., Zhang, Z., Zhou, Z., & Qiu, Z. (2025a). Qwen3 technical report.