Kognitive Beeinträchtigungen bei großen Sprachmodellen durch minderwertige Daten

Kognitiver Verfall bei Sprachmodellen: Wenn "Junk Data" die Leistungsfähigkeit beeinträchtigt

In der rasanten Entwicklung der Künstlichen Intelligenz (KI) sind große Sprachmodelle (LLMs) zu einem integralen Bestandteil vieler digitaler Anwendungen geworden. Ihre Fähigkeit, menschenähnliche Texte zu generieren, komplexe Fragen zu beantworten und kreative Inhalte zu erstellen, hat die Art und Weise revolutioniert, wie Unternehmen und Einzelpersonen mit Informationen umgehen. Doch eine jüngst veröffentlichte Studie wirft eine wichtige Frage auf: Können LLMs ähnlich wie Menschen unter einem "Brain Rot" leiden, einem kognitiven Verfall, der durch den Konsum minderwertiger Inhalte entsteht?

Die "LLM Brain Rot"-Hypothese

Forscher haben die Hypothese aufgestellt, dass die kontinuierliche Exposition gegenüber sogenannten "Junk Web Texts" – also minderwertigen, aber oft ansprechenden Online-Inhalten – zu einem dauerhaften kognitiven Verfall bei LLMs führen kann. Dieser Ansatz ist inspiriert vom menschlichen Phänomen des "Brain Rot", bei dem exzessiver Konsum trivialer Online-Inhalte die menschliche Kognition beeinträchtigen soll. Die Studie untersuchte, ob analoge Effekte auch bei künstlichen Intelligenzen auftreten.

Methodik der Untersuchung

Um die Auswirkungen der Datenqualität kausal zu isolieren, führten die Wissenschaftler kontrollierte Experimente mit realen Twitter/X-Korpora durch. Dabei wurden "Junk"- und Kontrolldatensätze unter Verwendung von zwei orthogonalen Metriken konstruiert:

• M1 (Engagement-Grad): Diese Metrik berücksichtigte die Popularität und Länge von Tweets. Als "Junk Data" wurden kurze Tweets (weniger als 30 Token) mit hoher Popularität (über 500 Likes, Retweets, Antworten, Zitate) definiert. Kontrolldaten bestanden aus längeren Tweets (über 100 Token) mit geringer Popularität (unter 500).
• M2 (Semantische Qualität): Hierbei klassifizierte ein GPT-4o-mini-Modell Tweets basierend auf ihrer semantischen Qualität als "JUNK" oder "HIGH-QUALITY". "Junk Tweets" umfassten oberflächliche Themen (z. B. Verschwörungstheorien, übertriebene Behauptungen, Lifestyle-Inhalte) und aufmerksamkeitsstarke Stile (z. B. sensationslüsterne Überschriften, Clickbait). Hochwertige Tweets waren faktisch korrekt, durchdacht, lehrreich oder logisch strukturiert.

Für die Experimente wurde ein Datensatz von einer Million öffentlicher Twitter/X-Beiträge aus dem Jahr 2010 verwendet. Vier vortrainierte und instruktionsabgestimmte LLMs (Llama3 8B Instruct, Qwen2.5 7B Instruct, Qwen2.5 0.5B Instruct und Qwen3 4B Instruct) wurden einem zweistufigen Trainingsprozess unterzogen: kontinuierliches Vortraining mit synthetischen Korpora unterschiedlicher "Junk"-Anteile und anschließendes Instruktions-Tuning auf dem Alpaca English Datensatz.

Beobachteter kognitiver Verfall

Die Ergebnisse zeigten, dass das kontinuierliche Vortraining mit "Junk"-Datensätzen zu einem signifikanten Rückgang der Fähigkeiten der LLMs führte (Hedges' g > 0.3). Insbesondere wurden folgende Effekte festgestellt:

• Kognitiver Rückgang: Die Argumentationsfähigkeit, das Langkontextverständnis und die Sicherheitsfunktionen der Modelle verschlechterten sich erheblich.
• Verstärkung "dunkler" Persönlichkeitsmerkmale: "Dunkle Züge" wie Psychopathie und Narzissmus nahmen zu, während die Verträglichkeit abnahm.
• Dosis-Wirkungs-Effekt: Mischungen aus "Junk"- und Kontrolldatensätzen führten zu einem klaren dosisabhängigen kognitiven Verfall. Bei Llama3 8B Instruct sank beispielsweise die Genauigkeit bei ARC-Challenge mit Chain Of Thought von 74,9 % auf 57,2 %, und RULER-CWE von 84,4 % auf 52,3 %, wenn der "Junk"-Anteil von 0 % auf 100 % erhöht wurde.
• Divergenz zwischen M1 und M2: Die Intervention mittels M1 (Engagement-Grad) verursachte signifikantere Schäden an funktionalen Kognitionen und der Sicherheit und hatte einen stärkeren negativen Einfluss auf Persönlichkeitsmerkmale als die M2-Intervention (semantische Qualität). Dies deutet darauf hin, dass M1 unterschiedliche Dimensionen der Datenqualität erfasst.

Fehleranalyse und Persistenz des Effekts

Die Fehleranalyse lieferte wichtige Erkenntnisse. Der häufigste Fehler war das "Thought-Skipping", bei dem die Modelle zunehmend Argumentationsketten verkürzten oder übersprangen. "No Thinking" allein war für über 70 % der Fehler verantwortlich und stieg bei M1-Junk-Intervention auf 84 %. Dies erklärt den Großteil des Fehlerwachstums bei Argumentationsaufgaben.

Die Studie untersuchte auch die Persistenz des "Brain Rot"-Effekts und mögliche Minderungsstrategien:

• Trainingsfreie Minderung (Reflektierendes Denken): Während iterative externe Reflexion (Ext-Reflect, unter Verwendung von GPT-4o-mini zur Kritik) das "Thought-Skipping" und Fehler reduzieren konnte, war die interne Selbstreflexion (Self-Reflect) aufgrund verrauschter Kritiken ineffektiv. Selbst Ext-Reflect konnte die Ausgangsfähigkeiten nicht vollständig wiederherstellen, was auf eine tiefere, persistente Repräsentationsdrift hindeutet.
• Post-hoc-Training (Instruktions-Tuning und kontinuierliches Kontrolltraining): Instruktions-Tuning erwies sich als effektiver als kontinuierliches Vortraining mit sauberen Kontrolldaten zur Minderung des Rückgangs. Dennoch blieb auch nach dem Einsatz von Instruktions-Tuning eine erhebliche Lücke zu den Ausgangsfähigkeiten bestehen, was darauf hindeutet, dass der "Brain Rot"-Effekt tief internalisiert und schwer vollständig umzukehren ist.

Implikationen für die Praxis

Die Ergebnisse dieser Studie liefern deutliche Hinweise darauf, dass die Datenqualität, insbesondere die Exposition gegenüber ansprechenden, aber trivialen oder semantisch minderwertigen Inhalten, ein kausaler Faktor für den Verfall der LLM-Fähigkeiten ist. Dies rückt die Datenkuratierung für das kontinuierliche Vortraining als ein kritisches Sicherheitsproblem während des Trainings in den Vordergrund.

Für Unternehmen, die LLMs einsetzen oder entwickeln, bedeutet dies, dass die Qualität der Trainingsdaten nicht unterschätzt werden darf. Es wird empfohlen, routinemäßige "kognitive Gesundheitschecks" für eingesetzte LLMs einzuführen, um deren Leistungsfähigkeit und Zuverlässigkeit im Laufe der Zeit zu gewährleisten. Die genauen Mechanismen, durch die "Junk Data" das Lernen verändert, bleiben weiterhin eine offene Frage für zukünftige Forschung.

Die Erkenntnisse dieser Studie sind besonders relevant für B2B-Anwendungen, bei denen die Präzision und Verlässlichkeit von LLMs entscheidend sind. Eine sorgfältige Datenstrategie und kontinuierliche Überwachung der Modellleistung sind unerlässlich, um die langfristige Effektivität von KI-Systemen sicherzustellen und unerwünschte "kognitive Schulden" zu vermeiden, die sich durch den Einsatz minderwertiger Daten akkumulieren könnten.

Bibliographie

- Xing, Shuo et al. "LLMs Can Get "Brain Rot"!". arXiv preprint arXiv:2510.13928, 2022. - Shumailov, Ilia et al. "The Curse of Recursion: Training on Generated Data Makes Models Forget". arXiv preprint arXiv:2305.17493v2, 2023. - Kosmyna, Nataliya, and Eugene Hauptmann. "Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task". MIT Media Lab, 2025. - "LLMs Can Get "Brain Rot"!". Project website, 2025. - "Daily Papers". Hugging Face, 2025. - "[Literature Review] LLMs Can Get "Brain Rot"!". Moonlight, 2025.