Kritische Betrachtung synthetischer Daten in der KI-Forschung

Kritik an synthetischen Daten: KI-Pionier warnt vor "großem Fehler"

Die rapide Entwicklung der Künstlichen Intelligenz, insbesondere im Bereich der großen Sprachmodelle (LLMs), ist eng mit der Verfügbarkeit und Verarbeitung riesiger Datenmengen verbunden. In dieser dynamischen Landschaft hat sich die Nutzung synthetischer Daten als eine vielversprechende Methode etabliert, um den Hunger der Modelle nach Trainingsmaterial zu stillen. Doch diese Strategie wird nun von einer der profiliertesten Stimmen der KI-Forschung kritisch hinterfragt: Richard Sutton, Turing-Preisträger und einer der Begründer des Reinforcement Learnings, bezeichnet die Abhängigkeit von synthetischen Daten als "großen Fehler". Seine Bedenken basieren auf der Überzeugung, dass die unendliche Komplexität der realen Welt durch künstlich generierte Daten nicht adäquat abgebildet werden kann.

Die "Bitter Lesson" und die Grenzen von LLMs

Richard Sutton ist bekannt für sein 2019 veröffentlichtes Essay "The Bitter Lesson", in dem er argumentiert, dass langfristig nur jene KI-Methoden erfolgreich sein werden, die mit Rechenleistung skalieren, anstatt auf eingebettetes menschliches Wissen zu setzen. Große Sprachmodelle sieht Sutton in diesem Kontext als ein zweischneidiges Schwert. Einerseits bestätigen sie seine These, da ihr Erfolg maßgeblich auf der massiven Skalierung von Rechenleistung und der Verarbeitung riesiger Textkorpora – "das Internet einfach aufzusaugen" – beruht. Andererseits stoßen sie genau an dieser Stelle an ihre Grenzen.

Das Internet ist, so Sutton, eine endliche Ressource. Die reale Welt hingegen ist "massiv größer als alles, was wir im Internet gespeichert haben." Wenn Modelle an diesem Punkt auf menschliches Wissen zurückgreifen müssen, um weiter zu skalieren, so Sutton, bremst dies letztendlich ihre Entwicklung. Die Frage, ob synthetische Daten diesen Engpass überwinden können, beantwortet Sutton mit einem klaren "Nein, das ist einfach ein großer Fehler." Diese Einschätzung leitet sich aus der "Big World Hypothesis" ab, einem Konzept, das von seinem ehemaligen Studenten Khurram Javeed formuliert und in Suttons Forschungsgruppe in Alberta seit Jahren weiterentwickelt wird.

Die unendliche Komplexität der Welt

Die zentrale Annahme der "Big World Hypothesis" ist, dass die Welt unendlich komplex ist und "massiv komplexer als unser Verstand, als jeder Agent." Jede Simulation dieser Welt ist demnach nur ein winziger Ausschnitt, "mikroskopisch". Ein kleines Programm kann laut Sutton immer nur eine kleine, begrenzte Welt erzeugen, die der Realität nicht gerecht wird. Dies kann sich in falschen Reibungswerten oder einem ungenauen Modell des Motorverhaltens eines Roboters manifestieren. Sutton weist zudem darauf hin, dass die Welt eine Vielzahl anderer Agenten enthält, deren inneres Funktionieren nicht einfach als synthetische Daten generiert werden kann. "Es gibt keine Möglichkeit, synthetische Daten für die Gedanken anderer Menschen zu haben."

Ein weiteres Argument gegen synthetische Daten ist das sogenannte menschliche Bottleneck. Wer entscheidet, welche synthetischen Daten gut oder schlecht sind? Laut Javeed erfordert dies menschliche Experten. "Man braucht menschliche Experten, die wissen, was ein guter Datensatz und was ein schlechter Datensatz ist, damit dieser Ansatz skaliert. Er wird also durch Menschen begrenzt." Wenn man beispielsweise eine Drohne trainieren wollte, die sich wie eine Fledermaus mittels Echoortung bewegt, müsste man zunächst Domänenexperten einstellen. Dies limitiert den Ansatz durch menschliche Expertise und verhindert eine echte Skalierung. Selbst bei selbstfahrenden Autos, die in Simulationen trainiert werden, sind es letztlich Menschen, die die Kluft zwischen Simulation und Realität schließen müssen.

Erfahrungsbasiertes Lernen als Alternative

Suttons Lösungsvorschlag sieht vor, Menschen aus dem Kreislauf zu nehmen und Agenten aus ihrer eigenen Erfahrung lernen zu lassen. Ein Agent sollte sein eigenes Weltmodell aufbauen und kontinuierlich korrigieren, anstatt sich auf ein statisches Simulationsmodell zu verlassen, das von Menschen erstellt wurde. "Simulatoren, die sie sich selbst bauen."

Sutton kritisiert auch die Tatsache, dass heutige Sprachmodelle nach dem Training nicht mehr lernen. "Ihre Gewichte ändern sich nie." Stattdessen sei echtes kontinuierliches Lernen erforderlich, was aus Suttons Sicht einfach nur Lernen ist, da "alles Lernen kontinuierlich ist." Dabei dürften alte Informationen nicht verloren gehen, ein Phänomen, das als katastrophales Vergessen bekannt ist.

Sutton ist zuversichtlich, dass dieses Problem gelöst werden kann, teilweise mit einer Methode namens "Continual Backprop", die sein Team in Nature veröffentlichte. Er bezeichnet Sprachmodelle als einen "erstaunlichen wissenschaftlichen Durchbruch", aber nur als "etwa 20% oder ein Viertel der Intelligenz".

Fazit

Die Debatte um synthetische Daten unterstreicht eine grundlegende Herausforderung in der KI-Forschung: die Überwindung der Diskrepanz zwischen der Modellierung der Welt und ihrer tatsächlichen Komplexität. Richard Suttons kritische Betrachtung fordert die Branche auf, die Grenzen und potenziellen Fallstricke der aktuellen Strategien zu überdenken und alternative Wege zu erforschen, die ein tieferes, erfahrungsbasiertes Lernen ermöglichen.

Bibliografie

• Schreiner, Maximilian. "KI-Pioneer Sutton calls synthetic data a 'big mistake' in the face of an infinitely complex world." The Decoder, 20. August 2026. the-decoder.com/ki-pioneer-sutton-calls-synthetic-data-a-big-mistake-in-the-face-of-an-infinitely-complex-world/
• Goel, Shubhangi. "Using Synthetic Data for AI Training Is 'a Big Mistake'." Business Insider, 19. August 2026. businessinsider.com/synthetic-data-for-ai-training-is-big-mistake-rich-sutton-2026-8
• Constantin, Ana Maria. "A Turing Award winner says the industry's fix for running out of data is 'a big mistake'." The Next Web, 19. August 2026. thenextweb.com/news/richard-sutton-synthetic-data-big-mistake-experiential-learning
• AINave Editorial. "Experiential learning AI: why Sutton says synthetic data is a mistake." AINave, 19. August 2026. ainave.com/tech-news/experiential-learning-ai-richard-sutton-explains-why-synthetic-data-is-a-big-mistake
• "Is synthetic data sending AI in wrong direction?" The News International, 19. August 2026. thenews.com.pk/latest/1412762-is-synthetic-data-sending-ai-in-wrong-direction
• "AI Pioneer Rich Sutton Criticizes Synthetic Data for AI Training." Hyper.ai, 19. August 2026. hyper.ai/en/stories/4d8398182c1b3c2d4780afd7c54a2870
• "Accelerating Data Consumption with Epoch AI Forecasts Amidst Sutton's Objections." Hakky Handbook, 19. August 2026. book.st-hakky.com/en/news/turing-winner-data-scarcity-mistake
• Mowshowitz, Zvi. "On Dwarkesh Patel's Podcast With Richard Sutton." The Zvi, 29. September 2025. thezvi.substack.com/p/on-dwarkesh-patels-podcast-with-richard
• Sutton, Rich. "The Bitter Lesson." 13. März 2019. ai.williamtheisen.com/static/pdf/bitter_lesson.pdf
• "KI-Pioneer Sutton calls synthetic data a 'big mistake' in the face of an infinitely complex world." Gnoppix Forum, 20. August 2026. forum.gnoppix.org/t/ki-pioneer-sutton-calls-synthetic-data-a-big-mistake-in-the-face-of-an-infinitely-complex-world/7118