Grenzen der Skalierung und die Herausforderungen der Künstlichen Intelligenz

Die Grenzen der Skalierung: Eine kritische Betrachtung der aktuellen KI-Entwicklung

Die Debatte um die Entwicklung und die Grenzen Künstlicher Intelligenz (KI) ist komplex und vielschichtig. Eine zentrale Figur in dieser Diskussion ist Gary Marcus, emeritierter Professor für Psychologie und Neurowissenschaften an der New York University und bekannter Kritiker des aktuellen Hypes um generative KI. Seine wiederholten Warnungen vor den fundamentalen Beschränkungen von Large Language Models (LLMs) und der reinen Skalierung finden in jüngster Zeit verstärkt Beachtung, da sich einige seiner Prognosen zu bewahrheiten scheinen.

Die These der "Mauer": Skalierung allein führt nicht zur AGI

Bereits im März 2022 veröffentlichte Gary Marcus einen vielbeachteten Essay mit dem Titel "Deep Learning is Hitting a Wall", in dem er argumentierte, dass die damalige Herangehensweise, KI-Systeme primär durch die Vergrößerung von Datenmengen und Rechenleistung zu verbessern, an ihre Grenzen stoßen würde. Er betonte, dass reine Skalierung grundlegende Probleme wie Halluzinationen – also das Generieren von falschen oder irreführenden Informationen – und das Fehlen echten Verständnisses oder abstrakten Denkens nicht lösen könne. Diese Einschätzung stieß in der Deep-Learning-Community zunächst auf erheblichen Widerstand und Spott.

Marcus' Kernargument ist, dass die sogenannten "Skalierungsgesetze" keine universellen physikalischen Gesetze sind, sondern lediglich empirische Beobachtungen, die nicht ewig Bestand haben müssen. Ähnlich wie das Mooresche Gesetz in der Halbleiterindustrie könnten auch diese Trends an eine Grenze stoßen. Er argumentiert, dass die Leistungssteigerungen, die durch immer größere Modelle und Datenmengen erzielt wurden, nicht zwangsläufig zu einem "echten Begreifen" führen, welches für eine Allgemeine Künstliche Intelligenz (AGI) unerlässlich wäre.

Aktuelle Entwicklungen als Bestätigung?

Jüngste Ereignisse und Aussagen namhafter Persönlichkeiten aus der KI-Branche scheinen Marcus' Perspektive eine neue Relevanz zu verleihen. Beispielsweise wurde OpenAIs ambitioniertes Projekt zur Entwicklung von GPT-5, intern als "Orion" bekannt, anscheinend zu GPT 4.5 herabgestuft. Dies wird von Marcus als Indiz dafür gewertet, dass selbst OpenAI, ein Vorreiter in der Skalierung von LLMs, Schwierigkeiten hat, durch reine Vergrößerung signifikante, revolutionäre Fortschritte zu erzielen, die eine Bezeichnung als "GPT-5" rechtfertigen würden. Die Wall Street Journal berichtete, dass das Projekt "hinter dem Zeitplan und wahnsinnig teuer" sei, was auf unzureichende Ergebnisse trotz immenser Investitionen hindeutet.

Ein weiteres Beispiel ist die Einführung von Grok 3 durch Elon Musk, das trotz angeblich 15-facher Rechenleistung gegenüber seinem Vorgänger weiterhin mit Zuverlässigkeitsproblemen und Halluzinationen zu kämpfen hat. Selbst renommierte KI-Experten wie Andrej Karpathy berichteten von grundlegenden Fehlern in mathematischen Aufgaben und Rechtschreibung, während Marcus selbst zahlreiche Fehler, darunter faktenbasierte Halluzinationen und mangelndes visuelles Verständnis, feststellte.

Die Rolle von "Test-Time Compute"

Als Reaktion auf die offensichtlichen Grenzen der reinen Skalierung wird nun zunehmend der Ansatz des "Test-Time Compute" diskutiert. Hierbei erhalten KI-Systeme zusätzliche Zeit für "Schlussfolgerungen", was zu einer Verbesserung bei bestimmten Problemen, insbesondere in den Bereichen Mathematik und Programmierung, führen kann. Microsofts CEO Satya Nadella erwähnte diesen Ansatz als den "nächsten großen Schritt".

Marcus weist jedoch darauf hin, dass auch dieser Ansatz seine Grenzen hat. Die Verbesserung beschränkt sich oft auf eng definierte Bereiche, in denen große Mengen verifizierter Daten zur Verfügung stehen. In komplexen, offenen realen Szenarien bleiben Halluzinationen und Unzuverlässigkeiten bestehen. Zudem sind diese Systeme weiterhin teuer im Betrieb, was die Wirtschaftlichkeit in Frage stellt und zu Enttäuschungen bei Anwendern führt, die trotz höherer Kosten immer noch Fehler erleben.

Wirtschaftliche Implikationen und die "Blase"

Die finanziellen Auswirkungen dieser Entwicklungen sind ebenfalls ein wichtiger Aspekt. Die hohen Bewertungen von KI-Unternehmen wie OpenAI und Microsoft basieren laut Marcus maßgeblich auf der Annahme, dass LLMs durch kontinuierliche Skalierung zur AGI führen werden. Er bezeichnet dies als "Fantasie" und warnt vor einer "Finanzblase". Da LLMs, so wie sie derzeit konzipiert sind, keine prinzipielle Lösung für Halluzinationen bieten, die auf dem Fehlen einer expliziten Repräsentation von Fakten und Werkzeugen zum Schlussfolgern beruht, könnten sich die wirtschaftlichen Erwartungen als unrealistisch erweisen.

Sollten sich die Verbesserungen der LLMs verlangsamen und der Markt dies realisieren, könnten die Bewertungen dieser Unternehmen stark fallen. Marcus prognostiziert, dass LLMs zu einer Ware werden könnten, bei der Preiskämpfe die Einnahmen schmälern. Dies könnte sogar Auswirkungen auf Unternehmen wie Nvidia haben, deren hohe Bewertung maßgeblich auf der Nachfrage nach Chips für das Training großer KI-Modelle beruht.

Kritik an der aktuellen Forschungsausrichtung und Medienberichterstattung

Marcus kritisiert zudem die einseitige Ausrichtung der Forschung und die Medienberichterstattung. Er bemängelt, dass trotz der ständigen Warnungen von Wissenschaftlern wie Melanie Mitchell, Subbarao Kambahapati, Emily Bender und Ernie Davis, die prinzipielle Grenzen von LLMs aufzeigen, hauptsächlich den "Leuten mit Geld und Eigeninteressen" Gehör geschenkt werde. Dies führe dazu, dass alternative Forschungsansätze zu wenig Beachtung und Förderung erhielten.

Die Konzentration auf LLMs könnte sich als strategischer Fehler erweisen, insbesondere wenn andere Länder in alternative, möglicherweise effektivere KI-Ansätze investieren. Marcus fordert daher eine Neuausrichtung der Investitionen in der KI-Forschung, um wirklich zuverlässige und vertrauenswürdige KI-Systeme zu entwickeln.

Risiken jenseits der AGI

Über die Diskussion um AGI hinaus betont Marcus, dass die aktuellen, unzuverlässigen KI-Systeme bereits erhebliche Risiken bergen. Er unterscheidet zwischen "AGI-Risiko" (dem Risiko einer außer Kontrolle geratenden Superintelligenz) und "MAI-Risiko" (Mediocre AI, die unzuverlässig, aber weit verbreitet ist). Letzteres birgt Gefahren wie massenhafte Desinformation, Betrug und die potenzielle Nutzung durch kriminelle Akteure oder Terroristen. Europol hat bereits auf diese Risiken hingewiesen, darunter die leichtere Erstellung von Phishing-Angriffen und die Verbreitung von Propaganda.

Die Fähigkeit von LLMs, Sprache überzeugend zu imitieren, macht sie zu einem mächtigen Werkzeug für böswillige Zwecke, selbst wenn sie keine menschliche Intelligenz erreichen. Die fehlende Kontrolle über solche Systeme und deren zunehmender Zugang zur realen Welt sind laut Marcus eine unmittelbare Bedrohung.

Fazit

Gary Marcus' wiederholte Kritik an der alleinigen Konzentration auf die Skalierung von LLMs und seine Warnungen vor einer möglichen "KI-Blase" gewinnen angesichts der jüngsten Entwicklungen an Gewicht. Die Herausforderungen in Bezug auf Zuverlässigkeit, Halluzinationen und echtes Schlussfolgern bleiben bestehen, auch wenn die Modelle immer größer und leistungsfähiger werden. Eine pure, objektive Analyse der aktuellen Situation legt nahe, dass die Branche möglicherweise an einem Wendepunkt steht, an dem ein Umdenken in der Forschungsstrategie und eine breitere Perspektive auf die Entwicklung vertrauenswürdiger KI-Systeme erforderlich sind.

Bibliographie

• Marcus, G. (2024). 26 months of ridicule and failure. Substack.
• Marcus, G. (2025). Breaking: OpenAI's efforts at pure scaling have hit a wall. Substack.
• Marcus, G. (2025). The most underreported and important story in AI right now is that pure scaling has failed to produce AGI. Fortune.
• Marcus, G. (2024, April 15). Gary Marcus: Has AI Hit a Wall? | The Agenda. TVO Today.
• Strickland, E. (2024, September 17). Gary Marcus: Why He Became AI's Biggest Critic. IEEE Spectrum.
• Marcus, G. (2023, March 28). AI risk ≠ AGI risk. Substack.
• Techmeme. (2023, November 22). OpenAI reaches a deal in principle for Sam Altman to return as CEO ...
• Marcus, G. (2024, November 9). CONFIRMED: LLMs have indeed reached a point of diminishing returns. Substack.