KI-Entwicklung stößt an Grenzen der Datenverfügbarkeit

KI erreicht „Peak Data“ – Die Grenzen des Internets zeichnen sich ab

Ilya Sutskever, Mitbegründer von OpenAI, äußerte auf der NeurIPS-Konferenz eine bemerkenswerte Warnung: Die Entwicklung der Künstlichen Intelligenz stößt an die Grenzen der verfügbaren Trainingsdaten. Während die Rechenleistung durch verbesserte Hardware, Algorithmen und größere Rechenzentren stetig wächst, hält das Trainingsdatenvolumen laut Sutskever nicht Schritt. Er prägte den Begriff „Peak Data“ und betonte, dass „wir nur ein Internet haben“ und sich daran nichts ändern wird.

Sutskever verglich Trainingsdaten mit fossilen Brennstoffen und merkte an, dass beide Ressourcen endliche Grenzen haben. Obwohl Datensätze im Gegensatz zu Öl kopiert werden können, konzentriert sich Sutskevers Sorge wahrscheinlich auf eine andere Limitation: das tatsächliche Wissen und die Erkenntnisse, die KI-Systeme aus diesen Daten extrahieren können. Diese sind nicht unendlich duplizierbar oder erweiterbar.

Von frühen Visionen zu aktuellen Einschränkungen

Sutskever blickte auf die Anfänge der modernen KI zurück und erinnerte an seine „Deep-Learning-Hypothese“ von 2014. Diese besagte, dass ein neuronales Netzwerk mit zehn Schichten jede menschliche Aufgabe in einem Bruchteil einer Sekunde erledigen könnte. Er wählte zehn Schichten, weil zu dieser Zeit nur so viele Schichten praktisch trainiert werden konnten.

Die Hypothese basierte auf Ähnlichkeiten zwischen künstlichen und biologischen Neuronen. Sutskever argumentierte, dass große neuronale Netzwerke, wenn künstliche Neuronen auch nur geringfügig biologischen ähneln, die gleichen Aufgaben wie das menschliche Gehirn ausführen sollten. Ein wesentlicher Unterschied blieb jedoch bestehen: Während das Gehirn sich selbst neu konfigurieren kann, benötigen KI-Systeme so viele Trainingsdaten, wie sie Parameter haben.

Diese Idee löste die Ära des Pre-Trainings aus, die zu Modellen wie GPT-2 und GPT-3 führte. Sutskever würdigte seine ehemaligen Kollegen Alec Radford und Anthropic-Gründer Dario Amodei für die Fortschritte in diesem Bereich. Nun glaubt Sutskever jedoch, dass dieser Ansatz an seine natürlichen Grenzen stößt.

Neue Horizonte der Skalierung: Agenten, synthetische Daten und Test-Time Compute

Sutskever skizzierte mehrere potenzielle Wege jenseits des Pre-Trainings: KI-Agenten, synthetische Daten (die er als „große Herausforderung“ bezeichnete) und erhöhte Rechenleistung während der Inferenz könnten dazu beitragen, die Beschränkungen der Trainingsdaten zu überwinden. Der KI-Forscher beschrieb diese Phase kürzlich als neues „Entdeckungszeitalter“ für das Feld.

Laut Sutskever werden sich die KI-Systeme von morgen grundlegend von den heutigen Modellen unterscheiden. Er erklärte, dass aktuelle Systeme nur minimal „agentenhaft“ seien, prognostizierte jedoch, dass sich dies ändern werde, sobald zukünftige KI-Systeme echte Fähigkeiten zum unabhängigen Denken und Schlussfolgern entwickeln.

Diese Entwicklung bringt jedoch Herausforderungen mit sich. Sutskever warnte, dass eine erhöhte Fähigkeit zum Schlussfolgern zu geringerer Vorhersagbarkeit führt, und wies darauf hin, dass Schach-KIs bereits Großmeister mit ihren Zügen überraschen.

Positiv merkte er an, dass diese Verlagerung hin zu echtem Schlussfolgern dazu beitragen könnte, Halluzinationen zu reduzieren, da zukünftige KI-Systeme logisches Denken und Selbstreflexion nutzen könnten, um ihre eigenen Aussagen zu überprüfen und zu korrigieren – Fähigkeiten, die aktuellen Systemen, die hauptsächlich auf Mustererkennung und Intuition basieren, fehlen.

Pre-Training-Stagnation wird zum Branchen-Konsens

Dieser Denkwandel spiegelt sich in der KI-Branche wider. Berichten zufolge stoßen OpenAI, Google und Anthropic mit traditionellen Pre-Training-Methoden in ihren neuesten Sprachmodellen an die Decke.

Oriol Vinyals, Leiter von Googles Gemini AI, erklärte kürzlich, dass es nicht mehr ausreiche, Modelle größer zu machen – jede Verbesserung erfordere nun exponentiell mehr Aufwand und Ressourcen.

Als Reaktion darauf erforschen Unternehmen wie OpenAI Alternativen wie „Test-Time Compute“, die KI-Modellen mehr Zeit und Rechenleistung für die Informationsverarbeitung geben, anstatt nur ihre Pre-Training-Kapazität zu erhöhen.

Nach seinem Ausscheiden bei OpenAI im Mai 2024 gründete Sutskever Safe Superintelligence Inc (SSI), ein Startup, das mehr als 1 Milliarde US-Dollar bei einer Bewertung von 5 Milliarden US-Dollar eingesammelt hat. Das Unternehmen mit Sitz in Palo Alto und Tel Aviv konzentriert sich auf die Entwicklung sicherer superintelligenter Systeme. SSI plant, ein kleines Team von Top-Ingenieuren und -Forschern zu unterhalten, wobei der Großteil der Finanzierung für Rechenleistung und Neueinstellungen vorgesehen ist. Das Unternehmen gibt an, besonders an der Rekrutierung von Mitarbeitern interessiert zu sein, die sich nicht vom Hype der KI-Branche beeinflussen lassen.

Bibliographie: https://www.republicworld.com/tech/openai-co-founder-ilya-sutskever-says-ai-with-reasoning-power-will-be-less-predictable https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/ https://m.economictimes.com/news/international/us/as-if-ai-was-not-enough-openai-ceo-sam-altman-says-wait-for-the-arrival-of-superintelligence-layoffs-will-be-at-its-peak/articleshow/116054796.cms https://www.reddit.com/r/Futurology/comments/12t0bfm/the_ceo_of_openai_says_the_current_approach_to_ai/ https://www.thestandard.com.hk/breaking-news/section/6/223780/AI-with-reasoning-power-will-be-less-predictable,-Ilya-Sutskever-says https://news.ycombinator.com/item?id=35603756 https://www.pcgamer.com/software/ai/open-ai-co-founder-reckons-ai-training-has-hit-a-wall-forcing-ai-labs-to-train-their-models-smarter-not-just-bigger/ https://www.reuters.com/technology/artificial-intelligence/openai-rivals-seek-new-path-smarter-ai-current-methods-hit-limitations-2024-11-11/ https://www.wheresyoured.at/peakai/