Fortschritte und Herausforderungen bei OpenAIs neuem Modell Orion

OpenAIs "Orion": Ein Schritt nach vorn, aber kein Quantensprung?

Die Entwicklung im Bereich der großen Sprachmodelle (LLMs) scheint an eine Grenze gestoßen zu sein. Berichte deuten darauf hin, dass OpenAIs kommendes Modell "Orion" zwar Verbesserungen gegenüber GPT-4 aufweist, diese jedoch geringer ausfallen als erwartet. Die Leistungssteigerung zwischen GPT-4 und Orion ist deutlich weniger signifikant als der Sprung von GPT-3 zu GPT-4. Dies betrifft nicht nur OpenAI, sondern scheint ein Trend in der gesamten KI-Branche zu sein.

Leistungssteigerung und Trainingsdaten: Herausforderungen für die KI-Entwicklung

Laut Berichten aus Branchenkreisen übertrifft Orion seinen Vorgänger nicht durchgängig in allen Bereichen. Während in sprachlichen Fähigkeiten Verbesserungen erkennbar sind, zeigen sich in anderen Bereichen, wie beispielsweise der Programmierung, keine konsistenten Vorteile. Ein möglicher Grund für die verlangsamte Entwicklung wird in der Knappheit an hochwertigen Trainingsdaten gesehen. Ein Großteil der öffentlich verfügbaren Texte und Daten wurde bereits für das Training von KI-Modellen verwendet.

OpenAI hat darauf reagiert und ein "Foundations Team" gebildet, das sich der Herausforderung stellt, mehr aus weniger Daten zu lernen. Ein Ansatzpunkt ist die Verwendung synthetischer Daten, die von KI-Modellen selbst generiert werden. Orion wurde bereits teilweise mit synthetischen Daten von GPT-4 und OpenAIs neuem "Reasoning"-Modell o1 trainiert. Dieser Ansatz birgt jedoch die Gefahr, dass das neue Modell lediglich Eigenschaften der älteren Modelle reproduziert, ohne signifikant neue Fähigkeiten zu entwickeln.

Branchenweiter Trend: Stagnation bei der Entwicklung großer Sprachmodelle

Die Verlangsamung des Fortschritts bei LLMs betrifft nicht nur OpenAI. Auch bei anderen Unternehmen wie Google und Anthropic zeigen sich ähnliche Tendenzen. Googles kommendes Gemini 2.0 soll interne Ziele verfehlen, und Anthropic hat die Entwicklung von Version 3.5 seines Flaggschiffmodells Opus Berichten zufolge gestoppt und stattdessen ein verbessertes Sonnet veröffentlicht – möglicherweise, um Enttäuschungen bei Nutzern und Investoren zu vermeiden.

Die Entwicklung von Open-Source-Modellen, die in den letzten 18 Monaten zu den milliardenschweren proprietären Modellen aufgeschlossen haben, unterstreicht diese branchenweite Stagnation. Dieser Fortschritt wäre unwahrscheinlich, wenn große Technologieunternehmen ihre massiven Investitionen effektiv in eine bessere KI-Leistung umsetzen könnten.

Neue Ansätze und Optimismus trotz Herausforderungen

Trotz der Herausforderungen zeigt sich OpenAI-CEO Sam Altman optimistisch. Er betont, dass der Weg zur künstlichen allgemeinen Intelligenz (AGI) klar sei und es auf die kreative Nutzung bestehender Modelle ankomme. Altman könnte sich dabei auf die Kombination von LLMs mit Reasoning-Ansätzen wie o1 und agentenbasierter KI beziehen.

Das neue Modell o1 zielt darauf ab, neue Skalierungsmöglichkeiten zu schaffen. Der Fokus verschiebt sich vom Training zur Inferenz – der Rechenzeit, die KI-Modelle benötigen, um Aufgaben zu erledigen. Dieser Ansatz wird als "neue Dimension für die Skalierung" betrachtet, erfordert jedoch Milliarden von Dollar und einen erheblichen Energieverbrauch. Eine zentrale Frage der Branche für die kommenden Monate ist daher, ob der Bau immer leistungsfähigerer KI-Modelle – und der dafür benötigten riesigen Rechenzentren – wirtschaftlich und ökologisch sinnvoll ist.

Kritik an der Skalierung von Sprachmodellen

Experten wie François Chollet kritisieren die Skalierung von Sprachmodellen für mathematische Aufgaben und die Verwendung des Begriffs "LLM" als Marketingbegriff für alle aktuellen KI-Fortschritte, auch wenn diese nicht mit Sprachmodellen zusammenhängen. Empirische Daten zeigen, dass Deep Learning und große Sprachmodelle mathematische Probleme nicht selbstständig lösen können, sondern diskrete Suchmethoden benötigen.

Zukunftsausblick

Die Entwicklung im Bereich der LLMs steht vor neuen Herausforderungen. Die Verlangsamung des Fortschritts und die Knappheit an Trainingsdaten erfordern neue Strategien und Ansätze. Die Verwendung synthetischer Daten und die Optimierung der Inferenz sind vielversprechende Wege, die jedoch mit hohen Kosten und Energieverbrauch verbunden sind. Die Zukunft wird zeigen, ob diese Strategien den Weg zur AGI ebnen und ob die damit verbundenen Investitionen gerechtfertigt sind.

Quellen: - https://www.theverge.com/2024/10/24/24278999/openai-plans-orion-ai-model-release-december - https://hyperight.com/openai-will-reportedly-unleash-next-gen-orion-ai-model/ - https://www.tomshardware.com/tech-industry/artificial-intelligence/openai-will-reportedly-unleash-next-gen-orion-ai-model-this-december-orion-is-expected-to-be-100x-more-potent-than-gpt-4 - https://www.linkedin.com/pulse/exponential-growth-large-language-models-openais-next-wallace-rogers-mokme - https://www.timesofai.com/news/openais-orion-100x-more-powerful-than-gpt-4/ - https://www.inc.com/kit-eaton/openai-will-send-its-next-ai-to-businesses-before-a-public-release/90994783 - https://www.thehansindia.com/technology/tech-news/openai-plans-to-launch-new-powerful-ai-model-orion-by-december-report-916914 - https://www.timesnownews.com/technology-science/openai-to-launch-new-ai-model-orion-by-december-what-you-need-to-know-article-114579672 - https://techcrunch.com/2024/11/09/openai-reportedly-developing-new-strategies-to-deal-with-ai-improvement-slowdown/ - https://www.reddit.com/r/OpenAI/comments/1f9ovbm/openai_is_reportedly_considering_highpriced/