OpenAIs Fortschritte bei der Entwicklung autonomer KI-Agenten seit 2017

OpenAIs Weg zur Realisierung seiner KI-Vision von 2017

OpenAI arbeitet seit Jahren an der Entwicklung fortschrittlicher KI-Systeme. Ein Blick zurück auf das Forschungspapier "World of Bits" aus dem Jahr 2017 zeigt die langfristige Vision des Unternehmens, autonome Agenten zu entwickeln, die komplexe Aufgaben in digitalen Umgebungen bewältigen können. Damals stellte OpenAI fest, dass "eine große Lücke zwischen den Fähigkeiten von Agenten und Menschen" besteht und weitere Fortschritte in der Modellierung notwendig sind. Mit dem neuen ChatGPT-Agenten, dessen Entwicklung unter dem Codenamen "World of Bits 2" lief, rückt die Verwirklichung dieser Vision näher.

Der Ansatz von OpenAI hat sich seit 2017 grundlegend verändert. Anstatt bei Null anzufangen, basiert der neue Agent auf einem großen, unüberwacht vortrainierten Sprachmodell. Diese grundlegende Kompetenz ist die Voraussetzung für alle weiteren Schritte. "Bevor wir Reinforcement Learning anwenden, muss das Modell gut genug sein, um Aufgaben grundsätzlich zu erledigen", erklärt Issa Fulford von OpenAI.

Für die Feinabstimmung setzt OpenAI auf Reinforcement Learning (RL), ein Verfahren, das laut OpenAI äußerst dateneffizient ist. "Der Umfang der Daten ist winzig im Vergleich zum Umfang der Vortrainingsdaten. Wir sind in der Lage, dem Modell neue Fähigkeiten beizubringen, indem wir diese viel kleineren, hochwertigen Datensätze kuratieren", so Fulford. Diese Datensätze bestehen aus dynamischen Sammlungen schwieriger, zielgerichteter Aufgaben.

Das Team definiert zunächst, was der Agent erreichen soll, und entwirft dann entsprechende Trainingsszenarien. "Wir arbeiten rückwärts von den Anwendungsfällen, die wir lösen wollen, um das Modell zu trainieren und das Produkt zu entwickeln", fügt Fulford hinzu. Im Training wird der Agent mit diesen Aufgaben konfrontiert und muss selbstständig Lösungen finden. "Wir geben dem Modell im Wesentlichen all diese Werkzeuge, sperren es in einen Raum, und es experimentiert. Wir sagen ihm nicht, wann es welches Werkzeug benutzen soll, das findet es selbst heraus", beschreibt Casey Chu, Mitglied des Entwicklungsteams, den Prozess.

Der Mechanismus, der dieses experimentelle Lernen antreibt, ist ein Belohnungssystem, das auf dem Ergebnis basiert. Edward Sun von OpenAI erklärt: "Solange man die Aufgabe bewerten kann – beurteilen, ob die Leistung des Modells gut war oder nicht – kann man das Modell zuverlässig trainieren, um darin noch besser zu werden." Dieser Ansatz, bei dem nur das Endergebnis bewertet werden muss, ist wesentlich effizienter, als Tausende von menschlichen Demonstrationen für jeden Mausklick und jeden Tastendruck zu sammeln. Er ermöglicht es OpenAI, Agenten auf Hunderttausenden von virtuellen Maschinen gleichzeitig zu trainieren, so dass diese unabhängig voneinander die besten Lösungen für komplexe Probleme finden können.

Die im Papier von 2017 geforderten "weiteren Fortschritte" ergaben sich nicht aus einem neuen Algorithmus, sondern aus der Skalierung auf allen Ebenen. "Im Wesentlichen hat sich der Umfang des Trainings geändert", sagt Chu. "Ich kenne den genauen Multiplikator nicht, aber er muss in Bezug auf die Rechenleistung etwa beim 100.000-fachen liegen."

OpenAI weist darauf hin, dass der Agent derzeit noch nicht für kritische Aufgaben eingesetzt werden sollte. Die Entwicklung autonomer Agenten ist ein fortlaufender Prozess, und OpenAI arbeitet kontinuierlich an Verbesserungen und Weiterentwicklungen.

Quellen: - https://the-decoder.com/openais-latest-agent-brings-its-long-standing-2017-vision-for-advanced-ai-capabilities-closer-to-reality/ - https://finance.yahoo.com/news/openai-chatgpt-agent-reasons-researches-184704473.html - https://x.com/aibreakhq/status/1947778849246244956 - https://the-decoder.com/author/maximilian-schreiner/ - https://newatlas.com/ai-humanoids/openai-autonomous-agent/ - https://www.linkedin.com/pulse/breaking-openai-just-launched-chatgpt-agent-vasudev-parasara-rktic - https://www.cosmico.org/openai-launches-chatgpt-agent-to-automate-tasks/ - https://en.wikipedia.org/wiki/OpenAI - https://blog.portaone.com/billing-the-ai-agents-with-portaaim/ - https://www.youtube.com/watch?v=YNWWu0aZ5pY