Fortschritte beim ARC-AGI-Benchmark: Herausforderungen und neue Ansätze im Jahr 2024

AGI-Benchmark ARC: Trotz Fortschritten ungelöst im Jahr 2024

Der ARC-AGI-Benchmark, der als wichtiger Indikator für Künstliche Allgemeine Intelligenz (AGI) gilt, verzeichnete 2024 einen deutlichen Leistungssprung. Die beste Leistung im privaten Evaluationsdatensatz stieg von 33 auf 55,5 Prozent, bleibt aber noch weit vom Ziel von 85 Prozent entfernt. Dies verdeutlicht die anhaltende Herausforderung, echte allgemeine Intelligenz zu erreichen, trotz bemerkenswerter Fortschritte in der KI-Forschung.

Der ARC-AGI-Benchmark, ursprünglich 2019 veröffentlicht, testet die Fähigkeit von KI-Systemen, völlig neue Aufgaben zu lösen – im Gegensatz zu Aufgaben, auf die ein System vorbereitet werden kann. Menschliche Teilnehmer erreichen mühelos Genauigkeiten von über 97%, während selbst modernste KI-Systeme jahrelang Schwierigkeiten hatten, ein Drittel der Genauigkeit zu überschreiten. Der Sprung auf 55,5% signalisiert zwar einen bedeutenden Fortschritt, liegt aber immer noch deutlich unter dem 85%-Ziel.

Neue Ansätze dominieren den Wettbewerb

Drei Hauptansätze kristallisierten sich im Wettbewerb heraus: KI-gestützte Programmsynthese, Testzeit-Training (TTT) und Kombinationen beider Methoden. Teams, die beide Ansätze kombinierten, erzielten mit bis zu 55,5 Prozent Genauigkeit die besten Ergebnisse.

Bei der Programmsynthese nutzen Systeme große Sprachmodelle, um Programmcode zu generieren oder die Programmsuche zu steuern. Ein Beispiel hierfür ist die Verwendung von GPT-4o zur Generierung und Fehlerbehebung tausender Python-Programme pro Aufgabe, was zu einer Genauigkeit von 42 Prozent führte.

Testzeit-Training passt ein vortrainiertes Sprachmodell zur Laufzeit an die jeweilige Aufgabe an. Dieser von MindsAI eingeführte Ansatz wurde von vielen Teams übernommen. Das Gewinnerteam "the ARChitects" erreichte mit dieser Methode 53,5 Prozent.

Die Kombination beider Ansätze erwies sich als besonders effektiv. Reine Programmsynthese oder reines Testzeit-Training erreichen jeweils nur etwa 40 Prozent. Ein Team des Massachusetts Institute of Technology demonstrierte kürzlich in einer Studie, wie ein Sprachmodell, das beide Ansätze kombiniert, eine Genauigkeit von 61,9 Prozent im öffentlichen Test des ARC-Preises erreichte. Aufgrund von Rechenleistungsbeschränkungen im ARC-Preis, die das Team überschritt, wurde dieser Ansatz noch nicht auf der privaten Bestenliste getestet, die 100 unveröffentlichte Aufgaben enthält. Ergebnisse für das komplette o1-Modell von OpenAI, einschließlich des Pro-Modus, sind noch ausstehend, obwohl kein dramatischer Leistungsanstieg erwartet wird.

Neuer Benchmark für 2025 geplant

Die Organisatoren des ARC-Preises kündigten auch Pläne zur Entwicklung eines neuen Benchmarks namens ARC-AGI-2 für 2025 an. Der aktuelle Datensatz aus dem Jahr 2019 weist einige Schwächen auf: Mit nur 100 Aufgaben im privaten Evaluierungssatz ist er zu klein, und Tausende von Evaluierungen bergen das Risiko einer Überanpassung.

Das Ziel ist es, den ARC-Preis von seinen experimentellen Ursprüngen zu einem dauerhaften Leitstern für AGI zu entwickeln. Der Wettbewerb hat bereits mindestens sieben gut finanzierte KI-Startups dazu veranlasst, ihre Roadmaps zu ändern und sich auf die Lösung des Benchmarks zu konzentrieren. Auch größere Unternehmen haben interne Anstrengungen unternommen, um den Benchmark zu knacken.

Der ARC-Preis wird jährlich fortgesetzt, bis der Benchmark gelöst und eine öffentliche Referenzlösung verfügbar ist. Die Organisatoren glauben, dass das Team, das schließlich AGI entwickelt, bereits heute an ARC-AGI arbeitet.

Neue Ideen sind gefragt

Der ARC-AGI-Benchmark ist laut den Autoren des Berichts deshalb bedeutend, weil er die Fähigkeit testet, völlig neue Aufgaben zu lösen - im Gegensatz zu Aufgaben, auf die sich ein System vorbereiten kann. Klassische Deep-Learning-Ansätze, die auf dem Abrufen gespeicherter Muster basieren, versagen dabei.

Die Fortschritte im Jahr 2024 zeigen, dass algorithmische Verbesserungen große Auswirkungen haben können und massive Rechenleistung nicht unbedingt erforderlich ist. Allerdings: "Neue Ideen sind immer noch nötig, um AGI zu bauen. Die Tatsache, dass ARC-AGI fünf Monate intensiver Prüfung mit einem ausstehenden Hauptpreis von 600.000 US-Dollar und Hunderttausenden von Dollar an zusätzlichen Preisen überstanden hat, ist ein starker Beweis dafür, dass die Lösung noch nicht existiert."

Bibliographie Chollet, F., Knoop, M., Kamradt, G., & Landers, B. (2024). ARC Prize 2024: Technical Report. arXiv preprint arXiv:2412.04604. https://news.ycombinator.com/item?id=42343215 https://www.reddit.com/r/singularity/comments/1h8cp69/arc_prize_capitulates_agi_progress_is_no_longer/ https://arcprize.org/blog/arc-prize-2024-winners-technical-report https://twitter.com/0xWUT/status/1865160169702785155 https://www.linkedin.com/posts/james-bentley-1b329214_agi-progress-is-no-longer-stalled-the-activity-7271295033100664834-o4l9 https://twitter.com/arcprize https://news.ycombinator.com/item?id=40711484 https://www.podcastworld.io/episodes/shane-legg-deepmind-founder-2028-agi-new-architectures-align-oqwmbepj