Neuer Ansatz in der KI-Forschung: Samsungs Tiny Recursive Model übertrifft große Sprachmodelle mit minimalen Parametern

Revolution in der KI: Samsungs Tiny Recursive Model meistert komplexes Denken mit minimalen Parametern

Die Welt der Künstlichen Intelligenz (KI) ist seit Jahren von einem Trend zu immer größeren Modellen geprägt. Gigantische Sprachmodelle (Large Language Models, LLMs) mit Milliarden oder sogar Billionen von Parametern haben beeindruckende Fähigkeiten in der Sprachverarbeitung und Generierung gezeigt. Doch eine aktuelle Entwicklung von Samsung, das Tiny Recursive Model (TRM), stellt diese Annahme infrage. Mit lediglich 7 Millionen Parametern übertrifft TRM größere LLMs bei anspruchsvollen Denkaufgaben wie Sudoku und dem Abstraction and Reasoning Corpus (ARC-AGI). Dieser Ansatz, der unter dem Motto "Weniger ist mehr" operiert, könnte die Effizienz und die breite Anwendbarkeit von KI-Systemen neu definieren.

Der "Weniger ist mehr"-Ansatz: Eine neue Perspektive auf KI-Effizienz

Die vorherrschende Meinung in der KI-Forschung besagt oft, dass eine höhere Anzahl von Parametern direkt mit einer besseren Leistung korreliert. Große Modelle benötigen jedoch enorme Rechenressourcen, hohe Energiekosten und umfangreiche Datensätze für Training und Betrieb. Dies schränkt die Demokratisierung und den Einsatz von KI in ressourcenbeschränkten Umgebungen ein.

Das Tiny Recursive Model (TRM) von Samsung verfolgt einen fundamental anderen Weg. Es ist inspiriert vom Hierarchical Reasoning Model (HRM), das zuvor von Sapient Intelligence entwickelt wurde und ebenfalls zeigte, dass kleinere Modelle mit 27 Millionen Parametern komplexe Aufgaben meistern können. TRM geht noch einen Schritt weiter und erreicht mit noch weniger Parametern – nur 7 Millionen – bemerkenswerte Ergebnisse. Dies entspricht weniger als 0,01 % der Parameter vieler etablierter LLMs.

Technische Grundlagen und Leistungsfähigkeit von TRM

Der Kern der TRM-Architektur liegt in ihrem rekursiven Denkansatz. Anstatt eine lange Kette von Operationen in einem einzigen Durchlauf auszuführen, wie es bei vielen traditionellen Transformatoren der Fall ist, verwendet TRM eine iterative Methode. Es verfeinert und wiederverwendet dieselben wenigen Parameter über mehrere Rekursionsschritte hinweg. Dies ermöglicht es dem Modell, tiefgehende logische Schlussfolgerungen zu ziehen, ohne die enorme Anzahl von Parametern zu benötigen, die für die Speicherung expliziten Wissens in LLMs erforderlich ist.

Die Leistungsfähigkeit von TRM wurde an anspruchsvollen Benchmarks demonstriert:

• ARC-AGI: Das Modell erzielte beeindruckende 45 % Testgenauigkeit auf ARC-AGI-1 und 8 % auf ARC-AGI-2. Diese Werte übertreffen die Leistung vieler größerer LLMs, darunter Deepseek R1, o3-mini und Gemini 2.5 Pro, und das mit einem Bruchteil der Parameter.
• Sudoku und andere Rätsel: Ähnlich wie HRM zeigt TRM eine hohe Kompetenz bei der Lösung komplexer Sudoku-Rätsel und der Navigation in Labyrinthen, Aufgaben, die ein hohes Maß an logischem Denken erfordern.

Ein entscheidender Unterschied zu LLMs liegt in der Art des Denkens. Während LLMs oft auf "Chain-of-Thought" (CoT) Prompting angewiesen sind, bei dem sie ihre Denkprozesse verbalisieren, um Schritt für Schritt zu einer Lösung zu gelangen, führt TRM sein Denken intern im "latenten Raum" aus. Dies ahmt die menschliche Kognition nach, bei der komplexe Überlegungen oft stattfinden, ohne dass sie explizit ausgesprochen werden müssen. Dieser interne Rekursionsmechanismus hilft, Probleme wie das Verschwinden von Gradienten in tiefen Netzwerken oder frühes Konvergieren bei rekurrenten Architekturen zu vermeiden.

Implikationen für die KI-Landschaft

Die Ergebnisse von TRM und ähnlichen Modellen wie HRM haben weitreichende Implikationen für die Entwicklung und Anwendung von KI:

• Demokratisierung der KI: Kleinere Modelle benötigen weniger Rechenleistung und Speicher, was ihren Einsatz auf Endgeräten (Edge Devices) wie Smartphones, IoT-Geräten und Robotern ermöglicht. Dies könnte KI-Technologien einer breiteren Masse zugänglich machen und die Abhängigkeit von zentralisierten Cloud-Infrastrukturen reduzieren.
• Kostensenkung und Energieeffizienz: Die geringeren Anforderungen an Rechenressourcen führen zu erheblichen Kosteneinsparungen beim Training und Betrieb von KI-Modellen. Dies adressiert auch die wachsende Sorge um den Energieverbrauch von KI-Systemen.
• Anwendungen in datensparsamen Umgebungen: TRM kann mit deutlich kleineren Datensätzen trainiert werden (teilweise nur 1.000 Beispiele für spezifische Aufgaben). Dies ist besonders relevant für Nischenanwendungen oder Bereiche, in denen große Mengen an hochwertigen Daten schwer zu beschaffen sind.
• Fokus auf spezialisierte Denkmodule: Während TRM möglicherweise nicht für alle Aufgaben von LLMs (wie kreatives Schreiben oder offene Konversationen) geeignet ist, könnte es als hochspezialisiertes Denkmodul in größeren KI-Architekturen fungieren. Es könnte die logischen Schlussfolgerungen liefern, die dann von einem LLM in natürliche Sprache übersetzt werden.

Herausforderungen und zukünftige Perspektiven

Trotz der vielversprechenden Ergebnisse gibt es weiterhin wichtige Aspekte zu berücksichtigen:

• Generalisierbarkeit: Die aktuelle Forschung konzentriert sich auf strukturierte Denkaufgaben. Die Fähigkeit von TRM, auf offene oder kreative Aufgaben zu generalisieren, muss noch umfassend untersucht werden.
• Reproduzierbarkeit und unabhängige Validierung: Obwohl die Modelle quelloffen sind, ist die unabhängige Verifizierung aller Leistungsansprüche durch die Forschungsgemeinschaft entscheidend.
• Benchmark-Kontext: Die genauen Bedingungen, unter denen die Modelle auf Benchmarks wie ARC-AGI getestet wurden, sind wichtig für eine faire Vergleichbarkeit. Einige Kritiker weisen darauf hin, dass spezialisierte Modelle wie TRM oder HRM möglicherweise von trainingsbezogenen Vorteilen profitieren, die bei der Bewertung von allgemeinen LLMs nicht zum Tragen kommen.

Die Entwicklung von TRM ist ein klarer Indikator dafür, dass die KI-Forschung nicht nur auf Skalierung setzt, sondern auch intelligente Architekturen erforscht, die mit weniger mehr erreichen können. Für Unternehmen, insbesondere im B2B-Bereich, die nach effizienten, kostengünstigen und spezialisierten KI-Lösungen suchen, eröffnen diese "Small Language Models" (SLMs) und rekursiven Modelle neue strategische Möglichkeiten. Es bleibt abzuwarten, wie sich diese Ansätze in realen Anwendungen bewähren und die zukünftige Entwicklung der Künstlichen Intelligenz prägen werden.

Bibliography

- "Less is More: Recursive Reasoning with Tiny Networks" (verfügbar auf arXiv) - "HRM: The Tiny AI That’s Rewriting the Rules of Reasoning" von Charles Baha (veröffentlicht auf Medium) - "New AI Model Tackles Reasoning with Hierarchical Structure" von Nicholas Nouri (veröffentlicht auf LinkedIn) - "SLMs (Small Language Models) and the 7 key scenarios where they surpass LLMs" von Arman Kamran (veröffentlicht auf Medium) - "AI Just Hit a Wall. This Model Smashed Right Through It" von Rohit Kumar Thakur (veröffentlicht auf Medium) - "Small Language Models: The Rise of Compact AI and Microsoft’s Phi Models" von Adnan Masood (veröffentlicht auf Medium) - "The Brain-Inspired AI model that outsmarts LLMs with just 1,000 examples" von Aaniket Pandey (veröffentlicht auf TechGig) - Diskussion auf Hacker News zu "Less is more: Recursive reasoning with tiny networks" (news.ycombinator.com)