Sakana AI präsentiert neues zeitbasiertes KI-Modell inspiriert vom menschlichen Gehirn

Sakana AI: Ein neuer Ansatz für künstliche Intelligenz inspiriert vom Gehirn

Das japanische Startup-Unternehmen Sakana AI hat ein neues KI-Modell namens "Continuous Thought Machine" (CTM) vorgestellt. Dieses Modell unterscheidet sich grundlegend von herkömmlichen Sprachmodellen, indem es den Fokus auf die zeitliche Synchronisation synthetischer Neuronen legt, anstatt Eingaben als statische Momentaufnahmen zu betrachten. Sakana AI, gegründet 2023, verfolgt das Ziel, KI-Systeme nach dem Vorbild der Natur zu entwickeln. Mitgründer Llion Jones war einer der ursprünglichen Autoren der Transformer-Architektur, die heute die Grundlage für fast alle wichtigen generativen KI-Modelle bildet. CTM scheint eines der ersten bedeutenden Ergebnisse dieser Forschung zu sein.

Zeitbasiertes Denken als Schlüsselkonzept

Im Gegensatz zu traditionellen Aktivierungsfunktionen verwendet CTM sogenannte "Neuron-Level Models" (NLMs), die eine fortlaufende Historie vergangener Aktivierungen speichern. Diese Historien beeinflussen das Verhalten der Neuronen über die Zeit, wobei die Synchronisation zwischen ihnen die zentrale interne Repräsentation des Modells bildet. Dieses Design ist inspiriert von Mustern im biologischen Gehirn.

CTM führt ein internes Zeitkonzept ein – die sogenannten "internen Ticks" – das von externen Eingaben entkoppelt ist. Dies ermöglicht es dem Modell, mehrere interne Schritte zur Lösung eines Problems zu unternehmen, anstatt in einem einzigen Durchgang direkt zu einer endgültigen Antwort zu springen.

Funktionsweise der Continuous Thought Machine

Jeder Schritt beginnt mit einem "Synapsenmodell", das aktuelle Neuronenzustände zusammen mit externen Eingaben verarbeitet, um Präaktivierungen zu generieren. Jedes Neuron speichert eine laufende Historie dieser Präaktivierungen, die dann verwendet werden, um in der nächsten Phase aktualisierte Zustände, sogenannte Postaktivierungen, zu berechnen. Diese Neuronenzustände akkumulieren sich im Laufe der Zeit und werden auf Synchronisation analysiert. Diese zeitbasierte Synchronisation wird zum wichtigsten internen Signal des Modells, um die Aufmerksamkeit zu steuern und Vorhersagen zu generieren.

CTM verfügt außerdem über einen Aufmerksamkeitsmechanismus, um sich auf die relevantesten Teile der Eingabe zu konzentrieren. Die aktualisierten Neuronenzustände und ausgewählten Eingabemerkmale werden in die Schleife zurückgeführt, um den nächsten internen Tick auszulösen.

Erste Tests und Ergebnisse

In ersten Tests wurde CTM auf die Bildklassifizierung mit ImageNet 1K angewendet. Das Modell analysierte verschiedene Bereiche jedes Bildes über mehrere Schritte und erreichte eine Top-1-Genauigkeit von 72,47% und eine Top-5-Genauigkeit von 89,89%. Sakana betont, dass die Leistung nicht im Vordergrund stand. CTM passt seine Verarbeitungstiefe dynamisch an. Bei einfachen Aufgaben kann es frühzeitig stoppen, bei schwierigeren Aufgaben wird die Verarbeitung fortgesetzt. Dieses Verhalten ergibt sich aus der Architektur, ohne dass spezielle Verlustfunktionen oder Stoppkriterien erforderlich sind.

In einem Experiment zur Navigation in einem Labyrinth schien das Modell seinen Weg Schritt für Schritt zu planen und konnte sogar größere und komplexere Labyrinthe teilweise lösen, die es während des Trainings nicht gesehen hatte.

Vergleich mit anderen Modellen

Zum Vergleich testete das Team CTM gegen Long Short-Term Memory Netzwerke (LSTMs) und einfache Feedforward-Netzwerke. Bei Aufgaben wie dem Sortieren von Zahlenfolgen und der Berechnung von Paritäten lernte CTM schneller und zuverlässiger als beide Vergleichsmodelle. Die Neuronenaktivität war ebenfalls deutlich komplexer und variabler. Ob diese Komplexität zu einer besseren Leistung in praktischen Anwendungen führt, bleibt eine offene Frage.

Biologische Inspiration und technische Herausforderungen

CTM soll das Gehirn nicht perfekt nachbilden, sondern greift Ideen aus der Neurowissenschaft auf, insbesondere das Konzept der zeitbasierten Synchronisation. Da CTM rekursiv arbeitet, kann es während des Trainings nicht einfach parallelisiert werden, was den Prozess verlangsamt. Es benötigt außerdem deutlich mehr Parameter als herkömmliche Modelle, was es rechenintensiver macht. Ob die zusätzliche Komplexität den Aufwand rechtfertigt, muss sich noch zeigen.

Sakana hat den Code und die Modell-Checkpoints quelloffen zur Verfügung gestellt und hofft, dass CTM als Grundlage für zukünftige Forschung im Bereich biologisch inspirierter KI-Systeme dienen wird.

Quellen: - https://the-decoder.com/japanese-startup-sakana-ai-explores-time-based-thinking-with-brain-inspired-ai-model/ - https://sakana.ai/ctm/ - https://ground.news/article/japanese-startup-sakana-ai-explores-time-based-thinking-with-brain-inspired-ai-model - https://www.instagram.com/reel/DJpd0BiOJZv/?api=WhatsApp%E7%B2%BE%E5%87%86%E8%90%A5%E9%94%80%E8%BD%AF%E4%BB%B6%F0%9F%A7%A7-%5B%E8%AE%A4%E5%87%86%E5%A4%A9%E5%AE%87TG%3A%40cjhshk199937%5D-WS%E8%87%AA%E5%8A%A8%E7%BE%A4%E5%8F%91%2FWs%E7%A7%81%E4%BF%A1%E5%BC%95%E6%B5%81%2FWS%E5%BF%AB%E9%80%9F%E5%8F%91%E9%80%81.monk&hl=zh-cn - https://x.com/theaitechsuite/status/1924006877488156714 - https://www.linkedin.com/posts/the-rundown-ai_the-team-behind-the-first-ai-scientists-has-activity-7328101743802654720-K9tw - https://sakana.ai/ai-scientist/ - https://venturebeat.com/ai/sakana-introduces-new-ai-architecture-continuous-thought-machines-to-make-models-reason-with-less-guidance-like-human-brains/ - https://www.youtube.com/watch?v=mExSDYwVm8Q - https://medium.com/ai-rockstars/continuous-thought-machine-how-sakana-ai-integrates-biological-thinking-into-ai-systems-e9c5339f1ddb