MolmoAct2 FAST Action Tokenizer: Neuer Ansatz für Roboteraktionen in der KI-Forschung

MolmoAct2 FAST Action Tokenizer: Ein Fortschritt für die Robotik

Die Forschung im Bereich der Robotik hat mit der Veröffentlichung des MolmoAct2 FAST Action Tokenizers durch AllenAI einen bedeutsamen Schritt nach vorne gemacht. Dieses neue Tool, das auf Hugging Face zur Verfügung steht, stellt eine entscheidende Komponente für das Training von Vision-Language-Action (VLA)-Modellen dar, indem es kontinuierliche Roboteraktionen in diskrete Tokens umwandelt. Diese Entwicklung ist nicht nur technisch relevant, sondern auch strategisch wichtig für die Demokratisierung der Robotik-KI, da sie vollständig quelloffen ist und auf einer umfangreichen Datengrundlage trainiert wurde.

Die Herausforderung der kontinuierlichen Roboteraktionen

Roboter agieren in der physischen Welt mit kontinuierlichen Bewegungen, die in komplexen, hochdimensionalen Datenströmen erfasst werden. Für das Training von KI-Modellen, insbesondere solchen, die Sprache und visuelle Informationen verarbeiten, ist es jedoch vorteilhaft, diese kontinuierlichen Aktionen in eine diskrete, verarbeitbare Form zu überführen. Hier setzt der MolmoAct2 FAST Action Tokenizer an. Er schließt die Lücke zwischen der analogen Natur von Roboterbewegungen und den digitalen Anforderungen von Machine-Learning-Modellen.

Funktionsweise des FAST Action Tokenizers

Der Tokenizer von AllenAI, eine Neuimplementierung des FAST-Konzepts, transformiert einsekündige Roboteraktionstrajektorien in kompakte Sequenzen diskreter Tokens. Dieser Prozess umfasst mehrere Schritte:

• Frequenzbereichstransformation: Zuerst wird die Trajektorie mittels einer Frequenzbereichstransformation dargestellt.
• Quantisierung: Die resultierenden Koeffizienten werden dann quantisiert.
• Byte-Pair-Encoding: Abschließend wird Byte-Pair-Encoding angewendet, um Tokens aus einem 2048 Tokens umfassenden Aktionsvokabular zu generieren.

Diese Methode ermöglicht es, hochauflösende, kontinuierliche Aktionen effizient zu komprimieren, ohne dabei wesentliche Informationen für das Modelltraining zu verlieren. Die Standardisierung der Aktionen über verschiedene Roboter hinweg, beispielsweise durch die Normalisierung kontinuierlicher Dimensionen und die separate Behandlung von Greiferbefehlen, ist hierbei ein zentraler Aspekt.

Umfassende Trainingsdatenbank

Ein wesentliches Merkmal des MolmoAct2 FAST Tokenizers ist seine Trainingsgrundlage. Er wurde auf Millionen von Trajektorien über fünf verschiedene Roboterplattformen hinweg trainiert. Diese Vielfalt stellt sicher, dass der Tokenizer ein breites Spektrum an Bewegungsmodi und Roboterkonfigurationen abdeckt. Zu den berücksichtigten Plattformen gehören:

• Bimanual YAM
• SO-100/SO-101
• DROID Franka
• BC-Z (Google Robot)
• BridgeData V2 (WidowX)
• RT-1 (Google Robot)

Diese breite Datenbasis ermöglicht es dem Tokenizer, sowohl absolute Gelenksteuerungen als auch Delta-Endeffektor-Steuerungen zu verarbeiten, was seine Anwendbarkeit in verschiedenen Robotikszenarien erhöht.

Die MolmoAct2-Modellfamilie: Ein offener Ansatz für die reale Welt

Der FAST Action Tokenizer ist Teil der breiteren MolmoAct2-Modellfamilie, die von AllenAI als vollständig offene Aktions-Reasoning-Modelle für den Einsatz in der realen Welt konzipiert wurde. MolmoAct2 baut auf einem spezialisierten Vision-Language-Modell (VLM)-Backbone namens Molmo2-ER auf, das für räumliches und verkörpertes Denken optimiert ist. Dieses VLM wird mit einem Flow-Matching-basierten, kontinuierlichen Aktionsexperten verbunden, der direkten Zugriff auf den Key-Value-Cache des VLMs hat.

Ein weiterer Bestandteil ist MolmoAct2-Think, eine Variante, die adaptives Tiefen-Reasoning nutzt. Anstatt bei jedem Zeitschritt alle Tiefen-Tokens neu zu berechnen, werden nur die Bereiche der Szene aktualisiert, die sich tatsächlich verändert haben. Dies reduziert die Latenz erheblich und verbessert gleichzeitig die geometrische Erdung des Modells, was für die präzise Robotersteuerung entscheidend ist.

Leistung und Anwendungsbereiche

Die MolmoAct2-Modelle zeigen in umfangreichen Tests, sowohl in Simulationen als auch in realen Umgebungen, eine überzeugende Leistung. Sie übertreffen etablierte Baselines in verschiedenen Benchmarks für verkörpertes Denken und Robotersteuerung. Dies beinhaltet Aufgaben wie Pick-and-Place-Manöver, bimanuale Koordination und die Bewältigung komplexer Szenarien in Haushalts-, Labor- und Industrieumgebungen.

Die Effizienz des Modells wird auch durch Optimierungen bei der Inferenzgeschwindigkeit unterstrichen. Durch den Einsatz von Caching-Mechanismen und CUDA Graphs konnte die Kontrollrate signifikant gesteigert werden, was für Echtzeitanwendungen von Robotern unerlässlich ist.

Bedeutung für die B2B-Zielgruppe

Für Unternehmen, die in der Robotik und KI-Entwicklung tätig sind, bietet die Veröffentlichung des MolmoAct2 FAST Action Tokenizers und der gesamten MolmoAct2-Familie mehrere wichtige Vorteile:

• Open-Source-Zugang: Die vollständige Offenheit der Modelle, Trainingsdaten und des Codes ermöglicht es Unternehmen, die Technologie zu reproduzieren, anzupassen und weiterzuentwickeln, ohne von proprietären Systemen abhängig zu sein.
• Verbesserte Leistung: Die nachgewiesene Überlegenheit in verschiedenen Benchmarks bedeutet, dass MolmoAct2 eine solide Grundlage für die Entwicklung leistungsfähigerer und zuverlässigerer Roboteranwendungen bietet.
• Effiziente Anpassung: Die Fähigkeit des Modells, sich mit wenigen Demonstrationen an neue Aufgaben und Roboterplattformen anzupassen, reduziert den Entwicklungsaufwand und beschleunigt die Markteinführung neuer Robotiklösungen.
• Interpretierbarkeit und Sicherheit: Funktionen wie adaptives Tiefen-Reasoning tragen zu einer besseren Interpretierbarkeit der Roboteraktionen bei, was für die Validierung und Sicherheit im realen Einsatz von großer Bedeutung ist.

Die Bereitstellung eines derart umfassenden und offenen Frameworks durch AllenAI signalisiert eine vielversprechende Zukunft für die Robotik, in der die Zusammenarbeit und der freie Zugang zu fortschrittlichen KI-Tools Innovationen vorantreiben werden.

Die kontinuierliche Weiterentwicklung und Veröffentlichung solcher Kernkomponenten ist entscheidend, um die nächste Generation von intelligenten Robotern zu realisieren, die in der Lage sind, komplexe Aufgaben in dynamischen und unstrukturierten Umgebungen autonom zu bewältigen.

Bibliography: - AllenAI. (2026). allenai/MolmoAct2-FAST-Tokenizer. Hugging Face. Verfügbar unter: https://huggingface.co/allenai/MolmoAct2-FAST-Tokenizer - AllenAI. (2026). MolmoAct2: Action Reasoning Models for Real-world Deployment. Blog-Eintrag. Verfügbar unter: https://allenai.org/blog/molmoact2 - Fang, H. et al. (2026). MolmoAct2: Action Reasoning Models for Real-world Deployment. arXiv preprint arXiv:2605.02881. Verfügbar unter: https://arxiv.org/html/2605.02881v1 - Hugging Face. (2026). allenai/MolmoAct2-DROID. Verfügbar unter: https://huggingface.co/allenai/MolmoAct2-DROID - Hugging Face. (2026). allenai/MolmoAct2-Pretrain. Verfügbar unter: https://huggingface.co/allenai/MolmoAct2-Pretrain - Hugging Face. (2026). allenai/MolmoAct2. Verfügbar unter: https://huggingface.co/allenai/MolmoAct2 - Hugging Face. (2026). MolmoAct2 Datasets - a allenai Collection. Verfügbar unter: https://huggingface.co/collections/allenai/molmoact2-datasets