Verbesserung der räumlich-zeitlichen Wahrnehmung von Robotermodellen durch Visual Trace Prompting

Vision-Language-Action-Modelle (VLA) bieten vielversprechende Möglichkeiten für das Erlernen generalistischer Roboterrichtlinien. Trotz ihrer Fortschritte kämpfen diese Modelle jedoch oft mit der Erfassung räumlich-zeitlicher Dynamiken, was ihre Effektivität bei komplexeren Aufgaben, insbesondere in der Manipulation, einschränkt. Ein neuer Ansatz, das sogenannte "Visual Trace Prompting", verspricht hier Abhilfe zu schaffen.

Visual Trace Prompting: Ein vielversprechender Ansatz

Visual Trace Prompting zielt darauf ab, das räumlich-zeitliche Verständnis von VLA-Modellen zu verbessern, indem Bewegungsabläufe visuell kodiert werden. Konkret werden die Trajektorien von Schlüsselpunkten, beispielsweise an den Greifern eines Roboters, als visuelle Hinweise in das Modell integriert. Diese visuellen Spuren bieten dem Modell zusätzliche Informationen über die zeitliche Abfolge von Aktionen und deren räumliche Auswirkungen. Dadurch kann das Modell die Dynamik der Interaktion mit der Umgebung besser erfassen.

TraceVLA: Ein neues Modell für verbesserte Roboterrichtlinien

Auf Basis dieses Ansatzes wurde das TraceVLA-Modell entwickelt. Es basiert auf dem OpenVLA-Modell und wurde mit einem eigens erstellten Datensatz von 150.000 Robotermanipulations-Trajektorien feinabgestimmt. Dieser Datensatz enthält visuelle Aufzeichnungen von Roboterbewegungen, die mit den entsprechenden visuellen Spuren angereichert wurden. Durch das Training mit diesem Datensatz lernt TraceVLA, die visuellen Spuren zu interpretieren und für die Aktionsplanung zu nutzen.

Evaluierung und Ergebnisse

Die Leistungsfähigkeit von TraceVLA wurde in umfangreichen Simulationen und realen Roboterversuchen getestet. In der Simulationsumgebung SimplerEnv, die 137 verschiedene Konfigurationen umfasst, übertraf TraceVLA das OpenVLA-Modell um 10%. Beeindruckender noch sind die Ergebnisse an einem physischen WidowX-Roboter, wo TraceVLA eine 3,5-fache Verbesserung gegenüber OpenVLA erzielte. Diese Ergebnisse deuten auf eine robuste Generalisierung des Modells hin, die es ihm ermöglicht, sich an verschiedene Roboterkörper und Szenarien anzupassen.

Effizienz und Skalierbarkeit

Um die Effizienz und Skalierbarkeit des Ansatzes zu untersuchen, wurde zusätzlich ein kompakteres VLA-Modell entwickelt, das auf dem 4B Phi-3-Vision-Modell basiert. Dieses kleinere Modell wurde ebenfalls mit dem Datensatz der Robotermanipulations-Trajektorien trainiert und erreichte eine vergleichbare Leistung wie das 7B OpenVLA-Modell, jedoch bei deutlich geringerem Rechenaufwand. Dies eröffnet Perspektiven für den Einsatz von Visual Trace Prompting auch auf ressourcenbeschränkten Systemen.

Ausblick

Visual Trace Prompting stellt einen vielversprechenden Ansatz zur Verbesserung von VLA-Modellen dar. Die Ergebnisse von TraceVLA zeigen das Potenzial dieser Methode, die räumlich-zeitliche Wahrnehmung von Robotern zu verbessern und so komplexere Manipulationsaufgaben zu ermöglichen. Die Entwicklung effizienterer Modelle, wie das auf Phi-3-Vision basierende, unterstreicht die Skalierbarkeit des Ansatzes. Zukünftige Forschung könnte sich auf die Erweiterung des Datensatzes, die Optimierung der visuellen Spuren und die Integration weiterer Modalitäten konzentrieren, um die Fähigkeiten von VLA-Modellen weiter zu verbessern. Insbesondere für Unternehmen wie Mindverse, die an maßgeschneiderten KI-Lösungen arbeiten, bietet Visual Trace Prompting interessante Möglichkeiten für die Entwicklung fortschrittlicher Robotikanwendungen. Von Chatbots und Sprachassistenten bis hin zu KI-Suchmaschinen und Wissenssystemen könnten die hier gewonnenen Erkenntnisse zu einer neuen Generation intelligenterer und effektiverer KI-Lösungen beitragen. Bibliographie Zheng, R., Liang, Y., Huang, S., Gao, J., Daumé III, H., Kolobov, A., Huang, F., & Yang, J. (2024). TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies. arXiv preprint arXiv:2412.10345. OpenReview. TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies. ICLR 2025 Conference Submission. OpenReview. Review of submission 365 by Reviewer xXSr. ICLR 2025 Conference Submission. ChatPaper. TraceVLA：视觉追踪提示增强通用机器人策略的时空意识. Niu, D., Sharma, Y., Biamby, G., Quenum, J., Bai, Y., Shi, B., Darrell, T., & Herzig, R. (2024). LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning. arXiv preprint arXiv:2406.11815v1. Liang, Y. Personal Website. X, formerly known as Twitter. gm8xx8. Huang, S. Personal Website. arxiv-sanity lite. Accelerating Giant Impact Simulations with Machine Learning. ChatPaper. Magnet.