Neues Framework zur Effizienzsteigerung von Vision-Language-Action Modellen in der Robotik

Innovative Aktionsauswahl für Vision-Language-Action Modelle: Eine verifizierungsfreie Testzeit-Sampling-Methode

Vision-Language-Action (VLA)-Modelle haben in den letzten Jahren beeindruckende Fortschritte in der visuomotorischen Steuerung und der robotergestützten Manipulation erzielt. Sie ermöglichen es Robotern, komplexe Aufgaben auf der Grundlage visueller Beobachtungen und sprachlicher Anweisungen auszuführen. Trotz dieser Fortschritte stoßen VLA-Modelle jedoch an ihre Grenzen, wenn es um Aufgaben geht, die ein hohes Maß an Präzision erfordern. Die traditionelle Vorgehensweise, bei der eine einzelne Inferenz eine Aktion generiert, ist oft unzureichend, um die Robustheit in unstrukturierten realen Umgebungen zu gewährleisten.

Herausforderungen bestehender Ansätze

Bisherige Ansätze zur Verbesserung der Robustheit von VLA-Modellen konzentrierten sich oft auf sogenannte "Testzeit-Skalierungs"-Methoden, die externe Verifizierer nutzen. Diese Verifizierer bewerten die Qualität vorgeschlagener Aktionen und wählen die optimale aus. Ein prominentes Beispiel hierfür ist das RoboMonkey-Framework, das durch das Sampling einer Reihe von Aktionen, Gaußsche Störungen und Mehrheitsentscheidungen eine Aktionsverteilung erstellt und anschließend einen VLM-basierten Verifizierer zur Auswahl der besten Aktion einsetzt. Während diese Methoden vielversprechende Ergebnisse liefern, bringen sie doch erhebliche Nachteile mit sich:

• Zusätzliches Training: Externe Verifizierer erfordern oft ein aufwendiges zusätzliches Training, was den Entwicklungs- und Bereitstellungsprozess komplexer und ressourcenintensiver macht.
• Mangelnde Generalisierbarkeit: Diese Verifizierer sind möglicherweise nicht in der Lage, auf neue, ungesehene Bedingungen oder Aufgaben zu generalisieren, da sie stark von den Daten abhängen, mit denen sie trainiert wurden.
• Komplexität: Die Integration und Wartung externer Module erhöht die Gesamtkomplexität des Systems.

Angesichts dieser Herausforderungen ist die Forschung bestrebt, effizientere und autonomere Methoden zu entwickeln, die die intrinsischen Fähigkeiten der VLA-Modelle nutzen, ohne auf externe Unterstützung angewiesen zu sein.

MG-Select: Eine verifizierungsfreie Lösung

Ein neuer Forschungsansatz, vorgestellt als Masking Distribution Guided Selection (MG-Select), verspricht, diese Lücken zu schließen. MG-Select ist ein neuartiges Testzeit-Skalierungs-Framework für VLA-Modelle, das die internen Eigenschaften des Modells nutzt, ohne zusätzliches Training oder externe Module zu benötigen. Der Kern dieser Methode liegt in der Verwendung der Kullback-Leibler-Divergenz (KL-Divergenz) einer Referenzaktions-Token-Verteilung als Konfidenzmetrik zur Auswahl der optimalen Aktion aus mehreren Kandidaten.

Funktionsweise von MG-Select

Das MG-Select-Framework basiert auf mehreren Schlüsselkomponenten:

• Generierung von Aktionskandidaten: Zunächst generiert das VLA-Modell mehrere potenzielle Aktionen für eine gegebene Beobachtung und Aufgabenanweisung.
• Referenzverteilung mit maskierten Eingaben: Anstatt einen externen Verifizierer zu verwenden, erzeugt MG-Select eine Referenzverteilung der Aktions-Tokens. Dies geschieht, indem dasselbe VLA-Modell mit zufällig maskierten Zustands- und Sprachbedingungen als Eingaben gefüttert wird. Ziel ist es, eine maximale Unsicherheit zu gewährleisten, während gleichzeitig die Ausrichtung an der Zielaufgabenverteilung beibehalten wird. Die Idee dahinter ist, dass eine Aktion, die auch unter unsicheren oder unvollständigen Bedingungen als plausibel erachtet wird, eine höhere intrinsische Konfidenz aufweist.
• KL-Divergenz als Konfidenzmetrik: Die KL-Divergenz wird verwendet, um den Unterschied zwischen der vom Modell unter vollständigen Bedingungen vorhergesagten Aktionsverteilung und der Referenzverteilung zu messen. Eine geringe KL-Divergenz deutet darauf hin, dass die vorhergesagte Aktion auch unter Unsicherheit stabil und plausibel ist, was sie zu einem starken Kandidaten für die optimale Aktion macht.
• Gemeinsame Trainingsstrategie: Zusätzlich schlägt das Framework eine gemeinsame Trainingsstrategie vor. Dabei lernt das Modell sowohl bedingte als auch unbedingte Verteilungen durch die Anwendung von Dropout auf Zustands- und Sprachbedingungen. Dies verbessert die Qualität der Referenzverteilung weiter, indem das Modell gezwungen wird, robustere interne Repräsentationen zu entwickeln.

Ergebnisse und Implikationen

Die Experimente mit MG-Select haben vielversprechende Ergebnisse gezeigt. Das Framework konnte signifikante Leistungsverbesserungen erzielen, darunter:

• Eine Verbesserung von 28 % bei In-Distribution-Aufgaben in der realen Welt.
• Eine Verbesserung von 35 % bei Out-of-Distribution-Aufgaben in der realen Welt.
• Einen relativen Zuwachs von 168 % bei RoboCasa Pick-and-Place-Aufgaben, die mit nur 30 Demonstrationen trainiert wurden.

Diese Ergebnisse unterstreichen die Effektivität von MG-Select, insbesondere in Szenarien mit geringer Datenverfügbarkeit, wo die Notwendigkeit von zusätzlichem Training oder umfangreichen Datensätzen für Verifizierer eine erhebliche Hürde darstellen würde. Die Fähigkeit, die intrinsische Unsicherheit des Modells zur Entscheidungsfindung zu nutzen, ohne externe Überprüfung, eröffnet neue Wege für die Entwicklung präziserer und robusterer Robotersteuerungen.

Ausblick und zukünftige Forschungsrichtungen

Die Einführung von MG-Select markiert einen wichtigen Schritt in der Entwicklung von VLA-Modellen. Es etabliert ein neues Paradigma für die Testzeit-Skalierung, das die Präzision und Robustheit in der robotergestützten Manipulation verbessert, indem es die Unsicherheit des Modells selbst zur Steuerung der Entscheidungsfindung nutzt. Dies ist besonders relevant für Anwendungen, bei denen schnelle Anpassung und Generalisierbarkeit in unvorhersehbaren Umgebungen entscheidend sind.

Zukünftige Forschungsarbeiten könnten sich darauf konzentrieren, die gemeinsame Trainingsstrategie weiter zu optimieren und das MG-Select-Framework auf noch komplexere und vielfältigere Robotik-Aufgaben anzuwenden. Die Untersuchung der Auswirkungen unterschiedlicher Maskierungsstrategien und die Integration weiterer intrinsischer Konfidenzmetriken könnten ebenfalls zu weiteren Verbesserungen führen. Für Unternehmen im B2B-Bereich, die auf KI-Lösungen setzen, bedeutet dies das Potenzial für effizientere, anpassungsfähigere und leistungsfähigere Robotersysteme, die ohne den Overhead externer Verifizierungsmechanismen auskommen.

Die Fähigkeit, die Leistung von VLA-Modellen ohne zusätzlichen Trainingsaufwand oder externe Module zu verbessern, ist ein entscheidender Vorteil, der die breitere Akzeptanz und den Einsatz von KI-gesteuerten Robotern in verschiedenen Industriezweigen vorantreiben könnte.

Bibliography

- Jang, S., Kim, D., Kim, C., Kim, Y., & Shin, J. (2025). Verifier-free Test-Time Sampling for Vision Language Action Models. Retrieved from https://arxiv.org/abs/2510.05681 - Kwok, J., Agia, C., Sinha, R., Foutter, M., Li, S., Stoica, I., Mirhoseini, A., & Pavone, M. (n.d.). RoboMonkey: Scaling Test-Time Sampling and Verification for Vision-Language-Action Models. Retrieved from https://scalingintelligence.stanford.edu/pubs/robomonkey.pdf - Karmanov, A., Guan, D., Lu, S., Saddik, A. E., & Xing, E. (2024). Efficient Test-Time Adaptation of Vision-Language Models. Retrieved from https://openaccess.thecvf.com/content/CVPR2024/papers/Karmanov_Efficient_Test-Time_Adaptation_of_Vision-Language_Models_CVPR_2024_paper.pdf - Zhang, T., Wang, J., Guo, H., Dai, T., Chen, B., & Xia, S. (2024). BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping. Retrieved from https://proceedings.neurips.cc/paper_files/paper/2024/file/7d60bfd8458b67acbbaf18b892338d00-Paper-Conference.pdf - Hugging Face. Daily Papers - Hugging Face. Retrieved from https://huggingface.co/papers - Hugging Face. Daily Papers (q=Vision-Language-Action models). Retrieved from https://huggingface.co/papers?q=Vision-Language-Action%20(VLA)%20models - Jonyzhang. jonyzhang2023/awesome-embodied-vla-va-vln - GitHub. Retrieved from https://github.com/jonyzhang2023/awesome-embodied-vla-va-vln