VABench prüft räumliche Handlungsfähigkeit multimodaler KI-Systeme

Warum die vollständige Aufgabe deutlich schwieriger ist

Die Differenz zwischen Teilleistungen und Gesamtaufgabe ist ein zentrales Ergebnis der Untersuchung. Einzelne Fähigkeiten lassen sich isoliert vergleichsweise gut messen: Objekterkennung, räumliche Relation, Zielauswahl oder Koordinatenausgabe. In der praktischen Ausführung müssen diese Fähigkeiten jedoch fehlerfrei zusammenspielen.

Eine typische Handlungskette kann mehrere potenzielle Fehlerquellen enthalten:

- Das relevante Objekt wird identifiziert, obwohl ein ähnliches Objekt in der Szene vorhanden ist.

- Eine verdeckte räumliche Beziehung wird falsch eingeschätzt.

- Die Kameraperspektive liefert nicht genügend Informationen für eine Tiefenabschätzung.

- Die Zielkoordinate wird im falschen Referenzrahmen angegeben.

- Der Roboter erreicht die Position, greift das Objekt aber nicht stabil.

- Die Veränderung der Szene nach dem ersten Schritt wird nicht korrekt erfasst.

- Ein späterer Handlungsschritt baut auf einer fehlerhaften Annahme über den aktuellen Zustand auf.

Die Messung der Gesamtaufgabe erfasst diese Fehlerketten. Dadurch ist sie für den Einsatz in autonomen Systemen aussagekräftiger als eine reine Frage-Antwort-Bewertung. Zugleich fällt die Erfolgsquote zwangsläufig niedriger aus, weil jede zusätzliche Stufe eine weitere Möglichkeit für Abweichungen schafft.

Generalisierung auf unbekannte Geometrien

Ein zweiter Schwerpunkt von VABench liegt auf der Übertragung gelernter Strategien auf neue Geometrien und Layouts. Die Ergebnisse zeigen, dass diese Übertragung erhebliche Schwierigkeiten bereitet. Bei bestimmten zurückgehaltenen Varianten konnte die Aufgabenerfolgsquote um mehr als 30 Prozentpunkte sinken.

Dieser Befund ist für die Bewertung heutiger multimodaler Modelle besonders relevant. Hohe Leistungen in bekannten Umgebungen können teilweise darauf zurückzuführen sein, dass ähnliche Bildmuster, Objektanordnungen oder Bewegungsabläufe wiederholt auftreten. Werden diese Muster verändert, muss das System stärker auf abstrakte räumliche Regeln zurückgreifen.

Für Unternehmen ist die Generalisierung eine praktische Kernfrage. Ein Roboter, der nur in einer exakt kalibrierten Laborumgebung zuverlässig arbeitet, ist nicht ohne Weiteres für wechselnde Produktionslinien, unterschiedliche Verpackungen oder unstrukturierte Lagerflächen geeignet. Die Übertragbarkeit auf neue Bedingungen muss deshalb separat geprüft und darf nicht aus einem einzelnen Benchmarkwert abgeleitet werden.

Unbekannte Geometrien stellen zudem höhere Anforderungen an die Kalibrierung und Unsicherheitsbewertung. Ein verantwortungsvoll eingesetztes System sollte erkennen können, wann seine räumliche Einschätzung unsicher ist. Daraus können zusätzliche Kamerabewegungen, eine vorsichtigere Bewegung oder die Übergabe an eine menschliche Bedienperson folgen.

Langzeithandlungen bleiben eine offene Herausforderung

Besonders deutlich werden die Grenzen der getesteten Systeme im Langzeit-Track. In diesem Szenario müssen fünf Objekte in einer längeren Handlungskette bearbeitet werden. Nach den Angaben der Autoren schloss kein Modell eine streng definierte Langzeitepisode vollständig ab, obwohl teilweise erheblicher Fortschritt erzielt wurde.

Das Ergebnis weist auf mehrere zusammenhängende Probleme hin. Erstens müssen Modelle den Zustand der Umgebung über längere Zeit konsistent speichern. Zweitens müssen sie ihre Planung an Zwischenresultate anpassen. Drittens muss eine Handlung nicht nur lokal korrekt, sondern auch im Hinblick auf spätere Schritte sinnvoll sein.

Bei kurzen Aufgaben kann ein Modell unter Umständen eine plausible Einzelaktion erzeugen. Bei langen Episoden reicht dies nicht. Die Planung muss mit der Ausführung verbunden werden. Nach jedem Schritt ist zu prüfen, ob das erwartete Ergebnis eingetreten ist. Wenn ein Objekt verrutscht oder eine Greifbewegung nicht erfolgreich war, darf das System nicht einfach mit dem ursprünglichen Plan fortfahren.

Damit berührt VABench eine allgemeine Herausforderung agentischer KI: Sprachliche Planung und physische Rückkopplung müssen eng miteinander verbunden werden. Ein Textmodell kann eine überzeugende Schrittfolge formulieren, ohne die Konsequenzen kleiner räumlicher Fehler realistisch zu simulieren.

Einordnung in die Entwicklung von KI-Benchmarks

VABench steht nicht isoliert. In den vergangenen Jahren sind mehrere Benchmarks entstanden, die multimodale Modelle als handelnde visuelle Agenten bewerten. VisualAgentBench etwa untersucht große multimodale Modelle in verschiedenen Umgebungen und Aufgabenklassen, darunter verkörperte Aufgaben, grafische Benutzeroberflächen und visuelles Design. Der Schwerpunkt liegt auf der Frage, wie sich multimodale Modelle als allgemeine visuelle Agenten einsetzen lassen.

Andere Arbeiten fokussieren stärker auf räumliches Denken aus Videos. Der Benchmark VSI-Bench prüft beispielsweise, ob Modelle aus sequenziellen visuellen Beobachtungen räumliche Anordnungen erinnern und Fragen zu diesen Räumen beantworten können. Solche Untersuchungen liefern Hinweise darauf, ob Modelle lokale räumliche Repräsentationen entwickeln. Sie testen jedoch nicht zwingend, ob ein Roboter auf Grundlage dieser Repräsentationen eine metrisch präzise Handlung ausführen kann.

ESI-Bench verfolgt ebenfalls den Ansatz, die Wahrnehmungs-Handlungs-Schleife in den Mittelpunkt zu stellen. Dort wird betont, dass ein Agent durch seine Aktionen neue Informationen über verdeckte Strukturen, Dynamik, Inhalte oder Funktionen gewinnen kann. VABench ergänzt diese Forschungsrichtung durch die Verbindung aus visuellen Demonstrationen, aktiver Kamerawahl und metrischer Robotersteuerung.

Die Benchmarks sind daher weniger als direkte Konkurrenz denn als unterschiedliche Messinstrumente zu verstehen. Sie setzen verschiedene Schwerpunkte:

- passive räumliche Wahrnehmung

- räumliches Erinnern und Schlussfolgern aus Videos

- allgemeine visuelle Agentenfähigkeiten

- aktive Informationsgewinnung

- physische Manipulation und metrische Steuerung

- langfristige Planung und Zustandsverfolgung

Für eine belastbare Bewertung eines Modells ist es sinnvoll, mehrere dieser Dimensionen zu kombinieren. Ein System kann in einer visuellen Frage-Antwort-Aufgabe stark, bei aktiver Wahrnehmung mittelmäßig und bei der physischen Manipulation schwach sein. Ein einzelner Gesamtwert würde diese Unterschiede verdecken.

Was die Ergebnisse für die Bewertung multimodaler Modelle bedeuten

Die Studie spricht dafür, Leistungsangaben multimodaler Modelle differenzierter zu betrachten. Ein hoher Wert bei der Objekterkennung oder bei räumlichen Fragen bedeutet nicht automatisch, dass ein System für autonome Aktionen geeignet ist. Für die Praxis sind mindestens vier Ebenen auseinanderzuhalten:

Wahrnehmung: Erkennt das Modell relevante Objekte, Eigenschaften und räumliche Beziehungen?

Informationsstrategie: Erkennt das Modell, welche Informationen fehlen, und kann es gezielt neue Beobachtungen anfordern?

Steuerung: Übersetzt es seine räumliche Einschätzung in präzise, ausführbare Befehle?

Rückkopplung: Prüft es das Ergebnis und korrigiert seine Strategie bei Abweichungen?

Diese Ebenen können unabhängig voneinander versagen. Ein Modell, das die Szene richtig beschreibt, kann bei der Koordinatenumrechnung scheitern. Ein Modell mit guter Koordinatenausgabe kann eine verdeckte Kollision übersehen. Ein Modell, das einzelne Aktionen ausführt, kann bei einer längeren Sequenz den Überblick über den Zustand verlieren.

VABench ist deshalb vor allem als Diagnoseinstrument relevant. Die neun berichteten Verhaltensindikatoren auf Trajektorienebene sollen nicht nur zeigen, ob eine Aufgabe erfolgreich abgeschlossen wurde. Sie können auch sichtbar machen, an welcher Stelle der Ablauf fehlschlägt. Für die Entwicklung von Modellen ist diese Information wertvoller als ein reiner Ja-Nein-Wert.

Methodische Einordnung der Untersuchung

Die Autoren bewerteten zwölf primäre Modellbedingungen. Die Tests wurden in drei unabhängigen Durchläufen durchgeführt. Für jede grundlegende Aufgabe kamen dieselben 20 physisch überprüften Ausgangssituationen beziehungsweise Seeds zum Einsatz. Diese Struktur soll die Vergleichbarkeit zwischen den Bedingungen erhöhen und zufällige Schwankungen reduzieren.

Die Verwendung mehrerer Durchläufe ist bei verkörperten Aufgaben besonders wichtig. Eine einzelne Ausführung kann durch zufällige Modellentscheidungen, geringfügige Unterschiede in der Simulation oder die konkrete Objektanordnung beeinflusst werden. Erst wiederholte Messungen erlauben eine bessere Einschätzung der Stabilität.

Gleichzeitig bleiben die Resultate an die Definitionen des Benchmarks gebunden. Die Aufgaben, der Controller, die verfügbaren Beobachtungen und die physische oder simulierte Umgebung bestimmen maßgeblich, welche Fähigkeiten tatsächlich gemessen werden. Ein Ergebnis von 53,93 Prozent ist daher keine allgemeine Erfolgswahrscheinlichkeit für Roboteraufgaben außerhalb des Benchmarks.

Auch die Zahl der Seeds und Modellbedingungen bildet nur einen Ausschnitt aus dem möglichen Einsatzspektrum ab. Für eine Übertragung auf reale Unternehmensprozesse wären weitere Prüfungen erforderlich, etwa mit unbekannten Materialien, wechselnden Lichtbedingungen, beschädigten Objekten, menschlicher Bewegung im Arbeitsbereich und sicherheitsrelevanten Fehlerszenarien.

Relevanz für industrielle und geschäftliche Anwendungen

Die Ergebnisse sind für mehrere Anwendungsfelder relevant. In der industriellen Robotik könnten multimodale Modelle genutzt werden, um neue Arbeitsabläufe aus Demonstrationen zu übernehmen. Statt jede Bewegung vollständig zu programmieren, würde ein System aus Beispielen ableiten, welches Objekt in welcher Beziehung zu einem anderen Objekt bearbeitet werden soll.

Auch in Lager- und Logistikprozessen ist aktive Wahrnehmung entscheidend. Objekte sind nicht immer vollständig sichtbar, Verpackungen können sich überlagern und Positionen können vom erwarteten Layout abweichen. Ein System müsste dann selbstständig eine bessere Sicht anfordern oder die Szene aus einem anderen Winkel untersuchen.

In der Servicerobotik kommen zusätzlich unstrukturierte Umgebungen hinzu. Haushalte, Pflegeeinrichtungen und Büros unterscheiden sich deutlich voneinander. Gegenstände liegen nicht immer an vorhersehbaren Positionen, und Aufgaben können durch Menschen oder andere Bewegungen verändert werden. Die in VABench beobachteten Schwierigkeiten bei unbekannten Geometrien und langen Handlungsketten sind deshalb für diese Anwendungen besonders relevant.

Für Unternehmen folgt daraus, dass der Nachweis einer multimodalen Bildverständnisleistung nicht mit einem Nachweis autonomer Handlungsfähigkeit gleichgesetzt werden sollte. Vor einer produktiven Nutzung sind spezifische Tests für den jeweiligen Prozess erforderlich. Dabei sollten nicht nur Erfolgsquoten, sondern auch Fehlertypen, Abbruchbedingungen und die Fähigkeit zur sicheren Übergabe an Menschen erfasst werden.

Konsequenzen für KI-Projekte in Unternehmen

Unternehmen, die multimodale oder agentische KI-Systeme evaluieren, können aus VABench mehrere praktische Prüffragen ableiten:

- Kann das System zwischen sicher beobachteten und nur vermuteten räumlichen Informationen unterscheiden?

- Fordert es zusätzliche Bilder oder Sensordaten gezielt an, statt wahllos weitere Beobachtungen zu erzeugen?

- Arbeitet es in einem klar definierten Koordinatensystem?

- Werden Aktionen nach der Ausführung überprüft?

- Kann das System mit teilweise fehlgeschlagenen Aktionen umgehen?

- Wie stark sinkt die Leistung bei neuen Objektformen und Anordnungen?

- Wie stabil ist das Verhalten über wiederholte Durchläufe?

- Wird bei Unsicherheit eine sichere Alternative oder menschliche Kontrolle ausgelöst?

Diese Fragen lassen sich auch auf rein digitale Prozesse übertragen. Ein KI-Agent, der grafische Benutzeroberflächen bedient, muss ebenfalls erkennen, welche Informationen fehlen, eine geeignete Ansicht oder Interaktion auswählen, eine Aktion ausführen und deren Ergebnis prüfen. Die Grundstruktur des observe-reason-act-revise-Zyklus gilt daher nicht nur für Roboter, sondern auch für Software-Agenten.

Für die Einführung in Unternehmensprozesse empfiehlt sich eine schrittweise Vorgehensweise. Zunächst kann ein System in einer kontrollierten Umgebung mit begrenzten Aktionen getestet werden. Anschließend sollten Variationen bei Layout, Eingaben und Störungen hinzukommen. Erst wenn die Fehlerprofile bekannt sind, lässt sich entscheiden, ob eine teilweise Automatisierung, eine Assistenzfunktion oder ein vollständig autonomer Ablauf angemessen ist.

Die Rolle von Daten, Simulation und realer Rückkopplung

Visuelle Demonstrationen sind ein wichtiger Bestandteil moderner Agentensysteme, lösen aber nicht alle Lernprobleme. Ein Video zeigt, was in einer bestimmten Situation funktioniert hat. Es zeigt nicht zwangsläufig, warum eine Aktion erfolgreich war, welche Alternativen möglich gewesen wären oder wie sich die Strategie bei veränderten Bedingungen anpassen muss.

Für robuste räumliche Intelligenz werden daher wahrscheinlich mehrere Datenquellen benötigt:

- Demonstrationen erfolgreicher und fehlgeschlagener Handlungen

- Beobachtungen aus unterschiedlichen Perspektiven

- Informationen über Objektgeometrie und Materialeigenschaften

- Rückmeldungen aus der tatsächlichen Ausführung

- simulierte Varianten mit systematisch veränderten Bedingungen

- Beispiele für Unsicherheit, Abbruch und menschliche Korrektur

Simulationen bieten den Vorteil, viele Szenarien kostengünstig und reproduzierbar zu erzeugen. Reale Umgebungen liefern dagegen physische Effekte, die in Simulationen nur unvollständig abgebildet werden können. Dazu zählen Reibung, Verformung, ungenaue Greifer, Beleuchtungsänderungen oder unvorhersehbare Objektbewegungen.

VABench verbindet die Benchmark-Idee mit physisch überprüften Ausgangssituationen und einer festgelegten Ausführungsschicht. Für die weitere Forschung bleibt dennoch entscheidend, wie gut die Ergebnisse auf andere Roboter, Sensoren und Umgebungen übertragbar sind.

Warum Sprachmodelle bei räumlichen Aufgaben an Grenzen stoßen

MLLMs sind in erster Linie auf die Verarbeitung von Sprache und visuellen Mustern ausgelegt. Räumliche Kontrolle verlangt jedoch eine kontinuierliche, geometrisch konsistente Repräsentation der Umgebung. Sprachliche Plausibilität kann dabei irreführend sein. Ein Modell kann eine logisch klingende Erklärung erzeugen, obwohl die zugrunde liegenden Koordinaten nicht stimmen.

Auch längere Schlussfolgerungsketten lösen dieses Problem nicht automatisch. Studien zum räumlichen Denken multimodaler Modelle haben darauf hingewiesen, dass herkömmliche sprachliche Reasoning-Verfahren bei Videoaufgaben nur begrenzt helfen können. Explizite räumliche Repräsentationen, beispielsweise kognitive Karten, können für bestimmte Distanz- und Orientierungsfragen hilfreicher sein als ausschließlich sprachliche Zwischenschritte.

Für verkörperte Aufgaben ist zusätzlich wichtig, dass eine räumliche Repräsentation nach jeder Aktion aktualisiert wird. Die Welt bleibt nicht statisch. Wenn ein Objekt bewegt wurde, müssen seine neue Position, mögliche Hindernisse und die veränderten Beziehungen zu anderen Objekten berücksichtigt werden. Ein System, das lediglich einen anfänglichen Szenenplan erstellt, kann bei längeren Abläufen schnell veraltete Annahmen verwenden.

Grenzen und offene Forschungsfragen

VABench macht Fortschritte und Defizite sichtbar, beantwortet aber nicht alle Fragen zur verkörperten räumlichen Intelligenz. Offen bleibt unter anderem, wie Modelle mit dynamischen Objekten, bewegten Menschen oder unvollständiger beziehungsweise fehlerhafter Sensorik umgehen. Ebenso ist zu untersuchen, wie sich die Leistung bei realen Kameras, unterschiedlichen Roboterarmen und variierenden Steuerungsfrequenzen verändert.

Weitere Forschungsfragen betreffen die Sicherheit. Bei physischen Handlungen müssen nicht nur Erfolgsquoten, sondern auch Schadensrisiken berücksichtigt werden. Ein System, das eine Aufgabe in vielen Fällen korrekt abschließt, kann dennoch ungeeignet sein, wenn seltene Fehler zu Kollisionen oder Verletzungen führen.

Auch die Kosten aktiver Wahrnehmung sind relevant. Eine zusätzliche Kamerabewegung kann die Erfolgswahrscheinlichkeit erhöhen, aber Zeit und Energie verbrauchen. In einer Produktionsumgebung muss das System daher möglicherweise zwischen schneller Ausführung und zusätzlicher Informationsgewinnung abwägen.

Schließlich ist die Interpretierbarkeit der Entscheidungen von Bedeutung. Unternehmen benötigen nachvollziehbare Informationen darüber, warum eine bestimmte Perspektive gewählt, eine Aktion ausgelöst oder ein Vorgang abgebrochen wurde. Die Fähigkeit zur Erklärung ersetzt keine technische Sicherheit, kann aber die Fehlersuche und die Prozessüberwachung unterstützen.

Einordnung für die Arbeit mit KI im B2B-Umfeld

Für B2B-Anwender liegt die wichtigste Aussage der Untersuchung in der Unterscheidung zwischen kognitiver Darstellung und operativer Zuverlässigkeit. Ein Modell kann ein Bild überzeugend analysieren und einen plausiblen Plan formulieren. Ob es diesen Plan unter veränderten Bedingungen korrekt und sicher umsetzt, muss separat nachgewiesen werden.

Das betrifft nicht nur Robotik. Auch bei KI-gestützter Recherche, Dokumentenverarbeitung, Bildgenerierung oder automatisierter Content-Produktion ist die Frage entscheidend, wie ein System mit unvollständigen Informationen und Rückmeldungen umgeht. Ein agentisches System sollte Quellen prüfen, Unsicherheiten kennzeichnen, Zwischenergebnisse validieren und bei widersprüchlichen Informationen nicht ohne weitere Kontrolle fortfahren.

Plattformen wie Mindverse können in solchen Arbeitsabläufen als KI-Partner eingesetzt werden, um Inhalte, Recherche und multimodale Aufgaben in einem gemeinsamen Prozess zu unterstützen. Die Ergebnisse von VABench unterstreichen dabei eine grundlegende Anforderung: KI-Systeme sollten nicht ausschließlich nach der Qualität einzelner Ausgaben beurteilt werden, sondern nach ihrer Fähigkeit, Informationen zu sammeln, Entscheidungen zu begründen, Aktionen kontrolliert auszuführen und Ergebnisse zu überprüfen.

Für die Auswahl eines Modells oder Tools empfiehlt sich daher ein Evaluationsrahmen, der zur konkreten Aufgabe passt. Bei einer Rechercheaufgabe stehen Quellenqualität und Aktualität im Vordergrund. Bei einer Bildanalyse sind Erkennungsgenauigkeit und Unsicherheitskennzeichnung entscheidend. Bei einem Agentenprozess kommen zusätzlich Planung, Zustandsverfolgung, Werkzeugnutzung und Fehlerkorrektur hinzu.

Fazit: Ein anspruchsvoller Test für den nächsten Entwicklungsschritt

VABench erweitert die Bewertung multimodaler KI um eine Dimension, die für den praktischen Einsatz zentral ist: die Fähigkeit, aus visuellen Demonstrationen und aktiv gewonnenen Beobachtungen eine metrisch präzise Handlung abzuleiten. Der Benchmark prüft damit nicht nur, ob ein Modell etwas sieht oder beschreiben kann, sondern ob es unter unvollständiger Beobachtung eine Umgebung verstehen und in ihr wirksam handeln kann.

Die Resultate zeigen ein gemischtes Bild. Einzelne Teilleistungen, insbesondere die Lokalisierung und die Erkennung räumlicher Beziehungen, können hohe Werte erreichen. Bei der vollständigen Aufgabenbewältigung bleibt jedoch eine deutliche Lücke. Aktive Kamerasteuerung verbessert die Ergebnisse, während unbekannte Geometrien und lange Handlungsketten weiterhin erhebliche Probleme verursachen.

Für die weitere Entwicklung verkörperter KI bedeutet dies, dass Fortschritte auf mehreren Ebenen erforderlich sind. Modelle müssen räumliche Informationen konsistenter repräsentieren, gezielter nach fehlenden Daten suchen, Koordinaten robuster übertragen und die Umgebung nach jeder Aktion aktualisieren. Ebenso wichtig sind wiederholbare Tests, realitätsnahe Störungen und Sicherheitsmechanismen für Situationen, in denen die eigene Einschätzung nicht ausreicht.

Die Untersuchung liefert damit keinen allgemeinen Nachweis, dass multimodale Modelle bereits verlässliche autonome Agenten sind. Sie zeigt vielmehr, wie groß die Lücke zwischen visueller Kompetenz und verkörperter Handlungsfähigkeit sein kann. Für Forschung und Unternehmen ist diese Differenz eine wichtige Messgröße: Erst wenn Wahrnehmung, räumliches Schlussfolgern, Steuerung und Rückkopplung gemeinsam funktionieren, wird aus einem System zur Bildinterpretation ein belastbarer Akteur in der physischen oder digitalen Welt.

Bibliografie

1. Zhang, Zhongbo; Jin, Jiayi; Wang, Yifan; Zhang, Zaibin; Diao, Haiwen; Wang, Lijun; Lu, Huchuan: VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control. arXiv:2609.19554. https://arxiv.org/abs/2609.19554
2. Hugging Face Papers: VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control. https://huggingface.co/papers/2609.19554
3. VABench-Projekt und Quellcode: https://github.com/zhangzhongbo2213/VABench
4. Hong, Yining; Liu, Jiageng; Yin, Han; Li, Manling; Guibas, Leonidas; Li, Fei-Fei; Wu, Jiajun; Choi, Yejin: ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception–Action Loop. https://esi-bench.github.io/
5. ESI-Bench-Repository: https://github.com/ESI-Bench/ESI-Bench
6. Liu, Xiao et al.: VisualAgentBench: Towards Large Multimodal Models as Visual Foundation Agents. Proceedings of ICLR 2025. https://proceedings.iclr.cc/paper_files/paper/2025/file/eea71dc576381b88f2a0ca4dedc2140d-Paper-Conference.pdf
7. VisualAgentBench-Repository: https://github.com/thudm/visualagentbench/
8. Yang, Jihan; Yang, Shusheng; Gupta, Anjali; Han, Rilyn; Fei-Fei, Li; Xie, Saining: Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces. arXiv:2412.14171. https://doi.org/10.48550/arXiv.2412.14171