HexaShell lässt ein VLM eigene Werkzeuge für die Robotik programmieren

Werkzeuge werden entwickelt und anschließend eingefroren

Die Evaluierung soll prüfen, ob die vom Agenten entwickelten Tools über die konkreten Entwicklungssituationen hinaus funktionieren. Die Autoren erstellen sie auf zehn Layouts eines Seeds pro Aufgabe. Danach frieren sie die Werkzeuge ein und testen sie auf zehn neuen Layouts desselben Seeds. [1]

Damit werden neue Objektanordnungen geprüft, während der Seed gleich bleibt. Das ist ein sinnvoller Schritt über die bloße Wiederholung derselben Anordnung hinaus, begrenzt aber die Aussage über Generalisierung: Aus den Angaben folgt nicht, dass die Tools auch auf andere Seeds, wesentlich andere Szenen oder Aufgabenvarianten übertragbar sind. Ebenso wenig beschreiben die vorliegenden Informationen eine Prüfung unter betrieblichen Bedingungen wie wechselnder Beleuchtung, Verschleiß oder ungeplanten menschlichen Eingriffen. [1]

Als Modell- und Agentenkombination nennen die Autoren Codex mit GPT-6-Astra bei mittlerem Reasoning-Aufwand. Der Bericht beschreibt also ein Ergebnis mit dieser konkreten Konfiguration; er liefert in der bereitgestellten Zusammenfassung keinen Vergleich, der den jeweiligen Beitrag von Modell, Agentenrahmen und selbst geschriebenen Werkzeugen voneinander isoliert. [1]

39,7 Prozent Erfolg über 42 RoboDojo-Aufgaben

Über alle 42 Aufgaben des RoboDojo-Benchmarks hinweg berichten die Autoren eine Erfolgsquote von 39,7 Prozent und einen Fortschrittswert von 48,0. Beide Kennzahlen seien auf dieselbe Weise gemittelt wie auf der RoboDojo-Bestenliste. Die Arbeit bezeichnet das Ergebnis als neuen Spitzenwert des Benchmarks. Diese Einordnung ist als Aussage der Autoren zu verstehen: Die bereitgestellte Paper-Seite enthält weder die vollständige Vergleichstabelle noch eine unabhängige Replikation, anhand derer sich Rang und Abstand zu anderen Systemen hier überprüfen ließen. [1]

Die Gesamtwerte verbergen eine ausgeprägte Abhängigkeit vom Aufgabentyp. Beim Schieben nennen die Autoren eine Erfolgsquote von 92,5 Prozent, bei Gedächtnisaufgaben 65,0 Prozent. Bei engen Einführbewegungen – tight insertion – sinkt sie dagegen auf 8,3 Prozent. Der Kontrast legt nahe, dass ein guter Gesamtwert für einfache oder weniger kontaktintensive Bewegungen nicht automatisch eine verlässliche Leistung bei präzisen physischen Interaktionen bedeutet. [1]

Die Autoren führen die zentrale Grenze auf Kontakt und nicht primär auf Schlussfolgern zurück. Nach ihrer Beschreibung erkennt der Agent bei Fehlschlägen häufig, dass etwas schiefgelaufen ist, kann die erforderliche Bewegung aber nicht zuverlässig ausführen. Das ist eine Interpretation der Studienautoren und keine isolierte Messung des Einflusses einzelner Ursachen. Die zusammengefassten Angaben schlüsseln etwa nicht auf, welcher Anteil der Fehler auf Wahrnehmung, Positionierung, Greifkontakt oder die Ausführung der Bewegung entfällt. [1]

Warum Kontaktaufgaben die Grenze markieren

Analytisch passt das Muster zu einem Unterschied zwischen visuellem Erkennen und präziser Kraft- beziehungsweise Kontaktsteuerung: Der Agent kann in einem Bild eine misslungene Position oder einen unerwarteten Zustand bemerken, doch daraus folgt nicht automatisch, dass eine erneute Bewegung den gewünschten physischen Kontakt herstellt. Die Arbeit selbst hebt den Gegensatz zwischen vergleichsweise erfolgreichen Schiebeaufgaben und der niedrigen Erfolgsquote bei enger Einführbewegung hervor. Welche konkreten mechanischen oder sensorischen Faktoren diese Lücke verursachen, lässt sich aus dem bereitgestellten Abstract nicht weiter bestimmen. [1]

Für die Auswahl von Pilotaufgaben folgt daraus eine begrenzte, aber praktische Schlussfolgerung: Ein Benchmark-Erfolg auf Aufgaben mit robusten visuellen Hinweisen sollte nicht als Beleg für Präzisionsmontage oder andere kontaktkritische Prozesse behandelt werden. Solche Anwendungen müssten gesondert anhand ihrer Toleranzen und Fehlerkosten geprüft werden. Das ist eine Folgerung aus der berichteten Leistungsstreuung, keine von den Autoren nachgewiesene Einsatzempfehlung. [1]

Ein anderer Schnitt durch das Problem als bei Show-Harness

Ein verwandtes Paper, Show-Harness, setzt an der Schnittstelle zwischen VLM und Roboter ebenfalls an, verfolgt aber einen anderen Mechanismus. Dort wählt das Modell aus diskreten semantischen Aktionen; ein roboterabhängiger Interpreter übersetzt diese in lokale Bewegungen. Die Autoren berichten über zero-shot-Steuerung und feinabgestimmte kleinere Modelle. [2]

HexaShell rückt demgegenüber das Schreiben und Anpassen kleiner Programme in den Mittelpunkt: Der Agent kann Werkzeuge für Beobachtung und Steuerung anhand von Versuchsergebnissen verändern, statt ausschließlich aus einem vorgegebenen semantischen Aktionsvokabular zu wählen. [1] Der Vergleich beschreibt unterschiedliche Systementwürfe, keinen direkten Leistungsvergleich. Die Quellen berichten über verschiedene Untersuchungsaufbauten und Benchmarks; aus den vorliegenden Angaben lässt sich daher nicht ableiten, welcher Ansatz grundsätzlich überlegen ist. [1][2]

Für die technische Architektur von Robotiksystemen macht dieser Unterschied eine Gestaltungsentscheidung sichtbar. Ein festes Aktionsvokabular kann die Schnittstelle begrenzen und klar strukturieren; selbst programmierte Tools geben dem Agenten mehr Spielraum, erhöhen aber zugleich die Bedeutung von Codeprüfung, Laufzeitüberwachung und reproduzierbaren Tests. Der erste Teil dieser Gegenüberstellung ist durch die beschriebenen Ansätze belegt; die möglichen Anforderungen an Prüfung und Überwachung sind eine Analyse und wurden durch die hier genannten Ergebnisse nicht eigens evaluiert. [1][2]

Was die Ergebnisse für Unternehmen aussagen – und was nicht

HexaShell liefert einen Hinweis darauf, dass ein VLM in einem klar abgegrenzten Robotik-Benchmark nicht nur vorformulierte Aktionen auswählen, sondern auch eigene Softwarewerkzeuge über Versuche hinweg weiterentwickeln kann. Die Autoren geben an, die bislang entwickelten Werkzeuge quelloffen bereitzustellen. Das belegt jedoch weder eine produktionsreife Integration noch Verfügbarkeit unter bestimmten Lizenz-, Support- oder Sicherheitsbedingungen; zu diesen Punkten enthält die bereitgestellte Zusammenfassung keine näheren Angaben. [1]

Für eine betriebliche Bewertung wären vor allem drei Fragen offen: Wie stabil bleiben die Tools außerhalb der getesteten Layouts? Wie verlässlich sind Bewegungen, wenn ein Fehler unmittelbare Auswirkungen auf Menschen, Werkstücke oder Anlagen hat? Und wie lässt sich nachvollziehen, welche Änderungen der Agent an den Programmen vorgenommen hat? Diese Fragen ergeben sich aus dem selbstständigen Schreiben von Tools und der begrenzten Testbeschreibung; die Studie beantwortet sie in den verfügbaren Angaben nicht. [1]

Die belastbare Kernaussage ist deshalb enger als die Formulierung eines neuen Benchmark-Spitzenwerts nahelegen könnte: Im beschriebenen RoboDojo-Versuch erzielt die Kombination aus Coding-Agent, Kamerabeobachtung und selbst entwickelten Werkzeugen nach Angaben der Autoren 39,7 Prozent Erfolg. Zugleich zeigen die stark unterschiedlichen Aufgabenwerte, dass diese Leistung keine gleichmäßige Fähigkeit zur Robotermanipulation belegt. Gerade die niedrige Quote bei engen Einführbewegungen markiert eine klare Grenze für Schlussfolgerungen auf präzise, kontaktintensive Anwendungen. [1]

Quellen

1. [1] Paper page - HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents — https://huggingface.co/papers/2610.23479 (abgerufen am 2026-10-19)
2. [2] [2609.10522] Show-Harness: Just a VLM Agent Can Play Robots — https://arxiv.org/abs/2609.10522 (abgerufen am 2026-10-19)