RoboJudge trennt physikalische Plausibilität von Aufgabenerfüllung in Robotervideos

Die Studie findet Schwächen bei bestehenden Video-Richtern

Im Benchmark vergleichen die Autoren RoboJudge-9B mit 29 Modellrichtern und acht nicht auf multimodalen Sprachmodellen beruhenden Metriken. Nach ihrer Auswertung stimmen allgemeine multimodale Modelle insbesondere bei der physikalischen Adhärenz weniger gut mit menschlichen Bewertungen überein. Auch spezialisierte Video-Richter, die für allgemeine physikalische Plausibilität entwickelt wurden, übertragen ihre Leistung nicht durchgehend auf verkörperte Manipulationsszenen. [2][5]

Die Arbeit nennt als Beispiele übersehene Fehler, die in groben Qualitätsurteilen untergehen können: zusätzliche Hände oder duplizierte Aufkleber, plötzlich verformte Gegenstände, verschwindende Greifer sowie eine Kühlschranktür, die trotz eines Griffs geschlossen bleibt. In einem weiteren Fall wird eine Flasche neben statt auf einer Zielunterlage platziert. Die Beispiele illustrieren mögliche Fehlurteile; sie sind keine Messung dafür, wie häufig solche Fehler im gesamten Einsatz auftreten. [3][4]

Nach den im Paper berichteten Vergleichswerten erreicht GPT-5.5 eine Korrelation von 0,49 mit menschlichen Bewertungen bei PA. Spezialisierte Video-Richter kommen in der Auswertung höchstens auf 0,42 bei PA und 0,59 bei IA. Diese Werte beziehen sich auf den konkreten Test und die ausgewählten Vergleichsmodelle; sie belegen keine allgemeine Rangfolge für sämtliche Videos oder Einsatzbedingungen. [5]

• Ein plausibel wirkender Kontakt kann physikalisch fehlerhaft sein, obwohl die Aufgabe scheinbar gelingt. [3][4]
• Ein Objekt kann korrekt bewegt werden, ohne den verlangten Zielzustand zu erreichen. [3][5]

Ein Beispiel für auseinanderlaufende Bewertungen

In einem von den Autoren gezeigten Beispiel bleibt ein Verpackungsvorgang weitgehend physikalisch plausibel, doch die Gegenstände gelangen nicht in die vorgesehene Tasche. Das Video erhält eine PA-Bewertung von vier und eine IA-Bewertung von zwei. Ein anderes Beispiel zeigt eine gelungene Einfügehandlung mit sichtbaren Inkonsistenzen bei Objektbeständigkeit und Interaktion; dort liegt die IA-Bewertung bei fünf und PA bei drei. Solche Fälle verdeutlichen den diagnostischen Nutzen zweier Achsen gegenüber einer einzigen Gesamtpunktzahl. [5]

RoboJudge-9B erreicht die höchste Korrelation im Test

RoboJudge-9B ist ein multimodales Modell mit neun Milliarden Parametern, das laut Paper auf Qwen3.5-9B aufbaut. Die Autoren trainierten es zunächst mit überwachtem Feintuning und anschließend mit Reinforcement Learning. Auf RoboJudge-Bench erreicht es eine Pearson-Korrelation von 0,719 zwischen den Modellurteilen und den menschlichen Bewertungen. Die beste proprietäre Baseline in diesem Vergleich, Gemini-3.7-Flash, kommt auf 0,630; die Differenz beträgt 0,089 und wird in der Studie als statistisch signifikant ausgewiesen. [2][3][5]

Für die Einordnung ist entscheidend, was die Kennzahl nicht aussagt: Die Pearson-Korrelation beschreibt, wie stark zwei Bewertungsreihen gemeinsam variieren. Sie entspricht nicht dem Anteil exakt gleicher Einzelurteile. Die Autoren berichten für den Unterschied im Gesamtergebnis ein 95-Prozent-Konfidenzintervall von 0,061 bis 0,119. Der Zuwachs bei IA ist demnach signifikant; der separate Zuwachs bei PA ist es in diesem Test mit dem verwendeten Verfahren nicht. [3]

Eine Ablationsanalyse vergleicht die Trainingsstufen auf derselben Modellbasis. Die Gesamtkorrelation steigt von 0,401 für das Basismodell auf 0,700 nach überwachtem Feintuning und auf 0,719 nach dem anschließenden Reinforcement Learning. Der größte gemessene Sprung fällt damit in die erste Trainingsstufe. Die Zahlen stützen den Nutzen des aufgabenspezifischen Trainings, isolieren aber nicht, welcher einzelne Bestandteil des Datensatzes oder der Annotationen den Zugewinn verursacht. [3]

• Die 0,719 beziehen sich auf die gepoolten PA- und IA-Bewertungen im 800-Videos-Test, nicht auf eine einzelne Erfolgsquote. [3]
• Die Überlegenheit gilt für die im Paper verglichenen Modellrichter und den dort verwendeten Benchmark. [2][3]

Externe Tests zeigen kein einheitliches Bild

Die Autoren berichten nach dem Training auch Zugewinne auf den externen Benchmarks VideoPhy2 und Physion-Eval. Die detailliertere Auswertung schränkt die pauschale Lesart jedoch ein: Auf Physion-Eval liegt der Youden-J-Wert des Modells nach überwachtem Feintuning bei 0,105 und damit über dem Wert von 0,093 nach der zusätzlichen Reinforcement-Learning-Stufe; beide liegen über dem Basiswert von 0,056. Das finale Modell verbessert folglich nicht jede externe Kennzahl gegenüber jeder Zwischenstufe. [2][3]

Trainingsdaten kombinieren menschliche Prüfung und Modellhilfe

RoboJudge-Train umfasst laut detaillierter Beschreibung 12.351 Videos: 11.520 generierte Clips aus 14 Generatoren und 831 überprüfte erfolgreiche Demonstrationen aus der realen Welt. Für jedes Video gibt es Bewertungen der beiden Achsen; daraus entstehen 24.702 achsenbezogene Trainingsbeispiele. Die Kurzfassungen runden diese Größen auf 12.000 Videos und 25.000 menschlich verifizierte Scores. [1][2][3]

Die Bewertungskandidaten wurden zunächst mit Hilfe multimodaler Modelle erstellt und anschließend von menschlichen Annotierenden geprüft beziehungsweise überarbeitet. Die Begründungen wurden ebenfalls strukturiert; die Studie beschreibt dabei Modellunterstützung. Der Unterschied zum Testset ist relevant: Dort dienen expertengestützte, adjudizierte Labels als Referenz, während die Trainingsdaten skalierbare, menschlich verifizierte Bewertungen mit modellgestützten Begründungen enthalten. Die verwendeten Ausgangsclips sind laut Autoren zwischen Training und Benchmark getrennt. [3][5]

• Das Trainingsmaterial deckt mehr Generatoren ab als die zehn im Benchmark vertretenen. [5]
• Der Datensatz liefert getrennte PA- und IA-Signale statt nur eines allgemeinen Qualitätsurteils. [2][3]

Bedeutung für Entwicklungs- und Evaluationsprozesse

Analyse: Für Unternehmen, die generierte Roboterabläufe vergleichen, kann die Trennung der beiden Wertungen eine aussagekräftigere Fehlersuche ermöglichen. Eine niedrige IA-Wertung trotz hoher PA würde auf ein Problem bei Objektwahl oder Zielerreichung hindeuten; eine niedrige PA-Wertung bei hoher IA auf physikalische oder visuelle Unstimmigkeiten trotz scheinbar erfüllter Aufgabe. Diese Interpretation folgt aus den definierten Rubriken, ist aber kein im Paper nachgewiesener Produktivitäts- oder Sicherheitsgewinn. [5][3]

Die Autoren setzen RoboJudge-9B außerdem als nachgelagerten Evaluator ein, um Videogeneratoren anhand derselben Kriterien zu vergleichen. Für Teams könnte ein solches Verfahren prinzipiell ergänzend zu menschlichen Reviews eingesetzt werden. Die vorgelegten Resultate belegen jedoch zunächst Übereinstimmung mit menschlichen Labels auf einem begrenzten Testbestand; sie zeigen nicht, dass der Richter reale Roboter sicherer macht oder bessere nachgelagerte Policies hervorbringt. [1][2][3]

Grenzen der Aussagekraft

Die zentrale Evidenz ist die Übereinstimmung mit menschlichen Bewertungen in einem Benchmark mit 800 Videos, acht Quellen und zehn Generatoren. Sie ist nicht gleichbedeutend mit physikalischer Wahrheit, einer Sicherheitszertifizierung oder einer Verbesserung realer Robotersteuerungen. Auch die externe Evaluation auf VideoPhy2 und Physion-Eval erweitert den Nachweis, ersetzt aber keine Validierung in konkreten Unternehmensprozessen oder auf bislang nicht getesteten Aufgaben. [2][3][5]

Die Verteilung des Testmaterials legt weitere Vorsicht nahe: Außenaufnahmen machen nur einen kleinen Anteil aus, und die Zahl der simulierten Videos ist geringer als die der realen. Hinzu kommt, dass die Studie die Vergleichsleistung auf ihre Auswahl von Baselines bezieht. Unternehmen, die RoboJudge prüfen, müssten daher zusätzlich untersuchen, ob Bewertungsraster und menschliche Referenzurteile zu ihren Robotertypen, Objekten und betrieblichen Zielen passen. Dieser letzte Schritt ist eine praktische Folgerung aus der beschriebenen Abdeckung, kein von den Autoren getestetes Deployment-Ergebnis. [5][3]

• Die Arbeit belegt ein verbessertes Bewertungsmodell für den konkreten Benchmark, nicht die Verlässlichkeit jeder generierten Robotersequenz. [2][3]
• Ob die Kennzahlen für spezifische Betriebsumgebungen gelten, lässt sich aus den vorgelegten Resultaten allein nicht ableiten. [3][5]

Einordnung

RoboJudge adressiert eine eng umrissene, aber wichtige Evaluationslücke: Bei verkörperten Videos sind physikalische Stimmigkeit und erfolgreiche Aufgabenausführung unterschiedliche Qualitätsdimensionen. Der berichtete Korrelationswert von 0,719 ist ein Fortschritt innerhalb des getesteten Vergleichs, sollte von Fachverantwortlichen aber als Maß der Übereinstimmung mit einem bestimmten menschlichen Bewertungsverfahren gelesen werden – nicht als alleiniger Nachweis für die Einsatzreife eines Weltmodells oder Robotersystems. [2][3][5]

Quellen

1. [1] Paper page - RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation — https://huggingface.co/papers/2610.27782 (abgerufen am 2026-10-26)
2. [2] [2610.27782] RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation — https://arxiv.org/abs/2610.27782 (abgerufen am 2026-10-26)
3. [3] RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation | alphaXiv — https://www.alphaxiv.org/abs/2610.27782 (abgerufen am 2026-10-26)
4. [4] (PDF) RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation — https://www.researchgate.net/publication/416430163_RoboJudge_Multimodal_Language_Models_as_Judges_for_Embodied_Video_Generation (abgerufen am 2026-10-26)
5. [5] RoboJudge: Multimodal Language Models asJudges for Embodied Video Generation — https://arxiv.org/html/2610.27782v1 (abgerufen am 2026-10-26)