Zum Inhalt springen
Robotik 8 Min. Lesezeit

SALA nutzt Sprachsignale, um Humanvideos für Robotertraining zu erschließen

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 3 Quellen

KI-generierte Illustration: SALA nutzt Sprachsignale, um Humanvideos für Robotertraining zu erschließen
KI-generierte Illustration

Das Wichtigste in Kürze

  • SALA nutzt kurze Aktionsbeschreibungen, um unpaarige Videos von Menschen und Robotern in einem gemeinsamen latenten Aktionsraum auszurichten. [1][3]
  • Roboteraktionen dienen als kontrollbezogene Anker; die Ausrichtung verschiebt menschliche Repräsentationen zu semantisch ähnlichen Roboteraktionen. [3]
  • Auf einem Roboter mit 63 Freiheitsgraden stieg die mittlere Erfolgsrate beim Post-Training mit mehr aufgabenspezifischen Humanvideos von 53,75 auf 72,5 Prozent. [3][5]
  • Mehr allgemeines Humanvideomaterial senkte den Offline-Fehler bei der Aktionsvorhersage, belegt aber bislang keinen entsprechenden Anstieg realer Erfolgsraten. [5]
  • Die Autoren berichten zudem über Vorteile in Simulationen, doch dort dienten Videos eines anderen Robotertyps als Ersatz für menschliche Videos. [3][5]
Inhalt · 8 Abschnitte
  1. Der Datenengpass liegt nicht nur bei der Menge
  2. Warum eine gemeinsame Repräsentation nötig ist
  3. Sprache verbindet unabhängig aufgenommene Clips
  4. Wie aus Videoclips ein Trainingssignal für die Steuerung wird
  5. Zwei Wege, menschliche Videos einzusetzen
  6. Simulationsergebnisse und Reichweite des Vergleichs
  7. Was die Skalierungsbefunde noch nicht zeigen
  8. Bedeutung für Robotikteams und Unternehmen
  9. Quellen

Der Datenengpass liegt nicht nur bei der Menge

Robotikmodelle benötigen vielfältige Beispiele dafür, wie Aufgaben mit unterschiedlichen Objekten und in wechselnden Umgebungen ausgeführt werden. Solche Daten entstehen häufig durch Teleoperation: Menschen steuern Roboter und zeichnen deren Beobachtungen und Aktionen auf. Das ist aufwendig. Egozentrische Videos menschlicher Tätigkeiten könnten eine zusätzliche Datenquelle sein, enthalten aber weder die Steuerbefehle eines Roboters noch notwendigerweise eine passende Aufnahme derselben Aufgabe mit einem Roboter. [1][3]

SALA, ausgeschrieben „Semantically Aligned Latent Actions“, setzt an dieser Übertragungslücke an. Das Verfahren soll Videos von Menschen und Robotern verknüpfen, auch wenn sie nicht als zusammengehörige Demonstrationen aufgenommen wurden. Ein Preprint der Forschenden von Sharpa Robotics, der Shanghai Jiao Tong University und der Tsinghua-Universität beschreibt die Methode und berichtet über Tests in Simulationen sowie auf einem realen Roboter. [3]

Der zentrale Punkt ist nicht, menschliche Bewegungen direkt in Roboterbewegungen umzuwandeln. SALA sucht vielmehr nach einer gemeinsamen Beschreibung dessen, was in einem Clip geschieht. Die Autoren verwenden dafür kurze sprachliche Bezeichnungen einzelner Aktionen und bilden daraus Trainingssignale für die Repräsentationen der Videos. [1][3]

Benchmark-Vergleich

Erfolgsraten im RoboTwin-2.0-Simulationstest

Die Forschenden verglichen SALA mit Latent-Action- und World-Action-Modellen im simulierten RoboTwin 2.0.

RoboTwin 2.0 Simulation Skala 0–100 %

  1. SALA Im Fokus 64,4 %
  2. LingBot-VA 57,1 %
  3. RotVLA 51,2 %
  4. FastWAM 41,3 %
  5. UniVLA 27,1 %

Hinweis: Im Simulationsteil standen Videos eines anderen Robotertyps für menschliche Videos.

Quelle:[6] casrai.org

Stand 17.11.2026

Daten KI-gestützt aus den Quellen des Artikels übernommen.

Warum eine gemeinsame Repräsentation nötig ist

Latent-Action-Modelle komprimieren den Unterschied zwischen zwei Videobildern zu einer latenten Aktion: einer kompakten Repräsentation der beobachteten Veränderung. Diese Repräsentation kann als Trainingsziel dienen, wenn für ein Video keine Aktionsetiketten vorliegen. Anders als Verfahren, die zukünftige Videobilder ausdrücklich vorhersagen, müssen solche Modelle nicht für die Politiklernphase jedes Pixel der künftigen Szene erzeugen. Die Autoren führen dies als möglichen Effizienzvorteil an; konkrete allgemeine Kosteneinsparungen weist der bereitgestellte Text jedoch nicht nach. [1][3]

Eine reine Rekonstruktionsaufgabe legt nicht fest, welche Merkmale der latente Code bewahren soll. Er kann deshalb auch visuelle Eigenheiten einer Szene abbilden, statt vor allem die kontrollierbare Handlung. Eine menschliche Hand, die einen Becher greift, und ein Roboter, der eine ähnliche Greifaufgabe ausführt, können dann trotz ähnlicher Bedeutung weit auseinanderliegende Codes erhalten. Genau diese fehlende Verbindung zwischen Handlungsbedeutung und Repräsentation bezeichnet die Arbeit als Hindernis für den Transfer zwischen verschiedenen Körperformen und Steuerungen. [3]

Für Unternehmen ist diese Unterscheidung relevant: Mehr Videomaterial allein löst das Datenproblem nicht, wenn das Modell daraus überwiegend Hintergrund, Perspektive oder andere nicht steuerungsrelevante Unterschiede lernt. SALA versucht daher, die Struktur der latenten Repräsentation schon beim Training gezielt nach Aktionsbedeutung auszurichten. Das ist eine Schlussfolgerung aus dem beschriebenen Verfahren, kein allgemeiner Nachweis, dass sprachliche Ausrichtung für jeden Robotikdatensatz ausreicht. [3]

Sprache verbindet unabhängig aufgenommene Clips

Beim Aufbau des Tokenizers verarbeitet SALA Videoausschnitte von Menschen und Robotern mit gemeinsam genutzten Komponenten zur visuellen Kodierung, Quantisierung und Rekonstruktion. Bei Roboterclips kommt ein zusätzlicher Lernhinweis hinzu: Ein Aktionsdecoder soll aus der latenten Repräsentation und dem Ausgangszustand des Roboters die aufgezeichnete Aktion rekonstruieren. Dadurch werden die Roboterrepräsentationen an tatsächlich ausgeführte Steueraktionen gebunden. [3]

Für die semantische Verbindung nutzt das Verfahren sprachliche Beschreibungen der einzelnen Clips. Ein Textencoder vergleicht die Beschreibungen und erzeugt damit abgestufte Ähnlichkeiten zwischen menschlichen und robotischen Aktionen. Ein Clip muss folglich nicht genau einem Gegenstück entsprechen: Die sprachlich beschriebene Handlung eines Clips kann zu mehreren Roboterclips unterschiedlich gut passen. [3]

Diese Ähnlichkeiten dienen als Ziel für die Beziehungen im latenten Raum. Dabei bleiben die an Roboteraktionen gebundenen Repräsentationen als Anker bestehen; die Ausrichtung verändert die menschlichen latenten Aktionen in Richtung semantisch passender Roboterrepräsentationen. So soll verhindert werden, dass unbeaufsichtigte menschliche Videos die kontrollbezogene Struktur der Roboterseite verschieben. [3]

Für die graduellen Beziehungen setzt SALA SoftVQ ein. Im Unterschied zu einer harten Zuordnung zu jeweils einem einzelnen Codewort repräsentiert SoftVQ einen Token als Verteilung über mehrere Einträge eines Codebuchs. Die Autoren argumentieren, dass sich damit abgestufte Ähnlichkeiten besser abbilden lassen. Ihre Analyse berichtet, dass die Ausrichtungsverlustfunktion mit SoftVQ sinkt, während sie bei einer getesteten harten Quantisierung nahe ihrem Ausgangsniveau bleibt. [3]

Wie aus Videoclips ein Trainingssignal für die Steuerung wird

Nach dem Training erzeugt der eingefrorene Tokenizer latente Aktionsziele für menschliche und robotische Videoclips. Die Politik soll diese Ziele aus ihren Eingaben vorhersagen. Bei Roboterbeispielen kommt zusätzlich das Training der eigentlichen Aktionserzeugung hinzu; menschliche Videos können dagegen ohne Roboterzustand und aufgezeichnete Roboteraktion zur Vorhersage der latenten Ziele beitragen. [3]

Die beschriebene Politik kombiniert ein Vision-Language-Modell mit einem Aktionsmodell, das Aktionssequenzen mittels Flow Matching erzeugt. Die latente Aktionsvorhersage wird als zusätzliche Lernaufgabe in diese Architektur integriert. Für die Herstellung der Trainingsziele benötigt der Tokenizer jeweils ein Ausgangs- und ein späteres Bild des Clips. Laut Arbeit benötigt die Politik diese späteren Bilder bei der Ausführung nicht: Sie erhält aktuelle Beobachtungen und soll daraus Roboteraktionen erzeugen. [3]

Eine wichtige Einschränkung für die Datenerfassung bleibt bestehen. Sprachliche Beschreibungen atomarer Aktionen werden für das Training des Tokenizers benötigt, auch wenn die anschließende Politikvortrainierung nach Darstellung der Autoren keine solchen Beschreibungen voraussetzt. SALA beseitigt damit nicht jeden Beschriftungsaufwand, sondern verlagert ihn auf einen bestimmten Teil der Trainingspipeline. [3][5]

Zwei Wege, menschliche Videos einzusetzen

Die Arbeit unterscheidet zwei Skalierungsachsen. In der Vortrainierung kommen allgemeine menschliche Videos zum Einsatz, die unterschiedliche alltägliche Tätigkeiten abdecken. In der späteren, aufgabenspezifischen Trainingsphase werden Videos ergänzt, in denen Menschen die Zielaufgabe demonstrieren. Die latenten Aktionsziele sollen in beiden Fällen dieselbe Politik trainieren, die auch Roboteraktionen erzeugt. [1][3]

Auf einem realen Roboter mit 63 Freiheitsgraden untersuchten die Autoren die Vortrainierung mit bis zu 2.678 Stunden allgemeiner menschlicher Videos. Mit wachsender Videomenge ging der Fehler der Roboteraktionsvorhersage auf nachgelagerten Aufgaben zurück. Dieser Messwert stammt aus einer Offline-Auswertung auf zurückgehaltenen Demonstrationen; er misst nicht unmittelbar, ob der Roboter eine Aufgabe in der realen Welt erfolgreich beendet. [3][5]

Für das aufgabenspezifische Post-Training hielten die Autoren die teleoperierten Demonstrationen konstant und steigerten den Anteil menschlicher Demonstrationsvideos. Die durchschnittliche Erfolgsrate über vier reale Aufgaben stieg dabei von 53,75 Prozent bei einem Anteil von 10 Prozent auf 72,5 Prozent bei 100 Prozent. Die Arbeit berichtet in diesem Vergleich keinen Null-Prozent-Wert für menschliche Demonstrationen; der Anstieg belegt daher einen Unterschied zwischen den getesteten Datenmengen, aber keinen Vergleich mit einem vollständig menschvideo-freien Post-Training. [5]

Die vier Aufgaben waren Zahnradmontage, beidhändiges Umfüllen, das Einsetzen einer Blume und das Aufnehmen mit einem Löffel. Die Tests liefen auf einem Sharpa-North-Roboter mit zwei jeweils 22-freiheitsgradigen Geschicklichkeitshänden. Die Ergebnisse zeigen damit, dass die Methode auf dieser Plattform in mehreren Manipulationsaufgaben untersucht wurde; sie belegen keine Übertragbarkeit auf beliebige Robotertypen oder Einsatzbereiche. [3][5]

Simulationsergebnisse und Reichweite des Vergleichs

Zusätzlich testeten die Autoren SALA im Benchmark RoboTwin 2.0. In diesem Teil der Untersuchung standen Videos eines anderen Robotertyps für die Rolle menschlicher Videos. Der Simulationstest prüft somit die Übertragung zwischen verschiedenen Roboterkörpern, nicht unmittelbar den Transfer von Menschen auf Roboter. Diese Differenz ist wichtig, wenn die Simulationsergebnisse auf den Einsatz menschlicher Videos bezogen werden. [3][5]

Die Arbeit berichtet über 50 Aufgaben und vergleicht SALA mit früheren Latent-Action- und World-Action-Modellen. Besonders in Umgebungen mit zufällig veränderten visuellen Merkmalen fiel der Vorteil gegenüber einigen verglichenen Verfahren größer aus. Als Ablation nennt die Paper-Zusammenfassung 80,2 Prozent Erfolg in unveränderten Szenen und 48,6 Prozent in randomisierten Szenen für SALA; ohne die sprachliche Ausrichtung lagen die berichteten Werte bei 75,5 beziehungsweise 36,8 Prozent. Diese Ergebnisse stützen die Bedeutung des Ausrichtungsschritts in diesem Versuchsaufbau, nicht aber eine allgemeine Überlegenheit in sämtlichen Robotikbenchmarks. [3][5]

Der Befund passt zur technischen Motivation des Verfahrens: Wenn visuelle Erscheinung und Handlung auseinandergehalten werden, kann eine Änderung von Textur oder Hintergrund weniger stark auf die gelernte Aktionsrepräsentation durchschlagen. Er beweist jedoch nicht, dass SALA mit jeder Form von Umgebungswechsel robust bleibt. Die vorliegenden Zahlen beziehen sich auf die getestete Simulationsumgebung und deren definierte Randomisierung. [3][5]

Was die Skalierungsbefunde noch nicht zeigen

Die beiden Skalierungsachsen sind unterschiedlich stark belegt. Beim allgemeinen Vortraining ist die zentrale Evidenz ein sinkender Offline-Fehler der Aktionsvorhersage. Eine kleinere Vorhersageabweichung kann für die Entwicklung einer Politik nützlich sein, ist aber kein Ersatz für gemessene Aufgaben-Erfolgsraten. Die Zusammenfassung der Arbeit weist außerdem darauf hin, dass pro getesteter Vortrainierungsstufe nur ein Lauf ausgewertet wurde. [5]

Damit bleibt offen, ob der Trend bei deutlich mehr als 2.678 Stunden weiter anhält und ob er sich in messbar höheren realen Erfolgsraten niederschlägt. Auch aus dem Post-Training lässt sich keine allgemeine Kostenersparnis ableiten: Die Studie zeigt einen Erfolgssprung bei unterschiedlichen Anteilen menschlicher Demonstrationen, liefert in den bereitgestellten Angaben aber keine umfassende Rechnung zu Aufzeichnungs-, Beschriftungs-, Rechen- oder Integrationsaufwand. [3][5]

Zudem beruht die Ausrichtung auf den Roboterrepräsentationen, die durch Roboteraktionsdaten verankert werden. Daraus folgt als methodische Grenze, dass menschliche Videos nicht unabhängig von der Qualität und Abdeckung dieser Roboteranker betrachtet werden können. Der Preprint zeigt, wie menschliches Videomaterial zusätzliche Trainingssignale liefern kann; er zeigt nicht, dass es die Notwendigkeit robotischer Daten vollständig ersetzt. [3]

Die Ergebnisse sind als Forschungsbefunde aus einem Preprint zu lesen. Die bereitgestellten Quellen enthalten keine unabhängige Replikation der Experimente. Die Zahlen dokumentieren daher zunächst, was die Autorengruppe für ihre konkreten Modelle, Daten und Testbedingungen berichtet. [3][5]

Bedeutung für Robotikteams und Unternehmen

Für Organisationen, die Roboterpolitiksysteme entwickeln, verschiebt SALA die praktische Frage von „Wie sammeln wir noch mehr Roboterdemonstrationen?“ zu „Welche zusätzlichen Videos können wir sinnvoll in dasselbe Trainingssystem integrieren?“. Der Ansatz liefert dafür ein konkretes Rezept: Roboteraktionen verankern die latente Repräsentation in der Steuerung, Sprachbeschreibungen verbinden unpaarige Clips, und die Politik lernt aus beiden Datenarten gemeinsame latente Ziele. [3]

Das könnte für Teams interessant sein, die bereits über umfangreiche Videoarchive verfügen oder neue Demonstrationen ohne Teleoperation aufnehmen können. Die Ergebnisse rechtfertigen aber nicht, solche Aufnahmen unmittelbar als gleichwertigen Ersatz für Robotertrajektorien zu behandeln. Für einen belastbaren Praxistest müssten Unternehmen unter anderem den nötigen Beschriftungsaufwand für den Tokenizer, die Abdeckung der robotischen Ankerdaten und reale Erfolgsraten auf den eigenen Aufgaben erfassen. Diese Punkte sind eine Analyse der im Preprint beschriebenen Abhängigkeiten und Messgrenzen. [3][5]

Der wichtigste technische Beitrag liegt damit weniger in einer behaupteten universellen Skalierung als in einer überprüfbaren Architekturidee: semantische Beziehungen zwischen Aktionen können als Trainingssignal dienen, um menschliche und robotische Videos ohne exakte Paarung in einem gemeinsamen Aktionsraum nutzbar zu machen. Ob sich daraus für ein konkretes Unternehmen ein wirtschaftlicher Vorteil ergibt, hängt von Datenqualität, Annotation, Robotikplattform und Aufgabenprofil ab. Die vorliegenden Experimente liefern dafür erste Hinweise, aber noch keine allgemeine Einsatzbilanz. [1][3][5]

Quellen

  1. [1] Paper page - SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models — https://huggingface.co/papers/2611.17110 (abgerufen am 2026-11-17)
  2. [3] SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models — https://arxiv.org/html/2611.17110 (abgerufen am 2026-11-17)
  3. [5] SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models | alphaXiv — https://www.alphaxiv.org/abs/2611.17110 (abgerufen am 2026-11-17)

Nächster Artikel

Robotik

Ropedia verknüpft 3D-Szenen mit menschlichen Bewegungsdaten für Robotik

Ropedia verbindet 3D-Scans und Ego-Aufnahmen mit Robotiktrajektorien. Das Dataset setzt auf Skalierung, doch zentrale Fragen zu Evaluation und Zugriff bleiben offen. [S1]

Artikel teilen

Bei Google bevorzugen

Mehr zu Robotik & Humanoide

Alle Robotik-News

Dranbleiben

Mindverse News folgen

Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.

Recherchieren Sie KI-News wie diese selbst – mit Mindverse Studio.

7 Tage kostenlos testen – ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.

Chronik

Rund um den 17. November 2026

Alle Meldungen vom November 2026