BridgeWAM soll Robotersteuerung mit einem kompakten Video-Action-Übergang beschleunigen

Ein kompakter Übergang zwischen Wahrnehmung und Aktion

BridgeWAM ist ein World Action Model (WAM), das visuelle Beobachtungen, eine Sprachinstruktion und den propriozeptiven Zustand eines Roboters für die Vorhersage von Aktionen nutzt. Anders als ein reines Aktionsmodell soll ein WAM zugleich Informationen über visuelle Veränderungen und physische Interaktionen abbilden. Die Autoren ordnen BridgeWAM in diese Modellklasse ein und stellen die Verbindung zwischen Video- und Aktionsverarbeitung in den Mittelpunkt ihrer Arbeit. [2][4]

Der technische Vorschlag trägt den Namen Bridge-of-Experts. Statt Video- und Aktionsmerkmale in jeder Modellschicht dicht miteinander zu verschränken, vermittelt eine begrenzte Menge lernbarer Latent Bridge Queries (LBQs) zwischen zwei Experten. Das konkrete Modell verwendet 32 solcher Abfragen. [1][2][4]

Die Arbeit ist auf arXiv als Version 1 verzeichnet, eingereicht am 10. Oktober 2026. Die Hugging-Face-Seite zeigt zugleich „Published on Oct 9“ und nennt eine Einreichung auf der Seite am 19. Oktober; die vorliegenden Angaben lösen diese Datumsabweichung nicht auf. [1][2]

• Modellumfang: 5,06 Milliarden Parameter laut Abstract. [1][2]
• Architektur: ein 30-schichtiger Video-Experte und ein zweischichtiger Aktions-Experte. [2][4]
• Gemeldete Ergebnisse: 98,25 Prozent Erfolg auf LIBERO und 72,24 Prozent gepoolter Erfolg auf LIBERO-Plus. [2]

Das Problem, das die Autoren adressieren

In den von den Autoren beschriebenen Mixture-of-Transformers-Architekturen (MoT) tauschen Video- und Aktionszweig aufeinander abgestimmte Schichten direkt Schlüssel- und Wertmerkmale aus. Nach ihrer Diagnose kann die Aktion dadurch mit visuellen Details konkurrieren, die für die konkrete Aufgabe nicht relevant sind; zugleich bindet die schichtweise Kopplung die Tiefe der beiden Experten aneinander. Das sind die von den Forschenden formulierten Schwächen bestehender Entwürfe, keine unabhängig bestätigte Erklärung für deren Verhalten. [2][4]

BridgeWAM soll diese Übergabe begrenzen: Die Videoverarbeitung stellt der Aktionsverarbeitung einen kompakten Merkmalsraum bereit, aus dem diese gezielt Informationen abrufen kann. Die Architektur soll so die Video-Repräsentation erhalten, während der Aktionszweig weniger Schichten benötigt. [2][4]

Wie die latente Brücke arbeitet

Die LBQs liegen innerhalb des Video-Experten. Während der Verarbeitung nehmen sie Merkmale aus der aktuellen visuellen Beobachtung sowie Kontext aus Sprache und propriozeptivem Zustand auf. Sie bilden damit eine feste Anzahl von Repräsentationen, über die die Aktionsverarbeitung an die benötigten Informationen gelangt, statt direkt sämtliche dichten Videomerkmale zu übernehmen. [2][4]

Der Übergang wird gemeinsam mit beiden Modellzweigen trainiert. Nach der Beschreibung im Paper fließen Gradienten aus dem Aktionsziel über die LBQs zurück in den Video-Experten. Damit soll auch die visuelle Repräsentation auf Informationen ausgerichtet werden, die für die Aktionsvorhersage nützlich sind. Zusätzlich trainieren die Autoren das Modell mit einer Video-Vorhersageaufgabe; im Paper sind Video- und Aktionsverluste gleich gewichtet. [2][4]

Für die eigentliche Aktionsvorhersage liest der Aktions-Experte die LBQs per Cross-Attention aus. Selbstaufmerksamkeit innerhalb des Aktionszweigs koordiniert die einzelnen Schritte eines Aktionsabschnitts. Der Aktions-Experte ist dafür als zweischichtiges Modul mit abwechselnder Cross- und Self-Attention ausgelegt. [4]

Eine wichtige Trennung zwischen Training und Betrieb: Künftige Videobilder dienen der Video-Vorhersage während des Trainings, werden laut Paper bei der Inferenz aber weder als Eingabe für die Brücke benötigt noch dort erzeugt. Die LBQs werden aus dem aktuellen Kontext berechnet und während der Aktions-Entrauschung wiederverwendet. Der Aktionszweig kann dadurch auf die aktuelle Beobachtung konditionieren, ohne in jedem Entrauschungsschritt erneut dichte Videomerkmale zu verarbeiten. [3][4]

• Die Brücke ist eine gemeinsam gelernte Schnittstelle, nicht lediglich eine nachträgliche Kompression eines unveränderten Videomodells. [2][4]
• Die Autoren führen die Unabhängigkeit der Expertentiefe als Architekturvorteil an: Der Videozweig kann tief bleiben, während der Aktionszweig kurz ist. [2][4]

Warum ein kurzer Aktionszweig relevant sein könnte

Für Unternehmen, die Robotikmodelle unter zeitlichen oder rechnerischen Vorgaben betreiben, ist nicht allein die Gesamtparameterzahl entscheidend: Auch wiederholte Berechnungen während der Aktionsgenerierung können Laufzeit und Rechenaufwand beeinflussen. Das ist eine technische Einordnung der im Paper beschriebenen Architektur, kein Nachweis, dass BridgeWAM in beliebiger Hardwareumgebung einen bestimmten Betriebsvorteil erzielt. [2][4]

Die Autoren nutzen eine 30-schichtige visuelle Komponente und einen zweischichtigen Aktionskopf. Daraus lässt sich analytisch ein Ansatz für eine effizientere Aktionsinferenz ableiten; ob das für eine konkrete Anwendung genügt, hängt jedoch auch von Vor- und Nachverarbeitung, Sensorik, Steuerungsfrequenz und eingesetzter Hardware ab. Die bereitgestellten Messwerte decken diese Faktoren nicht durchgängig ab. [3][4]

Benchmarkwerte und ihre Aussagekraft

Auf LIBERO berichten die Autoren eine Erfolgsrate von 98,25 Prozent. Für LIBERO-Plus nennen sie 72,24 Prozent gepoolten Erfolg. LIBERO-Plus prüft laut der Paper-Darstellung die Übertragung auf veränderte Bedingungen; berücksichtigt werden vier LIBERO-Suiten und sieben Arten von Störungen, darunter Änderungen an Kameraperspektive, Roboter-Ausgangszustand, Instruktion, Beleuchtung, Hintergrund, Sensorauschen und Objektanordnung. [2][3]

Der gepoolte Wert entspricht in der beschriebenen Auswertung 7.246 erfolgreichen Episoden von 10.030 Aufgabenvarianten, mit jeweils einer Episode pro Variante. Er ist damit kein ungewichteter Mittelwert über alle Kategorien. Der Gesamtwert fasst unterschiedliche Störungen zusammen und kann erhebliche Unterschiede zwischen ihnen verdecken. [3]

In der Vergleichstabelle der Arbeit liegt BridgeWAM auf LIBERO-Plus mit rund 72,2 Prozent unter Faster-WAM mit 73,6 Prozent. Gegenüber Fast-WAM weist die Auswertung für denselben Benchmark einen Wert von 49,54 Prozent aus. Die Autoren führen als mögliche Erklärung für Faster-WAM dessen zukunftsgerichtete Konditionierung an, betonen aber, dass der Vergleich diesen Einfluss nicht isoliert. Die Ergebnisse belegen daher keinen generellen Vorrang von BridgeWAM gegenüber allen WAM-Architekturen. [3]

Auch innerhalb der eigenen Auswertung fallen schwächere Fälle auf: Bei der höchsten angegebenen Schwierigkeitsstufe berichtet das Paper 30,14 Prozent Erfolg unter Hintergrundtextur-Veränderungen und 30,48 Prozent bei verändertem Roboter-Ausgangszustand. Für eine betriebliche Bewertung sind solche Teilwerte wichtig, wenn die Einsatzumgebung genau diese Abweichungen enthält. [3]

• Austausch der speziellen Cross-Attention-Auslese gegen eine MoT-ähnliche Auslese: 60,48 Prozent auf LIBERO-Plus statt 72,24 Prozent für BridgeWAM. [3]
• Eine Variante mit eingefrorenem, zuvor mit Fast-WAM trainiertem Video-Experten erreicht laut Ablation 25,48 Prozent. [3]
• Die Ablationen stützen die Bedeutung der gemeinsamen Anpassung und der LBQ-Auslese in diesen Tests, beweisen aber nicht, dass sie allein die Leistungsunterschiede verursachen. [3]

Was die Ablationen zeigen – und was nicht

Die Ablation mit einer MoT-ähnlichen Auslese spricht dafür, dass die konkrete Art des Informationsabrufs im getesteten Modell einen messbaren Unterschied macht. Der starke Rückgang der eingefrorenen Video-Variante ist mit der These vereinbar, dass die gemeinsame Optimierung die Video-Repräsentation für Aktionen nützlicher macht. [3]

Solche Ablationen sind jedoch Vergleiche innerhalb eines Forschungsaufbaus. Sie schließen nicht aus, dass weitere Unterschiede bei Training, Daten oder Modellkonfiguration zu den Ergebnissen beitragen. Die Autoren selbst prüfen damit bestimmte Designentscheidungen; eine allgemeine Kausalerklärung für Robustheit oder Leistung ergibt sich daraus nicht. [3][4]

Roboterversuche und Inferenzzeit

Die Autoren berichten außerdem Tests an einem realen Roboter. Die aufgeführten Aufgaben umfassen das Schließen eines Laptops sowie das Greifen und Platzieren eines Getränks, eines Stifts und einer Maus, jeweils auch unter veränderten Objekt- oder Szenenbedingungen. Für BridgeWAM nennen sie einen stufenbasierten Gesamtwert von 68,92, gegenüber 59,83 für Fast-WAM und 68,50 für π0.5. Der Wert zählt absolvierte Aufgabenstufen und ist nicht gleichbedeutend mit dem Anteil vollständig erfolgreicher Versuche. [3]

Für die Modell-Inferenzzeit im Robotikversuch gibt die Darstellung 77,1 Millisekunden für BridgeWAM und 190,3 Millisekunden für Fast-WAM an; für π0.5 werden 79,6 Millisekunden genannt. Daraus ergibt sich im Vergleich zu Fast-WAM die berichtete Beschleunigung um den Faktor 2,47. Die Zahl beschreibt die Inferenzzeit des Modells, nicht die vollständige Latenz vom Sensor bis zur ausgeführten Roboterbewegung. [1][3]

Ein separates Simulationsprofil vergleicht BridgeWAM und Fast-WAM unter festgelegten Bedingungen: H20Z-GPUs, bfloat16, derselbe gecachte LIBERO-Eingang, ein Aktionshorizont von 32 Schritten und zehn Entrauschungsschritte. Dafür nennt die Paper-Darstellung 1,460 Billionen FLOPs und 88,05 Millisekunden für BridgeWAM, gegenüber 2,048 Billionen FLOPs und 405,91 Millisekunden für Fast-WAM. Der FLOP-Vergleich entspricht der im Abstract genannten Reduktion um 28,72 Prozent. [1][3]

Die Simulationszeiten erfassen laut Auswertung nur den Modellkern. Vorverarbeitung, VAE- und Textkodierung sowie Nachverarbeitung sind ausgeschlossen; die FLOP-Zählung schließt dagegen Konditionierung und alle Aktions-Entrauschungsschritte ein. Die Simulations- und Robotikwerte messen somit unterschiedliche Abläufe und sollten nicht zu einer einzigen End-to-End-Latenz verrechnet werden. [3]

• Die berichtete reale Robotik-Latenz ist eine Modellmessung, keine vollständige Messung der Regelkreiszeit. [3]
• Der FLOP-Vorteil wird in einem bestimmten Simulationsprofil ermittelt; er lässt sich nicht ohne weitere Messungen auf andere Hardware oder Einsatzbedingungen übertragen. [3]

Bedeutung für den Einsatz in Unternehmen

Analytisch ist die Trennung zwischen Simulationsprofil und realer Robotik besonders relevant für die Beschaffung und Integration: Eine kürzere Modellinferenz kann helfen, einen Steuerungszyklus einzuhalten, belegt aber allein weder eine höhere produktive Durchsatzrate noch eine sichere oder robuste Gesamtsteuerung. Die vorliegenden Zahlen erlauben keine Aussage über Netzwerklatenz, Sensorverarbeitung oder die Reaktionszeit des gesamten Systems. [3]

Für einen Pilotbetrieb wäre deshalb nicht nur der Mittelwert über Benchmark-Aufgaben entscheidend. Zu prüfen wären insbesondere die Störfälle, die dem tatsächlichen Standort ähneln, sowie eine durchgängige Messung vom Eingangssignal bis zur Roboteraktion. Das ist eine aus den begrenzten Messumfängen abgeleitete Evaluationsanforderung, keine von den Autoren berichtete Produkteigenschaft. [3]

Einordnung: Forschungsresultat, kein Produktnachweis

Die Ergebnisse stammen aus der von den Autoren eingereichten Arbeit und deren Benchmark- und Robotikversuchen. Die verfügbaren Quellen enthalten keine unabhängige Replikation der Erfolgsraten oder Latenzmessungen. Entsprechend sind die Zahlen als berichtete Resultate des Forschungsteams zu lesen, nicht als unabhängig bestätigte Leistungswerte. [1][2][3][4]

Die Arbeit liefert einen konkreten Architekturvorschlag für ein bekanntes Spannungsfeld: Visuelle Repräsentationen sollen reichhaltig bleiben, während die Aktionsvorhersage gezielter und mit weniger Rechenaufwand auf relevante Informationen zugreift. Die gemeldeten Ablationen und Laufzeitprofile machen den Ansatz prüfenswert, doch die Resultate weisen zugleich auf Grenzen hin: BridgeWAM führt LIBERO-Plus nicht an, und einzelne Störungskategorien erzielen deutlich niedrigere Erfolgsraten als der gepoolte Wert. [2][3][4]

Für Unternehmen ist die zentrale Frage daher weniger, ob 32 Queries pauschal eine bessere Robotersteuerung garantieren, sondern ob ein kompakter, gemeinsam trainierter Übergang in der eigenen Aufgabenverteilung einen messbaren Vorteil bringt. Das lässt sich aus der Studie allein nicht beantworten. Sie beschreibt ein Forschungsmodell und ausgewählte Tests; belastbare Aussagen zu produktivem Betrieb, Skalierung auf andere Roboter oder Einsatzkosten gehen aus den vorliegenden Quellen nicht hervor. [2][3][4]

• Die Arbeit belegt eine untersuchte Architektur und berichtete Experimente, aber keine allgemeine Übertragbarkeit auf beliebige Roboter oder Betriebsumgebungen. [2][3][4]
• Ein belastbarer Unternehmensvergleich müsste die Gesamtpipeline, die konkret relevanten Störungen und die Leistung auf der vorgesehenen Hardware messen. [3]

Quellen

1. [1] Paper page - BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries — https://huggingface.co/papers/2610.14746 (abgerufen am 2026-10-19)
2. [2] [2610.14746] BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries — https://arxiv.org/abs/2610.14746 (abgerufen am 2026-10-19)
3. [3] BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries | alphaXiv — https://www.alphaxiv.org/abs/2610.14746 (abgerufen am 2026-10-19)
4. [4] BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries — https://arxiv.org/html/2610.14746v1 (abgerufen am 2026-10-19)