Asynchrone Inferenz in der Robotik: Verbesserung von Handlungsprädiktion und Ausführung

Asynchrone Inferenz in der Robotik: Optimierung von Handlungsprädiktion und -ausführung

Moderne Roboterrichtlinien werden zunehmend komplexer und prädizieren oft ganze Sequenzen von Aktionen, anstatt nur die jeweils nächste einzelne Handlung. Dies führt dazu, dass der Roboter untätig auf die nächste Aktionsfolge wartet, was zu spürbaren Verzögerungen in der Ausführung und mangelnder Reaktionsfähigkeit führt. Asynchrone Inferenz verbessert die Steuerung, indem sie die Handlungsprädiktion von der Ausführung entkoppelt, Verzögerungen minimiert und eine adaptivere Steuerung ermöglicht.

Herausforderungen sequentieller Inferenz

Bei der sequentiellen Inferenz berechnet eine Richtlinie π anhand der aktuellen Beobachtung o_t eine Folge von H zukünftigen Aktionen A_t = (a_t, a_t+1, … a_t+H) = π(o_t). Der Roboter führt diese Aktionen nacheinander aus und wartet anschließend auf die Berechnung der nächsten Sequenz. Während der Berechnung ist der Roboter inaktiv. Diese Latenzzeit wächst mit der Modellgröße und kann die Interaktionszeit dominieren, was zu verlängerten Ausführungszeiten und verminderter Reaktionsfähigkeit führt.

Das Prinzip der asynchronen Inferenz

Asynchrone Inferenz überlagert Berechnung und Ausführung: Der Roboter-Client streamt die neueste Beobachtung an den Richtlinien-Server. Während der Server die Inferenz durchführt, führt der Client die aktuelle Aktionsfolge aus. Neue Aktionen treffen ein, werden in die Warteschlange eingefügt, und der Zyklus wiederholt sich. Der Roboter weiß somit immer, was in den nächsten Schritten zu tun ist und muss nicht auf die Berechnung warten.

Systemarchitektur

Das System besteht aus zwei Komponenten:

Einem Richtlinien-Server (PolicyServer), der auf leistungsstarker Hardware läuft und die Inferenz mit mehr Rechenressourcen durchführt. Einem Roboter-Client (RobotClient), der die empfangenen Aktionen in eine Warteschlange stellt und ausführt, während die nächste Aktionsfolge berechnet wird.

Die Kommunikation zwischen Server und Client erfolgt über gRPC, was eine schnellere Performance als vergleichbare REST-APIs gewährleistet.

Funktionsweise des RobotClient

Der RobotClient überwacht die Länge seiner Aktionswarteschlange. Fällt diese unter einen Schwellenwert, wird eine neue Beobachtung an den Server gesendet. Eingehende Aktionsfolgen werden mit den verbleibenden Aktionen in der Warteschlange zusammengeführt. Für überlappende Abschnitte gibt es verschiedene Aggregationsstrategien, z. B. das Ersetzen alter Aktionen durch neue oder eine gewichtete Mischung.

Funktionsweise des PolicyServer

Der PolicyServer bereitet die empfangenen Beobachtungen für die Inferenz vor. Um unnötige Berechnungen zu vermeiden, vergleicht er die neue Beobachtung mit der letzten. Nur bei ausreichender Differenz wird eine neue Inferenz durchgeführt. Der Client behält die Kontrolle darüber, ob eine Beobachtung zwingend verarbeitet werden muss, um Deadlocks zu vermeiden.

Analyse der asynchronen Inferenz

Zwei Zeitskalen sind entscheidend: die Umgebungsschrittzeit (environment_dt) und die Inferenzlatenz (inference_time). Das Verhältnis c = environment_dt / inference_time beeinflusst das Systemverhalten. Ist c << 1, leert sich die Warteschlange schnell, und das System verhält sich wie bei sequentieller Steuerung. Ist c ≥ 1, hält der Server Schritt, und die Warteschlange ist nahezu immer gefüllt.

Anwendung der asynchronen Inferenz

Asynchrone Inferenz kann die Leistung von Roboterrichtlinien deutlich verbessern. Experimente zeigen eine etwa zweifache Beschleunigung der Aufgabenerledigung bei vergleichbarer Erfolgsquote.

Schlussfolgerung

Asynchrone Inferenz bietet eine effiziente Methode zur Optimierung der Robotersteuerung. Durch die Entkopplung von Handlungsprädiktion und -ausführung werden Verzögerungen minimiert und eine adaptivere Steuerung ermöglicht. Die Methode lässt sich flexibel an verschiedene Anforderungen anpassen und trägt zur Verbesserung der Leistung von Robotersystemen bei.

Bibliographie: https://huggingface.co/blog/async-robot-inference https://arxiv.org/abs/2506.01844 https://arxiv.org/pdf/2506.01844 https://huggingface.co/blog/smolvla https://www.perplexity.ai/page/hugging-face-unveils-robotics-ZhA_lFFoSfKlVHFG5Moxiw https://github.com/huggingface/lerobot/issues/1223 https://www.researchgate.net/scientific-contributions/Andres-Marafioti-2290620207 https://www.sciencedirect.com/science/article/pii/S0262885625000319 https://www.cs.cmu.edu/~reids/papers/tca-ambler.pdf https://dl.acm.org/doi/abs/10.1023/A%3A1008817110013