Neuer integrierter Workflow für die Robotikentwicklung von Hugging Face

Die Entwicklung im Bereich der Robotik schreitet mit hoher Geschwindigkeit voran. Ein zentrales Thema ist dabei die Effizienz der Datenverarbeitung – von der Erfassung über das Training bis zur Bereitstellung von Roboterrichtlinien. Hugging Face hat in Zusammenarbeit mit Strands Agents und LeRobot eine integrierte Lösung vorgestellt, die diesen Prozess optimieren soll. Diese Initiative zielt darauf ab, die fragmentierte Landschaft der Robotikentwicklung zu überwinden und einen nahtlosen Arbeitsablauf zu etablieren.

Integration von Strands Agents, LeRobot und Hugging Face Storage Buckets

Die Kernidee hinter dieser Entwicklung ist die Schaffung eines geschlossenen Kreislaufs, der es Robotik-Teams ermöglicht, alle Phasen der Modellentwicklung an einem Ort zu verwalten. Traditionell erfordert dieser Prozess mehrere separate Tools für die Datenerfassung, das Training, die Simulation und die Bereitstellung auf Hardware. Diese Fragmentierung führt oft zu Mehraufwand und Ineffizienzen.

Strands Robots SDK als zentrale Schnittstelle

Das Strands Robots SDK, eine Open-Source-Lösung von AWS, dient als Fundament dieser Integration. Es stellt Roboter-Abstraktionen, Simulationen und den LeRobot-Stack als AgentTools bereit. Diese Tools können in einem einzigen Strands Agenten kombiniert werden, um komplexe Roboter-Workflows zu steuern. Dies ermöglicht die Koordination von Aufgaben, das Aufzeichnen von Demonstrationen und Sensordaten sowie das Training und die Bereitstellung von Modellen innerhalb einer kohärenten Umgebung.

LeRobot-Format für konsistente Datenhaltung

Ein wesentlicher Bestandteil des Workflows ist die Verwendung des LeRobot-Datensatzformats. Dieses Format wird bereits von einer großen Anzahl von Datensätzen und Modellen auf dem Hugging Face Hub genutzt. Durch die Beibehaltung dieses Formats über den gesamten Lebenszyklus der Daten – von der Aufzeichnung bis zum Training – entfällt die Notwendigkeit von Datenkonvertierungen, was die Kompatibilität und Effizienz erhöht.

Hugging Face Storage Buckets für optimierte Speicherung und Streaming

Eine Schlüsselkomponente für die Effizienz des Workflows sind die Hugging Face Storage Buckets. Diese Buckets bieten eine mutable, nicht-versionierte und Xet-gestützte Objektspeicherung. Dies ermöglicht eine Byte-Level-Deduplizierung bei Uploads, was die Menge der übertragenen Daten erheblich reduziert. Für Robotik-Anwendungen, bei denen große Mengen ähnlicher Daten (z.B. Kamerabilder) erfasst werden, kann dies zu erheblichen Einsparungen bei Bandbreite und Speicherkosten führen.

Ein weiterer Vorteil der Storage Buckets ist die Möglichkeit des direkten Streamings von Datensätzen zum Training. Anstatt gesamte Datensätze herunterladen zu müssen, was insbesondere bei großen Datenmengen zeitaufwendig ist und GPUs untätig lässt, können die Trainings-GPUs die Daten direkt vom Hub streamen. Dies beschleunigt den Trainingsprozess und optimiert die Ressourcennutzung.

Der integrierte Workflow im Detail

Der vorgestellte Workflow gliedert sich in vier Hauptphasen, die alle über die gleiche Schnittstelle zugänglich sind:

1. Datenerfassung und Synchronisation

Der Prozess beginnt mit der Aufzeichnung von Roboterdemonstrationen. Ein Strands Agent kann so konfiguriert werden, dass er eine LeRobotDataset aus einer natürlichen Sprachaufforderung erstellt. Diese Daten, die kontinuierliche Streams von Kamerabildern und Gelenkzustands-Telemetrie umfassen, werden lokal im LeRobot-Format gespeichert. Anschließend können diese Datensätze mithilfe der sync_dataset_to_bucket()-Funktion oder über die CLI in die Hugging Face Storage Buckets synchronisiert werden. Die Synchronisation ist vom Aufzeichnungsprozess entkoppelt, was Flexibilität in der Datenverwaltung bietet.

Die Byte-Level-Deduplizierung durch Xet ist hier besonders vorteilhaft. Wenn über Stunden hinweg ähnliche Szenen aufgezeichnet werden, werden nur die tatsächlich neuen oder geänderten Bytes übertragen, was die Effizienz der Datenübertragung maximiert.

2. Training durch Streaming vom Hub

Sobald die Daten in den Storage Buckets liegen, können sie für das Training von Roboterrichtlinien genutzt werden. Anstatt die Datensätze vollständig herunterzuladen, was bei großen Datenmengen Stunden dauern kann, ermöglicht der Workflow das Streaming der Daten direkt vom Hub. LeRobot's StreamingLeRobotDataset wandelt die Daten in ein Drop-in-Torch-Iterable um, das von Strands Robots über stream_dataset() zugänglich gemacht wird.

Dies bedeutet, dass Trainings-GPUs sofort mit der Verarbeitung der Daten beginnen können, ohne auf den Abschluss umfangreicher Downloads warten zu müssen. Kameraframes werden on-the-fly von den MP4-Shards dekodiert, während Zustands- und Aktionsdaten aus den Parquet-Shards stammen. Diese Architektur ist besonders vorteilhaft für den Einsatz in Edge-Geräten, da sie den lokalen Speicherbedarf minimiert.

3. Bereitstellung von trainierten Modellen

Nach dem Training kann das resultierende Modell oder der Checkpoint auf physischer Roboterhardware bereitgestellt werden. Der Workflow ermöglicht die Bereitstellung des gleichen Agenten-Codes, der für die Aufzeichnung verwendet wurde, mit einer einfachen Änderung des Modus auf "real". Dies gewährleistet eine konsistente Umgebung von der Entwicklung bis zum Einsatz.

4. Rückführung der Daten in den Kreislauf

Die auf der physischen Hardware gesammelten neuen Demonstrationen werden wiederum im LeRobot-Format auf der Festplatte gespeichert und können in denselben Storage Bucket zurücksynchronisiert werden. Dies schließt den Kreislauf und ermöglicht eine kontinuierliche Verbesserung der Roboterrichtlinien durch iteratives Sammeln, Trainieren und Bereitstellen.

Sicherheitsaspekte

Die Arbeit mit realen Daten und physischer Hardware erfordert eine sorgfältige Betrachtung von Sicherheitsaspekten:

• Prompt Injection: Die Verwendung von unvertrauenswürdigen Daten in Agenten-Prompts kann zu unerwünschten Verhaltensweisen führen. Es wird empfohlen, nur vertrauenswürdige Quellen zu verwenden und die Tools des Agenten einzuschränken, um sicherheitskritische Aktionen zu verhindern.
• Trainingsdaten als Vertrauensgrenze: Da ein Agent in den Collection-Bucket schreiben kann, ist es wichtig, die Zugangsdaten für die Datenerfassung von denen für das Training zu trennen. Jeder Lauf sollte eine eindeutige run_id erhalten, um die Nachverfolgbarkeit zu gewährleisten.
• Bucket-Berechtigungen: Es wird empfohlen, Token mit eingeschränkten Berechtigungen zu verwenden und private Buckets für sensible Daten zu bevorzugen.
• Keine Revisionshistorie in Buckets: Storage Buckets überschreiben Daten an Ort und Stelle und behalten keine Revisionen. Für versionierte und auditierbare Artefakte sollte ein versioniertes Datensatz-Repository verwendet werden.
• Vertrauenswürdige Hugging Face Organisationen: Beim Laden von Modellen mit trust_remote_code=True ist es entscheidend, nur Checkpoints von vertrauenswürdigen Organisationen zu verwenden, um die Ausführung von willkürlichem Code zu vermeiden.

Fazit

Die Integration von Strands Agents, LeRobot und Hugging Face Storage Buckets stellt einen signifikanten Schritt zur Optimierung der Robotikentwicklung dar. Durch die Schaffung eines einheitlichen, effizienten und sicherheitsbewussten Workflows können Unternehmen den Prozess der Datenerfassung, des Modelltrainings und der Bereitstellung erheblich beschleunigen. Die Möglichkeit des Streamings und der Byte-Level-Deduplizierung adressiert dabei zentrale Herausforderungen im Umgang mit großen Datenmengen in der Robotik. Dies ermöglicht eine schnellere Iteration und verbesserte Roboterfähigkeiten, indem der Fokus von der Werkzeugintegration auf die eigentliche Problemlösung verlagert wird.

Bibliografie

- From the Hugging Face Hub to robot hardware with Strands Agents and LeRobot. (2026, June 18). Hugging Face Blog. - examples/lerobot/hub_to_hardware.py. (n.d.). GitHub. - strands-labs/robots. (n.d.). GitHub. - 7c433b9 feat(datasets): streaming read-back + HF Storage Bucket sync (physical-AI data loop). (n.d.). GitHub. - Record, Train, And Deploy From One Place With Strands Agents, LeRobot, And Hugging Face Storage Buckets. (2026, August 13). Deep Intellica. - examples/06_agent_collect_and_stream.py. (n.d.). GitHub. - Building intelligent physical AI: From edge to cloud with Strands Agents, Bedrock AgentCore, Claude 4.5, NVIDIA GR00T, and Hugging Face LeRobot. (2025, December 12). AWS Open Source Blog. - examples/07_post_tune_any_policy.py. (n.d.). GitHub. - Hugging Face links robot recording, training, and deployment. (n.d.). YouTube. - Record, train, and deploy from one place with Strands Agents, LeRobot, and Hugging Face Storage Buckets. (2026, August 13). AIGC.NEWS. - The Physical AI Data Loop. (2026). Hugging Face Spaces. - Hugging Face Storage Buckets Documentation. (n.d.). Hugging Face Hub Documentation. - From Files to Chunks: How Xet Improves Data Transfer. (n.d.). Hugging Face Blog. - Strands Robots Documentation. (n.d.). Strands Labs. - LeRobot Project Pulse. (n.d.). Hugging Face Spaces.