Grabette Ein offenes System zur Erfassung von Roboter-Manipulationsdaten

Die Weiterentwicklung der Robotik und Künstlichen Intelligenz (KI) steht vor der Herausforderung, dass trotz fortschrittlicher Modellarchitekturen und leistungsstarker Hardware ein Mangel an umfangreichen, realitätsnahen Manipulationsdaten besteht. Diese Daten sind jedoch entscheidend, damit Roboter komplexe Interaktionen mit ihrer Umgebung erlernen können. Herkömmliche Methoden zur Datensammlung, wie die Teleoperation von Robotern, sind oft kostspielig, zeitaufwendig und erfordern spezialisierte Ausrüstung und Expertise. Dies schränkt die Skalierbarkeit und Vielfalt der gesammelten Daten erheblich ein.

Grabette: Eine neue Ära der Datenerfassung für Robotik

Pollen Robotics hat mit der Einführung von Grabette ein offenes System vorgestellt, das darauf abzielt, diese Engpässe zu überwinden. Grabette ermöglicht die effiziente Erfassung von Roboter-Manipulationsdaten, indem es menschliche Hände in Trainingsdaten für KI umwandelt. Das System ist als Open-Source-Lösung konzipiert, die es Forschenden und Entwickelnden ermöglicht, Manipulationsdemonstrationen mittels eines handgehaltenen Greifers, einer Kamera und Standard-Sensoren aufzuzeichnen. Dies eliminiert die Notwendigkeit eines Roboters oder eines spezialisierten Labors für die primäre Datenerfassung.

Technische Grundlagen und Inspiration

Grabette ist inspiriert vom Universal Manipulation Interface (UMI) der Stanford University. UMI demonstrierte bereits erfolgreich, wie ein handgehaltener Greifer mit einer Fischaugenkamera Demonstationen in realen Umgebungen aufzeichnen und die Kameratrajektorien mittels Simultaneous Localization and Mapping (SLAM) rekonstruieren kann, um visuell-motorische Richtlinien zu trainieren. Grabette baut auf diesem Konzept auf und integriert es in ein modernes, offenes Ökosystem.

Das Grabette-System besteht aus einem handgehaltenen Greifer, der mit mehreren Kameras ausgestattet ist:

• Eine Fischaugenkamera: Sie liefert kontextreiche Ansichten, ähnlich einer Handgelenkkamera, die für die KI-Richtlinien von Bedeutung sind.
• Eine RGBD-Kamera: Diese Kamera ist für die robuste 6-Freiheitsgrade (6-DoF) Verfolgung zuständig.

Zusätzlich sind IMU-Sensoren (Inertial Measurement Unit) und magnetische Encoder integriert, um eine präzise Synchronisation und Messung der Greiferbewegungen zu gewährleisten. Die Hardware ist auf Standardkomponenten ausgelegt, die leicht beschafft werden können, was die Zugänglichkeit und den Aufbau für eine breite Nutzerbasis erleichtern soll.

Vom menschlichen Handgriff zum Roboter-Datensatz

Der Prozess der Datenerfassung mit Grabette ist in zwei Hauptschritte unterteilt:

1. Aufzeichnung der Demonstrationen

Die Nutzer drücken einen Knopf am handgehaltenen Grabette-Greifer, um eine Aufzeichnungssitzung zu starten. Während der Aufzeichnung werden synchronisiert Daten von der Beobachtungskamera, der Tracking-Kamera (Farbe, Tiefe und IMU) und den Encoder-Gelenkwerten des Greifers erfasst. Eine gemeinsame Uhrzeit sorgt für die präzise Synchronisation aller Datenströme. Nach Beendigung der Demonstration durch erneutes Drücken des Knopfes werden die Daten lokal auf einem Raspberry Pi gespeichert, der in Grabette integriert ist.

2. Verarbeitung im Browser

Ein wesentlicher Vorteil von Grabette ist die Möglichkeit, die aufgezeichneten Daten einfach zu verarbeiten. Über ein webbasiertes Dashboard können Nutzer die gewünschten Episoden auswählen und den Post-Processing-Prozess starten. Dieser Prozess umfasst:

• Upload: Die Episoden werden zum Hugging Face Hub hochgeladen.
• SLAM-Verarbeitung: Ein spezialisierter Grabette-SLAM-Space führt SLAM mithilfe der RTAB-MAP-Bibliothek durch. Hierbei wird die Korrektheit der Trajektorie überprüft, um Sprünge oder den Verlust der Verfolgung auszuschließen.
• Datenkonvertierung: Die verarbeiteten Episoden werden in das LeRobot-Format konvertiert.
• Datensatz-Upload: Der neue Datensatz wird in den persönlichen Space des Nutzers hochgeladen, wo er mit dem LeRobot-Visualizer eingesehen werden kann.

Dieser optimierte Workflow soll den Übergang von einer aufgezeichneten Demonstration zu einem trainingsbereiten Datensatz erheblich beschleunigen und vereinfachen.

Gripette: Das robotische Gegenstück

Neben dem handgehaltenen Grabette-System wurde auch Gripette vorgestellt, das robotische Endeffektor-Gegenstück zu Grabette. Gripette ist ein motorisierter Greifer, der auf einem Raspberry Pi Zero 2W läuft und ebenfalls eine Kamera sowie zwei Servomotoren integriert. Es ist darauf ausgelegt, die gelernten Bewegungen auf einem realen oder simulierten Roboterarm auszuführen und somit den Kreis vom menschlichen Vorbild zur robotischen Ausführung zu schließen. Die Hardware-DNA beider Systeme ist ähnlich, was die Kompatibilität und den einfachen Austausch von Daten und Methoden fördert.

Ein offenes Ökosystem für kollaboratives Lernen

Die Philosophie hinter Grabette ist die vollständige Offenheit:

• Open Source Hardware und Software: Sämtliche CAD-Dateien und Produktionsdaten für Grabette und Gripette sind ebenso wie die Capture-Software für den Raspberry Pi und die Verarbeitungs-Pipeline auf GitHub verfügbar.
• Standardisierte Komponenten: Die Verwendung von handelsüblichen Sensoren und Komponenten wie Raspberry Pi, Standard-Pi-Kamera und OAK-D-Tiefenkamera stellt sicher, dass jeder das System nachbauen kann.
• Roboter-agnostisches Design: Das Capture- und Datenformat ist bewusst so gestaltet, dass es nicht an einen spezifischen Roboterarm gebunden ist. Demonstrationen werden als kamera-lokale 6-DoF kartesische Posen und Greiferzustände gespeichert. Die Ausgabe erfolgt als LeRobot-Datensatz auf dem Hugging Face Hub, wodurch die Daten für verschiedene Roboter und Lernmethoden nutzbar sind.

Dieses offene Design soll eine breite Beteiligung fördern und die Schaffung eines großen, kollaborativen Manipulationsdatensatzes ermöglichen, der die Entwicklung im Bereich des Roboterlernens vorantreibt.

Praktische Anwendung und Ausblick

Um die Effektivität des Systems zu demonstrieren, wurde ein Beispiel vorgestellt: 200 aufgezeichnete Demonstrationen, wie das Greifen einer Tasse, wurden verwendet, um eine Richtlinie mit dem LeRobot-Stack zu trainieren. Eine Diffusion Policy, die auf einer einzelnen Consumer-GPU trainiert werden kann, wurde anschließend auf einem OpenArm 7-DoF-Arm mit dem Gripette-Greifer evaluiert. Die Ergebnisse zeigen, dass die vom Menschen demonstrierten Bewegungen erfolgreich auf den Roboter übertragen werden konnten.

Grabette ist als Startpunkt eines größeren Projekts konzipiert. Die Entwickler planen bereits weitere Erweiterungen, wie zum Beispiel Casquette, ein am Kopf befestigtes POV-Gerät (Point-of-View) für egozentrische Aufnahmen. Der entscheidende nächste Schritt liegt jedoch in der aktiven Beteiligung der Gemeinschaft. Durch den Bau eigener Grabette-Systeme, die Aufzeichnung spezifischer Aufgaben und das Teilen der Daten auf dem Hugging Face Hub kann jeder dazu beitragen, den offenen Datensatz zu erweitern und die Robotik zugänglicher zu machen.

Die Initiative von Pollen Robotics, mit Grabette ein offenes und niedrigschwelliges System zur Datenerfassung bereitzustellen, könnte einen signifikanten Beitrag zur Überwindung des Datenengpasses im Bereich des Roboterlernens leisten und die Forschung und Entwicklung in diesem Feld nachhaltig prägen.

Bibliography: - Grabette: an open system to record robot-manipulation data. Hugging Face Blog. Published: 2026-07-21T00:00:00.000Z. URL: https://huggingface.co/blog/grabette - pollen-robotics/grabette-poc. GitHub. Published: 2026-02-23T13:55:58.000Z. URL: https://github.com/pollen-robotics/grabette-poc - pollen-robotics/grabette-data. GitHub. Published: 2026-03-12T11:38:01.000Z. URL: https://github.com/pollen-robotics/grabette-data - Grabette Opens a New Era for Robot Learning by Turning Human Hands Into AI Training Data Sources + Video. UNDERCODE NEWS. Published: 2026-07-21T11:08:00.000Z. URL: https://undercodenews.com/grabette-opens-a-new-era-for-robot-learning-by-turning-human-hands-into-ai-training-data-sources-video/ - Grabette Releases Open System to Record Robot-Manipulation Data. HyperAI. URL: https://hyper.ai/en/stories/4e39045e2d76e424d9bc5cd7abab2780 - pollen-robotics/gripette. GitHub. Published: 2026-03-09T16:51:27.000Z. URL: https://github.com/pollen-robotics/gripette - SteveNguyen/grabette-quest-demo. Datasets at Hugging Face. URL: https://huggingface.co/datasets/SteveNguyen/grabette-quest-demo - glannuzel/grabette-dataset. Datasets at Hugging Face. URL: https://huggingface.co/datasets/glannuzel/grabette-dataset - SteveNguyen/Grabette_redcube_quest. Datasets at Hugging Face. URL: https://huggingface.co/datasets/SteveNguyen/Grabette_redcube_quest - pollen-robotics/openarm_gripette_simu. GitHub. Published: 2026-04-14T16:36:41.000Z. URL: https://github.com/pollen-robotics/openarm_gripette_simu