Nymeria: Fortschritte in der Erfassung menschlicher Bewegung und deren Anwendungen

Nymeria: Ein Meilenstein in der Erfassung und dem Verständnis menschlicher Bewegung

Reality Labs Research, die Forschungsabteilung von Meta, hat auf der European Conference on Computer Vision (ECCV) 2024 den Nymeria-Datensatz veröffentlicht. Dieser Datensatz stellt einen bedeutenden Fortschritt im Bereich der Bewegungserfassung dar und bietet ein umfangreiches, multimodales Repertoire an Daten zur menschlichen Bewegung im Alltag. Mit potenziellen Anwendungen in VR/MR-Headsets, Smart Glasses und anderen Wearables eröffnet Nymeria neue Möglichkeiten für die Forschung und Entwicklung im Bereich der Mensch-Computer-Interaktion.

Ein Datensatz aus dem Leben

Die Interaktion mit virtuellen oder gemischten Realitäten (VR/MR) bietet faszinierende Möglichkeiten. Sechs Freiheitsgrade ermöglichen freie Bewegung in immersiven Umgebungen, während Bewegungstracking und Handtracking die Interaktion mit digitalen Objekten erlauben. Die Immersion kann jedoch beeinträchtigt werden, wenn die Bewegungen des Avatars nicht präzise den physischen Bewegungen des Nutzers entsprechen. Mit der zunehmenden Verbreitung von Wearables wie Smart Glasses und Smartwatches entstehen neue Möglichkeiten, menschliche Bewegungen genauer zu erfassen und vorherzusagen. Dies birgt Potenzial für vielfältige Anwendungen: Sportler könnten ihre Trainingsleistung detailliert analysieren, die Körperhaltung könnte überwacht und ergonomische Probleme am Arbeitsplatz könnten identifiziert und korrigiert werden.

Die Vorhersage von Körperpositionen anhand von Daten egozentrischer Sensoren, wie sie in VR/MR-Geräten verbaut sind, stellt eine technische Herausforderung dar. Menschliche Bewegungen sind komplex, Körperformen variieren, und die derzeitige Generation von Sensoren ist in ihrer Fähigkeit, den Körper des Trägers vollständig zu erfassen, begrenzt. Fortschritte in der Sensortechnologie und den Analysemethoden sind vielversprechend, doch es fehlte bisher an umfassenden Forschungsdatensätzen.

Genau hier setzt Nymeria an: Der Datensatz soll die Lücke schließen und die Forschung im Bereich des egozentrischen Bewegungsverständnisses beschleunigen. Er umfasst 300 Stunden multimodaler, egozentrischer Bewegungsdaten, die im Alltag und in natürlichen Umgebungen aufgezeichnet wurden.

Aufbau des Datensatzes

Im Gegensatz zu bestehenden Datensätzen zur Modellierung menschlicher Bewegung erfasst Nymeria Bewegungen im Alltag mit mehreren multimodalen, egozentrischen Geräten, darunter Project Aria Brillen und miniAria Armbänder. Diese Kombination von Sensoren simuliert die Signale, die zukünftige Wearables wie Smart Glasses und Smartwatches liefern könnten. Die Erfassung von Bewegungen im Alltag ermöglicht es Forschern, Technologien zu entwickeln, die alltägliche menschliche Aktivitäten unterstützen.

Um die Vielfalt des Alltags abzubilden, wurden die Daten von Probanden unterschiedlicher Herkunft und demografischer Gruppen erfasst. Jeder Teilnehmer führte 20 verschiedene Szenarien durch, wie z. B. Kochen, Sport oder Treffen mit Freunden, in unterschiedlichen Innen- und Außenumgebungen. Diese vordefinierten, aber ungeskripteten Szenarien ermöglichen es Forschern zu verstehen, wie verschiedene Menschen die gleichen Aktivitäten ausführen, und gewährleisten, dass zukünftige Methoden zum Bewegungsverständnis für alle zugänglich sind.

Sprachliche Anreicherung der Bewegungsdaten

Der Nymeria-Datensatz verbindet Bewegung und natürliche Sprache. Er enthält kontextbezogene Beschreibungen der menschlichen Bewegungen, die von menschlichen Annotatoren erstellt wurden. Durch die Anreicherung der Daten mit mehrstufigen Beschreibungen können Forscher menschliche Bewegungen, Aktionen und Aktivitäten in unterschiedlicher Granularität modellieren, fortschrittliche Techniken mit großen Sprachmodellen wie Llama erforschen und benutzerfreundlichere Lösungen entwickeln.

Textbasierte KI-Assistenten haben bereits ihren Wert bewiesen, doch ihre Fähigkeit, den Kontext des Nutzers zu verstehen und angemessen zu reagieren, ist noch begrenzt. Nymeria leistet einen wichtigen Beitrag zur Bewältigung dieser Herausforderung, indem es Forschern umfassende Daten liefert, um die technischen, datenschutzrechtlichen und gesellschaftlichen Implikationen der Entwicklung solcher Systeme realistisch und verantwortungsvoll zu untersuchen.

Forschungspotenzial und Anwendungen

Reality Labs Research hat Nymeria bereits genutzt, um neue ML-Modelle für das egozentrische Bewegungsverständnis zu entwickeln. EGozentrische Bewegungsdaten liefern wertvollen Kontext über den Träger, der zukünftigen personalisierten KI-Assistenten helfen kann, situationsgerechte Vorschläge zu machen. Die Kamerasysteme heutiger Smart Glasses sind in erster Linie auf das Sichtfeld des Nutzers ausgerichtet und nicht ideal positioniert, um die eigenen Körperbewegungen zu erfassen. Daher ist die egonzentrische Bewegungserfassung in vielen Szenarien problematisch. Mithilfe des Nymeria-Datensatzes entwickelte Reality Labs Research HMD2, eine Methode zur Erfassung der gesamten Körperbewegung des Trägers mit nur einer Project Aria Brille. Mit einem datengesteuerten Ansatz konnten mehrdeutige Bewegungszustände probabilistisch modelliert und die Verteilung bei Selbstbeobachtungen reduziert werden. Ähnlich wie HMD2 ermöglichte Nymeria auch die Entwicklung von EgoLM, einem multimodalen Lernframework zur Modellierung von Körperbewegung und Aktivität mit natürlicher Sprache. Dabei werden die Rohsensordaten der Smart Glasses für verschiedene Aufgaben verwendet, von der Körperverfolgung und Bewegungssynthese bis zum Kontextverständnis.

Der Nymeria-Datensatz bietet einzigartige Forschungsmöglichkeiten für die Entwicklung von AR/VR- und kontextbezogenen KI-Technologien der nächsten Generation. Durch die Veröffentlichung des Datensatzes hofft Meta, Forscher zu inspirieren und zu befähigen, KI-Modelle mit einer starken ethischen Grundlage zu entwickeln und das volle Potenzial von KI-Systemen zum Wohle der Gesellschaft zu erschließen.

Bibliographie: https://ai.meta.com/blog/nymeria-dataset-reality-labs-research-egocentric-human-motion-understanding/ https://www.projectaria.com/datasets/nymeria https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/03541.pdf https://arxiv.org/abs/2406.09905 https://getcoai.com/news/meta-just-released-nymeria-a-dataset-that-captures-all-the-nuances-of-human-motion/ https://eccv.ecva.net/virtual/2024/poster/654 https://www.threads.net/@realitylabs/post/DDzfGHxSvPc/video-introducing-nymeria-a-dataset-for-improving-egocentric-human-motion-understandin https://www.reddit.com/r/augmentedreality/comments/1hrxpx4/meta_open_sources_nymeria_a_largescale_multimodal/