INTRA: Interaktionsbeziehungsbewusste Schwach Überwachte Affordanzgrundierung

Einführung

Affordanz beschreibt die potenziellen Interaktionen, die in Objekten inhärent sind. Das Verständnis dieser Affordanzen ermöglicht es intelligenten Agenten, sich effizient in neuen Umgebungen zurechtzufinden und mit ihnen zu interagieren. Die schwach überwachte Affordanzgrundierung lehrt Agenten das Konzept der Affordanz ohne kostspielige Pixel-Annotationen, sondern mit exozentrischen Bildern.

Herausforderungen und Lösungen

Obwohl jüngste Fortschritte in der schwach überwachten Affordanzgrundierung vielversprechende Ergebnisse lieferten, bestehen weiterhin Herausforderungen. Dazu gehören die Notwendigkeit eines gepaarten Datensatzes aus exozentrischen und egozentrischen Bildern sowie die Komplexität, unterschiedliche Affordanzen für ein einzelnes Objekt zu begründen. Um diese Herausforderungen anzugehen, wurde INTRA (Interaction Relationship-aware Weakly Supervised Affordance Grounding) entwickelt.

INTRA-Framework

Im Gegensatz zu früheren Ansätzen betrachtet INTRA dieses Problem als Repräsentationslernen, um einzigartige Merkmale von Interaktionen durch kontrastives Lernen mit nur exozentrischen Bildern zu identifizieren, wodurch die Notwendigkeit für gepaarte Datensätze entfällt. Darüber hinaus nutzen wir Vision-Language-Modell-Einbettungen, um die Affordanzgrundierung flexibel mit beliebigem Text durchzuführen. Dies geschieht durch die Gestaltung einer textkonditionierten Affordanzkartengenerierung, die Interaktionsbeziehungen für das kontrastive Lernen widerspiegelt und die Robustheit mit unserer Text-Synonym-Augmentierung verbessert.

Experimentelle Ergebnisse

Unsere Methode übertraf frühere Ansätze auf verschiedenen Datensätzen wie AGD20K, IIT-AFF, CAD und UMD. Darüber hinaus zeigen die experimentellen Ergebnisse, dass unsere Methode eine bemerkenswerte Domänenskalierbarkeit für synthetisierte Bilder/Illustrationen aufweist und in der Lage ist, Affordanzgrundierungen für neuartige Interaktionen und Objekte durchzuführen.

Vergleich mit anderen Methoden

Die experimentellen Ergebnisse zeigen, dass INTRA nicht nur auf gesehenen Datensätzen, sondern auch auf ungesehenen Datensätzen hervorragende Leistungen erbringt. Unsere Methode zeigt eine hohe Flexibilität und Robustheit, indem sie Vision-Language-Modelle nutzt und textkonditionierte Affordanzkarten generiert. Dies hebt sie von vorherigen Arbeiten ab, die auf gepaarte Datensätze und einfache Aktionstextlabels angewiesen sind.

Praktische Anwendungen und Zukunftsperspektiven

Die Fähigkeit von INTRA, Affordanzen ohne gepaarte Datensätze zu lernen und flexible textbasierte Eingaben zu verwenden, eröffnet neue Möglichkeiten für die Anwendung in der Robotik, insbesondere in Bereichen, in denen kostengünstige und effiziente Lernmethoden erforderlich sind. Zukünftige Arbeiten könnten sich darauf konzentrieren, die Robustheit und Flexibilität des Modells weiter zu verbessern und seine Anwendung auf komplexere Szenarien auszuweiten.

Schlussfolgerung

INTRA stellt einen bedeutenden Fortschritt in der schwach überwachten Affordanzgrundierung dar, indem es die Notwendigkeit für gepaarte Datensätze eliminiert und Vision-Language-Modelle zur flexiblen Affordanzgrundierung nutzt. Unsere Methode zeigt eine hervorragende Leistung auf verschiedenen Datensätzen und bietet eine bemerkenswerte Domänenskalierbarkeit, was sie zu einem vielversprechenden Ansatz für zukünftige Anwendungen macht.

Bibliographie

- Luo, Learning Affordance Grounding From Exocentric Images, CVPR 2022
- arXiv:2303.09665
- Some affordance detection results of our relationship-aware network, ResearchGate
- arXiv:2405.12461v1
- DmitryRyumin, AAAI-2024-Papers, GitHub
- LOCATE: Localize and Transfer Object Parts for Weakly Supervised Affordance Grounding, ResearchGate
- Yang, Grounding 3D Object Affordance from 2D Interactions in Images, ICCV 2023
- MDPI, Applied Sciences, 14(11), 4696
- CVPR-2024-Papers, GitHub
- arxiv-sanity-lite.com, arXiv:2303.09665