Neuer Ansatz zur Open-World-Segmentierung von 3D-Teilen

3D-Teile finden: Ein neuer Ansatz für die Open-World-Teile-Segmentierung

Die Segmentierung von Objekten in 3D ist eine etablierte Aufgabe im Bereich Computer Vision. Traditionell konzentrierten sich die Verfahren auf die Segmentierung ganzer Objekte in einer "Closed-World"-Umgebung, d.h. mit vordefinierten Objektkategorien und begrenztem Vokabular. Neue Entwicklungen im Bereich der Künstlichen Intelligenz, insbesondere im Bereich der Foundation Models, eröffnen jedoch Möglichkeiten für die "Open-World"-Segmentierung, bei der beliebige Teile von beliebigen Objekten basierend auf frei formulierten Textanfragen segmentiert werden können.

Ein vielversprechender Ansatz in diese Richtung ist Find3D, ein Modell, das von Ziqi Ma, Yisong Yue und Georgia Gkioxari entwickelt wurde. Find3D verfolgt einen Zero-Shot-Ansatz und ermöglicht die Segmentierung von Teilen auf Basis von Textbeschreibungen, ohne dass das Modell explizit auf diese Teile trainiert wurde. Das Modell basiert auf einem Transformer-basierten Punktwolken-Modell, das für jeden Punkt in der Punktwolke semantische Merkmale im latenten Einbettungsraum eines CLIP-ähnlichen Modells vorhersagt. Diese Merkmale können dann mit beliebigen Textanfragen abgefragt werden, indem die punktweise Kosinus-Ähnlichkeit mit der Einbettung der Anfrage berechnet wird.

Ein zentraler Aspekt von Find3D ist die Verwendung einer "Data Engine", die 3D-Objekte aus dem Internet automatisch mit verschiedenen Teiletiketten annotiert. Diese Data Engine nutzt 2D Vision- und Sprachmodelle wie SAM und Gemini, um Masken für verschiedene Objektteile zu generieren und diese Masken mit entsprechenden Textbeschreibungen zu versehen. Die annotierten Daten werden dann verwendet, um das Find3D-Modell mit einem kontrastiven Trainingsverfahren zu trainieren, das die Hierarchie und Mehrdeutigkeit von Teilebezeichnungen berücksichtigt.

Find3D zeigt beeindruckende Ergebnisse in Bezug auf Leistung und Generalisierung über verschiedene Datensätze. Im Vergleich zu bestehenden Methoden erzielt Find3D eine bis zu dreifach höhere mittlere Intersection over Union (mIoU) und eine deutlich schnellere Inferenzgeschwindigkeit. Dies ist insbesondere für Anwendungen in Robotik und VR/AR relevant, wo eine schnelle und präzise Segmentierung von Objekten und deren Teilen für Interaktion und Manipulation unerlässlich ist.

Die Entwicklung von Find3D unterstreicht das Potenzial von Foundation Models und automatisierter Datenannotation für die Open-World-Segmentierung. Durch die Kombination von 2D- und 3D-Methoden ermöglicht Find3D einen flexiblen und effizienten Ansatz für die Teile-Segmentierung, der über die Grenzen traditioneller Closed-World-Ansätze hinausgeht. Die Veröffentlichung eines Benchmarks für die Open-World-Teile-Segmentierung durch die Entwickler von Find3D fördert zudem die weitere Forschung in diesem vielversprechenden Bereich.

Für Mindverse, ein deutsches Unternehmen, das sich auf KI-gestützte Content-Erstellung und maßgeschneiderte KI-Lösungen spezialisiert hat, sind diese Entwicklungen von besonderem Interesse. Die Fähigkeit, 3D-Objekte und deren Teile präzise zu segmentieren und zu analysieren, eröffnet neue Möglichkeiten für die Erstellung von Inhalten und die Entwicklung von Anwendungen in Bereichen wie E-Commerce, Produktdesign und virtuelle Welten. Die Integration von Technologien wie Find3D in die Mindverse-Plattform könnte die Möglichkeiten für die automatisierte Erstellung von 3D-Inhalten und die Entwicklung von interaktiven 3D-Erlebnissen erheblich erweitern.

Bibliographie:

1. https://arxiv.org/abs/2411.13550
2. https://arxiv.org/html/2411.13550v1
3. https://deeplearn.org/arxiv/550743/find-any-part-in-3d
4. https://chatpaper.com/chatpaper/paper/84031
5. https://www.connectedpapers.com/
6. https://axmpaperspacescalemodels.com/index.php/3d-parts/
7. https://github.com/MrNeRF/awesome-3D-gaussian-splatting
8. https://huggingface.co/papers/2402.10259
9. https://github.com/rodrigorc/papercraft
10. https://www.coohom.com/article/how-to-make-a-3d-model-with-paper-8191