Innovativer Datensatz für feingranulares 3D-Teilverständnis vorgestellt

PartNeXt: Ein Fortschritt im hierarchischen 3D-Teilverständnis

Die Fähigkeit, Objekte auf der Ebene ihrer einzelnen Komponenten zu verstehen, stellt eine fundamentale Grundlage für die Weiterentwicklung von Computer Vision, Computergrafik und Robotik dar. In diesem Kontext wurde mit PartNeXt ein neuer Datensatz vorgestellt, der darauf abzielt, die bestehenden Herausforderungen im Bereich des feingranularen und hierarchischen 3D-Teilverständnisses zu adressieren. Diese Entwicklung markiert einen signifikanten Schritt in der Forschung und bietet neue Möglichkeiten für die Anwendung von KI in komplexen 3D-Umgebungen.

Historische Entwicklung und Motivation

Frühere Datensätze, wie beispielsweise PartNet, haben bereits wichtige Beiträge zur Förderung des 3D-Teilverständnisses geleistet. Dennoch wiesen diese Ansätze Limitationen auf, insbesondere hinsichtlich der Abhängigkeit von untexturierten Geometrien und einer expertenbasierten Annotation. Diese Faktoren beeinflussten die Skalierbarkeit und die praktische Anwendbarkeit der Datensätze. Die Notwendigkeit eines Datensatzes, der diese Lücken schließt, führte zur Entwicklung von PartNeXt, der auf hochwertige, texturierte 3D-Modelle und eine verbesserte Annotationsmethodik setzt.

Der PartNeXt-Datensatz im Detail

PartNeXt umfasst über 23.000 hochwertige, texturierte 3D-Modelle, die mit detaillierten, hierarchischen Teillabels über 50 diverse Objektkategorien hinweg annotiert wurden. Insgesamt sind 350.187 annotierte Teilinstanzen enthalten. Die Modelle stammen aus verschiedenen Quellen wie Objaverse, ABO und 3D-FUTURE, was eine breite Vielfalt an Erscheinungsbildern und Geometrien gewährleistet.

Annotationsprozess und -plattform

Die Erstellung von PartNeXt erfolgte über ein webbasiertes Annotationssystem, das auf Skalierbarkeit und Benutzerfreundlichkeit ausgelegt ist. Dieses System wurde entwickelt, um die Herausforderungen bei der Annotation komplexer 3D-Strukturen zu minimieren. Zu den Hauptmerkmalen gehören:

• Hierarchischer Annotations-Workflow: Ein kollabierender Baumstruktur-Ansatz führt die Annotatoren durch den Prozess, von übergeordneten Komponenten zu feingranularen Blattknoten.
• Zwei-Panel-Interface: Eine Dualansicht zeigt das unsegmentierte 3D-Modell und die bereits segmentierten Teile gleichzeitig an. Dies erleichtert die Annotation von verdeckten internen Komponenten.
• Direkte Annotation auf texturierten Meshes: Im Gegensatz zu früheren Methoden, die oft ein Remeshing und damit den Verlust von Texturinformationen erforderten, ermöglicht PartNeXt die direkte Annotation auf den originalen texturierten Meshes.
• Flexible Auswahlwerkzeuge: Drei verschiedene Werkzeuge – Connected Component Selection, Bounding-Box Selection und Per-Face Selection – bieten präzise Kontrolle bei der Auswahl von Mesh-Flächen.

Diese Designmerkmale tragen dazu bei, die Notwendigkeit spezialisierter 3D-Modellierungskenntnisse zu reduzieren und den Annotationsdurchsatz zu erhöhen. Die Hierarchien wurden mit Unterstützung von KI-Modellen wie GPT-4o generiert und anschließend von menschlichen Experten überprüft und verfeinert.

Statistiken des Datensatzes

Der Datensatz PartNeXt umfasst 23.519 Objekte mit insgesamt 350.187 annotierten Teilen in 50 Kategorien. Ein erheblicher Teil der Modelle stammt aus Objaverse (14.811 Instanzen), ABO (2.633 Instanzen) und 3D-FUTURE (6.075 Instanzen). Jede Annotation durchlief mindestens eine Überprüfung, wobei insgesamt 5.211 Korrekturen vorgenommen wurden. Die definierte Hierarchie erstreckt sich über eine Tiefe von mindestens 4 bis maximal 10 Ebenen.

Benchmarks und Experimente

PartNeXt wurde verwendet, um zwei neue Benchmarks zu etablieren, die das Verständnis von 3D-Modellen evaluieren sollen:

Klassenagnostische 3D-Teilinstanzsegmentierung

Diese Aufgabe bewertet die Fähigkeit eines Modells, semantisch bedeutsame Teile zu identifizieren und zu segmentieren, ohne auf kategorie-spezifisches Vorwissen zurückzugreifen. Die Evaluation erfolgte auf 250 Objekten, wobei die Blattknoten der Hierarchie als Ground Truth dienten. Die Metrik war der mittlere Intersection-over-Union (mIoU).

Die Ergebnisse zeigten, dass aktuelle State-of-the-Art-Methoden wie PartField, SAMPart3D und SAMesh bei feingranularen und blattlevel-Teilen deutliche Schwierigkeiten aufwiesen. SAMesh neigte zur Übersegmentierung, PartField hatte Probleme bei der Trennung zusammenhängender Regionen, und SAMPart3D zeigte Inkonsistenzen in schwach texturierten Bereichen.

Teilzentrierte 3D-Fragebeantwortung

Dieser Benchmark wurde speziell für 3D Large Language Models (3D-LLMs) entwickelt und bewertet deren Fähigkeiten in der offenen Vokabular-Teilverankerung, Erkennung und Argumentation. Er umfasst drei Unteraufgaben:

• Teilezählung: Ein Modell muss die Anzahl der Instanzen eines bestimmten Teils in einem 3D-Objekt vorhersagen.
• Teileklassifikation: Ein Modell muss ein rot hervorgehobenes Teil benennen.
• Teilverankerung: Ein Modell soll ein Teil durch Vorhersage der Bounding-Box-Koordinaten lokalisieren.

Führende 3D-LLMs wie PointLLM, ShapeLLM und 3D-LLM zeigten in diesen Aufgaben begrenzte Leistungen, insbesondere bei der Teilezählung und -verankerung. Dies deutet auf Defizite im feingranularen Strukturverständnis dieser Modelle hin.

Analyse der 3D-Promptable-Segmentierung

Durch das Training des interaktiven 3D-Segmentierungsmodells Point-SAM auf PartNeXt konnten signifikante Leistungssteigerungen im Vergleich zum Training auf PartNet erzielt werden. Dies unterstreicht die höhere Qualität und Vielfalt von PartNeXt und dessen Potenzial zur Verbesserung der Generalisierungsfähigkeit von Modellen im Bereich des feingranularen 3D-Verständnisses.

Herausforderungen und Ausblick

Trotz der Fortschritte weist PartNeXt noch Limitationen auf. Der Datensatz ist mit rund 23.519 Modellen noch begrenzt, wobei eine Erweiterung durch die Integration weiterer Daten aus ObjaverseXL geplant ist. Die Abhängigkeit von vordefinierten Hierarchien schränkt die Annotation von Datensätzen mit offenem Vokabular ein, was zukünftig durch eine tiefere Integration mit Visual Language Models (VLMs) adressiert werden soll. Aktuell bietet PartNeXt lediglich einfache Teilenamen, eine Anreicherung mit Beschreibungen oder physikalischen Attributen ist ein zukünftiges Ziel.

PartNeXt wird als ein grundlegender Datensatz für die Entwicklung der nächsten Generation von 3D-Verständnismodellen angesehen. Durch die Bereitstellung feingranularer, hierarchisch strukturierter Annotationen auf texturierten 3D-Meshes und die Einführung robuster Multi-Task-Benchmarks werden bestehende Modelldefizite aufgezeigt und neue Forschungswege im strukturierten 3D-Objektverständnis eröffnet.

Bibliography - Wang, P., He, Y., Lv, X., Zhou, Y., Xu, L., Yu, J., & Gu, J. (2022). PartNeXt: A Next-Generation Dataset for Fine-Grained and Hierarchical 3D Part Understanding. arXiv preprint arXiv:2510.20155. - Wang, P., He, Y., Lv, X., Zhou, Y., Xu, L., Yu, J., & Gu, J. (2025). PartNeXt: A Next-Generation Dataset for Fine-Grained and Hierarchical 3D Part Understanding. NeurIPS 2025 (DB Track). - Mo, K., Zhu, S., Chang, A. X., Yi, L., Tripathi, S., Guibas, L. J., & Su, H. (2019). PartNet: A large-scale benchmark for fine-grained and hierarchical part-level 3D object understanding. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 909-918. - The Moonlight. (2025, October 25). [Literature Review] PartNeXt: A Next-Generation Dataset for Fine-Grained and Hierarchical 3D Part Understanding. Retrieved from https://www.themoonlight.io/en/review/partnext-a-next-generation-dataset-for-fine-grained-and-hierarchical-3d-part-understanding