Automatisierte CAD-Modellierung aus 3D-Punktwolken mit CAD-Recode

Von Punktwolken zum CAD-Code: Reverse Engineering mit CAD-Recode

Die automatisierte Rekonstruktion von CAD-Modellen aus 3D-Punktwolken ist ein komplexes Problem, das an der Schnittstelle von Computer Vision, Grafik und maschinellem Lernen liegt. Traditionell ist die Erstellung von CAD-Modellen ein manueller Prozess, bei dem Skizzen erstellt und CAD-Operationen angewendet werden, um ein 3D-Modell zu erzeugen. Das Reverse Engineering dieses Prozesses, also die Rückgewinnung der ursprünglichen Skizzen und Operationen aus einer 3D-Darstellung wie einer Punktwolke, stellt eine erhebliche Herausforderung dar.

Ein vielversprechender Ansatz zur Lösung dieses Problems ist CAD-Recode, ein neuartiges Verfahren, das Punktwolken in Python-Code übersetzt. Dieser Code kann anschließend ausgeführt werden, um das entsprechende CAD-Modell zu rekonstruieren. Die Innovation von CAD-Recode liegt in der Nutzung von großen Sprachmodellen (LLMs), die aufgrund ihres Trainings mit umfangreichen Code-Repositories ein Verständnis für Programmiersprachen wie Python entwickelt haben.

Die Architektur von CAD-Recode

CAD-Recode kombiniert ein relativ kleines LLM mit einem effizienten Punktwolken-Projektor. Der Projektor extrahiert relevante Informationen aus der Punktwolke und bereitet diese für das LLM auf. Das LLM agiert als Decoder und generiert den Python-Code, der die CAD-Sequenz repräsentiert. Diese Sequenz besteht aus Skizzen und Extrusionsoperationen, die zusammen das 3D-Modell definieren.

Training und Datensatz

Das Training von CAD-Recode erfolgt auf einem synthetisch generierten Datensatz, der eine Million verschiedene CAD-Sequenzen umfasst. Dieser Ansatz ermöglicht es, das Modell mit einer großen Menge an Daten zu trainieren, ohne auf aufwendig manuell erstellte CAD-Modelle angewiesen zu sein.

Performance und Vorteile

Im Vergleich zu bestehenden Methoden zeigt CAD-Recode eine signifikante Verbesserung der Rekonstruktionsgenauigkeit. Insbesondere auf den Datensätzen DeepCAD und Fusion360 erreicht CAD-Recode eine zehnfach geringere mittlere Chamfer-Distanz, ein gängiges Maß für die Ähnlichkeit zwischen zwei 3D-Modellen. Darüber hinaus benötigt CAD-Recode weniger Input-Punkte als andere Verfahren, was die Effizienz des Prozesses steigert.

Ein weiterer Vorteil von CAD-Recode ist die Interpretierbarkeit des generierten Python-Codes. Dieser Code kann nicht nur zur Rekonstruktion des Modells verwendet werden, sondern auch von anderen LLMs analysiert und bearbeitet werden. Dies eröffnet Möglichkeiten für die automatisierte Bearbeitung von CAD-Modellen basierend auf Punktwolken und für die Beantwortung von CAD-spezifischen Fragen.

Anwendungsgebiete und Zukunftsperspektiven

Die Fähigkeit, CAD-Modelle aus Punktwolken zu rekonstruieren, hat weitreichende Anwendungsmöglichkeiten in verschiedenen Branchen. In der Produktentwicklung kann CAD-Recode den Prozess des Reverse Engineerings erheblich beschleunigen und vereinfachen. In der Qualitätskontrolle können Punktwolken aus 3D-Scans verwendet werden, um Abweichungen zwischen dem Soll- und Ist-Zustand eines Produkts zu identifizieren. In der Robotik kann CAD-Recode Robotern ermöglichen, Objekte in ihrer Umgebung zu erkennen und zu manipulieren.

Die Entwicklung von CAD-Recode ist ein wichtiger Schritt in Richtung einer automatisierten CAD-Modellierung. Zukünftige Forschung könnte sich auf die Verbesserung der Genauigkeit und Robustheit des Verfahrens konzentrieren, sowie auf die Erweiterung des Anwendungsbereichs auf komplexere CAD-Modelle.

Bibliographie

1. Rukhovich, D., Dupont, E., Mallis, D., Cherenkova, K., Kacem, A., & Aouada, D. (2024). CAD-Recode: Reverse Engineering CAD Code from Point Clouds. arXiv preprint arXiv:2412.14042.
2. Liu, Y., Obukhov, A., Wegner, J. D., & Schindler, K. (2024). Point2CAD: Reverse Engineering CAD Models from 3D Point Clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 1540-1550).
3. Karpathy, A. (2021). Software 2.0. Andrej Karpathy blog.
4. Shao, L., Li, Y., Guibas, L., & Sung, M. (2022). Point2Cyl: Reverse Engineering 3D Objects from Point Clouds to Extrusion Cylinders. arXiv preprint arXiv:2112.09329.
5. Sharma, G., Goyal, A., Goyal, R., & Mitra, N. J. (2020). ParseNet: A Parametric Surface Fitting Network for 3D Point Clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 7767-7776).