Die Welt der 3D-Modellierung erlebt einen rasanten Fortschritt. Text-zu-3D-Generatoren und 3D-Scanner liefern mittlerweile Modelle von beeindruckender Qualität in Form und Textur. Doch diese Modelle bestehen meist aus einer einzigen, zusammenhängenden Darstellung, sei es als implizites neuronales Feld, Gauß-Mischung oder Mesh. Fehlende Strukturen innerhalb der Modelle erschweren die Bearbeitung und Anpassung einzelner Teile. Ein neuartiger Ansatz namens PartGen adressiert dieses Problem und ermöglicht die Generierung von 3D-Objekten, die aus einzelnen, bedeutungsvollen Teilen bestehen – und das ausgehend von Text, Bildern oder unstrukturierten 3D-Objekten.
Der PartGen-Prozess basiert auf zwei Hauptphasen. Zunächst analysiert ein Multi-View-Diffusionsmodell mehrere Ansichten eines 3D-Objekts, egal ob generiert oder gerendert. Dieses Modell extrahiert plausible und über verschiedene Ansichten konsistente Teilsegmentierungen, die das Objekt in einzelne Teile zerlegen. In der zweiten Phase nimmt ein weiteres Multi-View-Diffusionsmodell jedes einzelne Teil, vervollständigt verdeckte Bereiche und nutzt diese vervollständigten Ansichten für die 3D-Rekonstruktion. Die Vervollständigung berücksichtigt den Kontext des gesamten Objekts, um sicherzustellen, dass die Teile später zusammenpassen. Besonders beeindruckend: Das generative Vervollständigungsmodell kann fehlende Informationen aufgrund von Verdeckungen ergänzen und in Extremfällen sogar vollständig unsichtbare Teile basierend auf dem Eingabeobjekt halluzinieren.
Die Zerlegung in Einzelteile bietet zahlreiche Vorteile. So können Designer einzelne Komponenten eines 3D-Modells bearbeiten, ohne das gesamte Objekt zu verändern. Auch die automatisierte Generierung von Variationen eines Objekts wird durch die partbasierte Darstellung deutlich vereinfacht. Denkbar ist beispielsweise die automatische Anpassung der Größe oder Form einzelner Teile, um verschiedene Produktvarianten zu erstellen. PartGen eröffnet damit neue Möglichkeiten für Produktdesign, Animation und virtuelle Realität. Besonders für Mindverse als Anbieter von KI-gestützten Content-Lösungen bietet PartGen enormes Potenzial. Die Technologie könnte in die Plattform integriert werden, um Nutzern die Erstellung und Bearbeitung komplexer 3D-Modelle zu erleichtern.
PartGen wurde anhand von generierten und realen 3D-Objekten evaluiert und übertrifft bestehende Segmentierungs- und Teilextraktionsverfahren deutlich. Die Ergebnisse zeigen, dass die Methode robuste und detaillierte 3D-Modelle erzeugt, die aus klar definierten Teilen bestehen. Anwendungen wie die 3D-Teilbearbeitung demonstrieren das Potenzial des Ansatzes für kreative Workflows. Die Entwicklung von PartGen steht noch am Anfang, doch die bisherigen Ergebnisse sind vielversprechend. Zukünftige Forschung könnte sich auf die Verbesserung der Segmentierungsgenauigkeit und die Erweiterung der Anwendungsmöglichkeiten konzentrieren. Die Integration von PartGen in Plattformen wie Mindverse könnte die 3D-Modellierung für ein breiteres Publikum zugänglich machen und den Weg für innovative Anwendungen ebnen. In Kombination mit den bestehenden KI-Lösungen von Mindverse, wie Chatbots, Voicebots und KI-Suchmaschinen, könnten so völlig neue Möglichkeiten der Content-Erstellung entstehen.
Bibliographie: Chen, M., Shapovalov, R., Laina, I., Monnier, T., Wang, J., Novotny, D., & Vedaldi, A. (2024). PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models. arXiv preprint arXiv:2412.18608. Yang, Y., Huang, Y., Wu, X., Guo, Y.-C., Zhang, S.-H., Zhao, H., He, T., & Liu, X. (2024). DreamComposer: Controllable 3D Object Generation via Multi-View Conditions. arXiv preprint arXiv:2312.03611. Gao, R., Holynski, A., Henzler, P., Brussee, A., Martin-Brualla, R., Srinivasan, P., Barron, J. T., & Poole, B. (2024). CAT3D: Create Anything in 3D with Multi-View Diffusion Models. arXiv preprint arXiv:2405.10314. CAT3D: Create Anything in 3D with Multi-View Diffusion Models. https://cat3d.github.io/ Holynski, A., Gao, R., Henzler, P., Brussee, A., Martin Brualla, R., Srinivasan, P. P., Barron, J. T., & Poole, B. (2024). CAT3D: Create Anything in 3D with Multi-View Diffusion Models. In NeurIPS. Chen, M. PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models. https://www.youtube.com/watch?v=Ma_Nk85L3d4 ChenWang. Awesome 3D Diffusion. https://github.com/cwchenwang/awesome-3d-diffusion Zheng, X.-Y., Pan, H., Guo, Y.-X., Tong, X., & Liu, Y. (2024). MVD^2: Efficient Multiview 3D Reconstruction for Multiview Diffusion. arXiv preprint arXiv:2402.14253. Bohrium. MVDiff: Scalable and Flexible Multi-View Diffusion for 3D Object Reconstruction from Single-View. https://bohrium.dp.tech/paper/arxiv/2405.03894 ChatPaper. https://www.chatpaper.com/chatpaper/fr?id=4&date=1735056000&page=1 ChatPaper. https://chatpaper.com/chatpaper/ja?id=4&date=1735056000&page=1Entdecken Sie die Vorteile gegenüber ChatGPT Plus
Sie nutzen bereits ChatGPT Plus? Das ist ein guter Anfang! Aber stellen Sie sich vor, Sie hätten Zugang zu allen führenden KI-Modellen weltweit, könnten mit Ihren eigenen Dokumenten arbeiten und nahtlos im Team kollaborieren.
Die professionelle KI-Plattform für Unternehmen – leistungsstärker, flexibler und sicherer als ChatGPT Plus. Mit über 50 Modellen, DSGVO-konformer Infrastruktur und tiefgreifender Integration in Unternehmensprozesse.
❌ Kein strukturierter Dokumentenvergleich
❌ Keine Bearbeitung im Dokumentkontext
❌ Keine Integration von Unternehmenswissen
✅ Gezielter Dokumentenvergleich mit Custom-Prompts
✅ Kontextbewusste Textbearbeitung im Editor
✅ Wissensbasierte Analyse & Zusammenfassungen
Erstellen Sie leistungsstarke Wissensdatenbanken aus Ihren Unternehmensdokumenten.Mindverse Studio verknüpft diese direkt mit der KI – für präzise, kontextbezogene Antworten auf Basis Ihres spezifischen Know-hows.DSGVO-konform, transparent und jederzeit nachvollziehbar.
❌ Nur ein Modellanbieter (OpenAI)
❌ Keine Modellauswahl pro Use Case
❌ Keine zentrale Modellsteuerung für Teams
✅ Zugriff auf über 50 verschiedene KI-Modelle
✅ Modellauswahl pro Prompt oder Assistent
✅ Zentrale Steuerung auf Organisationsebene
❌ Keine echte Teamkollaboration
❌ Keine Rechte- oder Rollenverteilung
❌ Keine zentrale Steuerung oder Nachvollziehbarkeit
✅ Teamübergreifende Bearbeitung in Echtzeit
✅ Granulare Rechte- und Freigabeverwaltung
✅ Zentrale Steuerung & Transparenz auf Organisationsebene
Nutzen Sie Mindverse Studio als zentrale Plattform für abteilungsübergreifende Zusammenarbeit.Teilen Sie Wissen, erstellen Sie gemeinsame Workflows und integrieren Sie KI nahtlos in Ihre täglichen Prozesse – sicher, skalierbar und effizient.Mit granularen Rechten, transparenter Nachvollziehbarkeit und Echtzeit-Kollaboration.
Sehen Sie Mindverse Studio in Aktion. Buchen Sie eine persönliche 30-minütige Demo.
🎯 Kostenlose Demo buchenLernen Sie in nur 30 Minuten kennen, wie Ihr Team mit KI mehr erreichen kann – live und persönlich.
🚀 Demo jetzt buchen