Neue Technologie revolutioniert die 3D-Modellierung aus Bildern

In der Welt der Computervision und 3D-Modellierung hat sich ein neues Verfahren etabliert, das von einem Forschungsteam vorgestellt wurde, welches die Erstellung hochwertiger 3D-Gaußscher Primitiven aus spärlichen Bildern ermöglicht. Diese Technologie erweist sich als revolutionär für die Modellierung von Objekten und Szenen und hat das Potenzial, die Art und Weise, wie wir mit virtuellen Umgebungen interagieren, zu verändern. Das vorgeschlagene Modell basiert auf einem transformer-basierten Ansatz, der darauf abzielt, die Herausforderungen bei der 3D-Rekonstruktion zu überwinden. Bisherige Techniken stießen häufig aufgrund langsamer Optimierungs- oder Renderingprozesse an ihre Grenzen, was zu umfangreichen Trainings- und Optimierungszeiten führte. Im Gegensatz dazu kann das neue Modell hochwertige 3D-Primitive in nur 0,23 Sekunden auf einer einzelnen A100-GPU vorhersagen. Die Einfachheit des Modells steht dabei im krassen Gegensatz zur Qualität und Geschwindigkeit der Ergebnisse. Die Forscher haben ihre Methode als "GS-LRM" (Large Reconstruction Model for 3D Gaussian Splatting) bezeichnet. Es baut auf einer hybriden Triplane-Gaußschen Darstellung auf und nutzt zwei transformer-basierte Netzwerke, nämlich einen Punktdecoder und einen Triplane-Decoder, um 3D-Objekte zu rekonstruieren. Diese hybride Darstellung findet eine Balance, die eine schnellere Rendering-Geschwindigkeit im Vergleich zu impliziten Darstellungen ermöglicht und gleichzeitig eine überlegene Rendering-Qualität im Vergleich zu expliziten Darstellungen liefert. Das Verfahren beginnt mit der Kodierung eines Bildes und seiner Kameraparameter in eine Reihe von latenten Feature-Token unter Verwendung eines vortrainierten ViT-Modells. Die transformer-basierten Netzwerke nehmen dann initiale Positions-Embeddings auf und projizieren Bild-Token auf die latenten Feature-Token der jeweiligen 3D-Darstellung über Kreuz-Attention. Anschließend können ein Punkt-Cloud- und ein Triplane-Decoder aus den Ausgaben der Decoder de-tokenisiert werden. Ein weiteres interessantes Feature des Modells ist das Punkt-Upsampling-Modul mit einer zustandsbewussten Projektion, das die Punktcloud verdichtet. Zudem wird eine geometriebewusste Kodierung genutzt, um Punktcloud-Features in das initiale Positions-Embedding der Triplane-Latenten zu projizieren. Schließlich werden die 3D-Gaußschen Primitiven durch das Splatting-Verfahren schnell gerendert. Die Evaluation des Modells auf synthetischen Datensätzen sowie auf Bildern aus der realen Welt hat gezeigt, dass das Verfahren nicht nur eine höhere Qualität, sondern auch eine schnellere Laufzeit im Vergleich zu vorherigen Technologien der Spitzenklasse erreicht. Dies markiert einen signifikanten Fortschritt in der 3D-Rekonstruktion, der die Tür zu neuen Anwendungsmöglichkeiten in verschiedenen Branchen öffnet, von der Spieleentwicklung bis hin zur Architekturvisualisierung. Die Forschungsergebnisse wurden in einem Preprint auf arXiv veröffentlicht und haben in der wissenschaftlichen Gemeinschaft bereits großes Interesse geweckt. Die Forscher planen, ihre Methoden weiterzuentwickeln und sie für eine breitere Palette von Anwendungen zugänglich zu machen. Das Projekt stellt einen vielversprechenden Schritt in Richtung effizienterer und qualitativ hochwertigerer 3D-Modellierung dar und könnte einen bedeutenden Einfluss auf die Zukunft der digitalen Inhalteerstellung haben. Bibliographie: - Zou, Zi-Xin et al. "Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D Reconstruction with Transformers". arXiv preprint arXiv:2312.09147 (2023). - Nematollahi, Omid et al. "GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting". (2023). - Shah, Rajiv. LinkedIn Beiträge über die Erklärung von Vorhersagen aus Transformer-Modellen. (2023). - Sai Bi. Projektseite für GS-LRM. (2023).