3D-Szenenrekonstruktion mit konvexen Formen als neue Methode

3D-Szenenrekonstruktion revolutioniert: Konvexe Formen statt Gaußscher Primitive

Die Darstellung von 3D-Szenen für virtuelle Realität, Spiele oder auch für digitale Zwillinge in der Industrie erfordert komplexe Verfahren. Ein vielversprechender Ansatz ist die Rekonstruktion von Strahlungsfeldern (Radiance Fields), die es ermöglicht, fotorealistische Ansichten aus beliebigen Blickwinkeln zu erzeugen. Ein etabliertes Verfahren in diesem Bereich ist das 3D Gaussian Splatting (3DGS), das Szenen mithilfe von Gaußschen Primitiven darstellt. Doch diese Methode stößt bei der Darstellung von harten Kanten und flachen Oberflächen an ihre Grenzen.

Eine neue Forschungsarbeit stellt nun eine innovative Alternative vor: 3D Convex Splatting (3DCS). Anstelle von Gaußschen Primitiven verwendet 3DCS dreidimensionale, glatte konvexe Formen, um Strahlungsfelder zu modellieren. Diese konvexen Formen bieten eine größere Flexibilität und ermöglichen eine genauere Darstellung von komplexen Geometrien mit weniger Primitiven. Dadurch wird nicht nur die Qualität der Szenenrekonstruktion verbessert, sondern auch der Speicherbedarf reduziert.

Herausforderungen von 3D Gaussian Splatting

3DGS hat sich als effektive Methode zur Darstellung von Strahlungsfeldern erwiesen. Die Verwendung von Gaußschen Primitiven ermöglicht eine schnelle Berechnung und realistische Darstellung von weichen Oberflächen. Allerdings ergeben sich Schwierigkeiten bei der Darstellung von harten Kanten, wie sie beispielsweise an Gebäudekanten oder Objektgrenzen auftreten. Um diese Kanten scharf darzustellen, müsste die Anzahl der Gaußschen Primitive erheblich erhöht werden, was zu einem hohen Speicherbedarf und längeren Rechenzeiten führt.

Ein weiteres Problem von 3DGS liegt in der Darstellung von flachen Oberflächen. Gaußsche Primitive sind von Natur aus diffus, was zu einer verschwommenen Darstellung von ebenen Flächen führt. Ohne spezielle Regularisierungen neigen die Gaußschen Primitive dazu, sich ungleichmäßig um die tatsächliche Oberfläche zu verteilen, was die visuelle Qualität beeinträchtigt.

3D Convex Splatting: Ein neuer Ansatz

3D Convex Splatting (3DCS) adressiert die Schwächen von 3DGS, indem es auf dreidimensionale, glatte konvexe Formen als Primitive setzt. Diese bieten eine höhere Flexibilität bei der Modellierung von Geometrien. Harte Kanten können präzise dargestellt werden, ohne die Anzahl der Primitive übermäßig zu erhöhen. Auch die Darstellung von flachen Oberflächen gelingt mit 3DCS deutlich besser, da die konvexen Formen die ebene Struktur akkurat erfassen können.

Die Forscher haben einen effizienten, CUDA-basierten Rasterizer entwickelt, der die Berechnung der konvexen Primitive auf Grafikprozessoren ermöglicht. Dies führt zu einer hohen Rendering-Geschwindigkeit, die mit 3DGS vergleichbar ist. In Tests auf etablierten Benchmarks wie Mip-NeRF360, Tanks and Temples und Deep Blending konnte 3DCS die Performance von 3DGS übertreffen. Die Ergebnisse zeigen eine Verbesserung des Peak Signal-to-Noise Ratio (PSNR) um bis zu 0.81 und des Learned Perceptual Image Patch Similarity (LPIPS) um bis zu 0.026.

Die Zukunft der 3D-Szenenrekonstruktion

Die Ergebnisse der Forschungsarbeit deuten darauf hin, dass 3D Convex Splatting das Potenzial hat, sich als neuer Standard für die hochwertige 3D-Szenenrekonstruktion und die Synthese neuer Ansichten zu etablieren. Die Kombination aus hoher Qualität, effizienter Berechnung und reduziertem Speicherbedarf macht 3DCS zu einer attraktiven Alternative zu bestehenden Verfahren. Die weitere Entwicklung und Anwendung von 3DCS könnte die Darstellung virtueller Welten und die Erstellung digitaler Zwillinge revolutionieren und neue Möglichkeiten in Bereichen wie virtuelle Realität, Augmented Reality und Computergrafik eröffnen.

Mindverse, als deutscher Anbieter von KI-gestützten Content-Lösungen, verfolgt die Entwicklungen im Bereich der 3D-Szenenrekonstruktion mit großem Interesse. Die Integration von innovativen Verfahren wie 3DCS in die Mindverse-Plattform könnte Kunden zukünftig noch leistungsfähigere Werkzeuge für die Erstellung und Bearbeitung von 3D-Inhalten bieten.

Bibliographie: https://arxiv.org/abs/2411.14974 https://convexsplatting.github.io/ https://www.youtube.com/watch?v=5N3OFHH7lbU https://x.com/janusch_patas/status/1860949176541987033 https://twitter.com/Scobleizer/status/1861835175107371013 https://paperreading.club/page?id=267808 https://twitter.com/rvandeghen/status/1861752413553561991 https://github.com/Lee-JaeWon/2024-Arxiv-Paper-List-Gaussian-Splatting https://www.researchgate.net/publication/372667406_3D_Gaussian_Splatting_for_Real-Time_Radiance_Field_Rendering https://paperswithcode.com/