Neuer Ansatz zur 3D-Szenen-Synthese mit Multi-View Rectified Flow

3D-Szenen-Synthese: Ein neuer Ansatz mit Multi-View Rectified Flow

Die Erstellung von 3D-Szenen mittels Textbeschreibungen und deren anschließende Bearbeitung bieten ein enormes Potenzial für die Content-Erstellung. Intuitive Benutzerinteraktionen können den Prozess deutlich vereinfachen. Während neueste Entwicklungen 3D Gaussian Splatting (3DGS) für hochrealistische und Echtzeit-Rendering nutzen, mangelt es bestehenden Methoden oft an einem einheitlichen Framework für Generierung und Bearbeitung. Sie sind häufig spezialisiert und aufgabenorientiert.

Ein vielversprechender Ansatz zur Überwindung dieser Einschränkung ist SplatFlow. Dieses Framework ermöglicht sowohl die direkte Generierung als auch die Bearbeitung von 3DGS. SplatFlow besteht aus zwei Hauptkomponenten: einem Multi-View Rectified Flow (RF) Modell und einem Gaussian Splatting Decoder (GSDecoder).

Multi-View Rectified Flow Modell

Das Multi-View RF Modell arbeitet im latenten Raum und generiert gleichzeitig Multi-View-Bilder, Tiefeninformationen und Kameraposen, basierend auf Texteingaben. Dieser Ansatz adressiert Herausforderungen wie unterschiedliche Szenengrößen und komplexe Kamerabahnen in realen Umgebungen. Die gleichzeitige Generierung aller notwendigen Informationen im latenten Raum ermöglicht eine konsistente und kohärente Darstellung der 3D-Szene.

Gaussian Splatting Decoder

Der GSDecoder übersetzt die latenten Ausgaben des RF-Modells effizient in 3DGS-Repräsentationen. Dies geschieht durch eine Feed-Forward 3DGS-Methode, die eine schnelle und direkte Übersetzung ermöglicht. Die resultierenden 3D-Gaussians bilden die Grundlage für das Rendering der Szene.

Anwendungsbereiche von SplatFlow

Durch die Nutzung von trainingsfreien Inversions- und Inpainting-Techniken ermöglicht SplatFlow die nahtlose Bearbeitung von 3DGS und unterstützt eine breite Palette von 3D-Aufgaben. Dazu gehören:

Objektbearbeitung: Änderungen an Objekten innerhalb der Szene können direkt im 3DGS-Format vorgenommen werden.

Synthese neuer Ansichten: Aus den generierten 3D-Gaussians können beliebige Ansichten der Szene gerendert werden.

Schätzung der Kamerapose: Die Position und Ausrichtung der Kamera können aus den generierten Daten abgeleitet werden.

Besonders hervorzuheben ist, dass SplatFlow all diese Funktionen in einem einheitlichen Framework bietet, ohne dass zusätzliche komplexe Pipelines erforderlich sind. Dies vereinfacht den Workflow und ermöglicht eine effiziente Bearbeitung und Manipulation von 3D-Szenen.

Evaluierung und Ausblick

Die Leistungsfähigkeit von SplatFlow wurde anhand der Datensätze MVImgNet und DL3DV-7K validiert. Die Ergebnisse zeigen die Vielseitigkeit und Effektivität des Frameworks bei verschiedenen 3D-Generierungs-, Bearbeitungs- und Inpainting-basierten Aufgaben. SplatFlow stellt einen wichtigen Schritt in Richtung einer intuitiven und effizienten 3D-Szenen-Erstellung und -Bearbeitung dar und eröffnet neue Möglichkeiten für die Content-Produktion.

Bibliographie - Go, H., Park, B., Jang, J., Kim, J.-Y., Kwon, S., & Kim, C. (2024). SplatFlow: Multi-View Rectified Flow Model for 3D Gaussian Splatting Synthesis. arXiv preprint arXiv:2411.16443. - Du, X., Wang, Y., & Yu, X. (2024). MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis. arXiv preprint arXiv:2410.02103v1.