Ein Diffusionsansatz zur Beleuchtungsfeld-Neuausleuchtung mit Multi-Illumination-Synthese

Einführung

Radiance Fields haben kürzlich die 3D-Szenenerfassung aus Bildern revolutioniert. Solche Erfassungen beinhalten typischerweise eine Multi-View-Serie von Fotografien, die unter denselben Lichtbedingungen aufgenommen wurden. Die Neuausleuchtung solcher Radiance Fields ist schwierig, da Licht- und Materialeigenschaften miteinander verknüpft sind (z.B., ist dies ein Schatten oder einfach eine dunklere Farbe?) und das inverse Problem schlecht gestellt ist.

Das Problem der Beleuchtungsfeld-Neuausleuchtung

Die Neuausleuchtung von Radiance Fields ist besonders problematisch für Multi-View-Daten, die meist unter nur einer Beleuchtungsbedingung erfasst werden. Dies wird noch schwieriger, wenn die Szene mehrere Objekte enthält. Eine Lösung besteht darin, Datensätze mit mehreren Beleuchtungen zu erfassen, was jedoch mit einem hohen Aufwand verbunden ist. Eine andere Möglichkeit besteht darin, Vorwissen zu nutzen, indem man ein neuronales Netzwerk auf synthetischen Daten trainiert, um intrinsische Eigenschaften oder neu beleuchtete Bilder vorherzusagen.

Ein neuer Ansatz durch 2D-Diffusionsmodelle

In diesem Artikel stellen wir eine Methode vor, um relightable Radiance Fields aus Einzelbeleuchtungsdaten durch die Nutzung von Vorwissen aus 2D-Bilddiffusionsmodellen zu erstellen. Zunächst wird ein 2D-Diffusionsmodell auf einem Multi-Illumination-Datensatz feinabgestimmt, der durch Lichtausrichtung konditioniert ist. Dies ermöglicht es uns, eine Einzelbeleuchtungsaufnahme in einen realistischen, aber möglicherweise inkonsistenten, Multi-Illumination-Datensatz umzuwandeln.

Methodik

Unsere Methode besteht aus drei Hauptkomponenten:

- Ein 2D-Beleuchtungsneuronales Netzwerk mit direkter Kontrolle der Lichtausrichtung. - Nutzung dieses Netzwerks, um eine Multi-View-Erfassung mit Einzelbeleuchtung in eine virtuelle Multi-Beleuchtungserfassung umzuwandeln. - Erstellung eines relightable Radiance Fields, das Ungenauigkeiten in den synthetisierten neu beleuchteten Eingabebildern berücksichtigt und eine Multi-View-konsistente Beleuchtungslösung bietet.

Ergebnisse und Bewertung

Unsere Methode zeigt, dass es möglich ist, komplette Szenen realistisch neu zu beleuchten, indem man 2D-Diffusionsmodellvorwissen ausnutzt. Wir haben sowohl synthetische als auch reale Multi-View-Daten unter Einzelbeleuchtung untersucht und gezeigt, dass unsere Methode erfolgreich 2D-Diffusionsmodellvorwissen nutzt, um eine realistische 3D-Neuausleuchtung für komplette Szenen zu ermöglichen.

Vergleich mit bestehenden Methoden

Im Vergleich zu bestehenden Methoden, die auf genauen Geometrie- und Oberflächennormalen basieren, ist unsere Methode besser in der Lage, unordentliche Szenen mit komplexer Geometrie und reflektierenden BRDFs zu behandeln. Wir vergleichen unsere Methode mit Outcast, Relightable 3D Gaussians und TensoIR.

Schlussfolgerung

Zusammenfassend bietet unsere Methode eine interaktive Lösung zur Neuausleuchtung von Multi-View-Datensätzen, die unter einer einzigen Beleuchtungsbedingung erfasst wurden. Dies geschieht in Echtzeit durch die Nutzung von 2D-Diffusionsmodellvorwissen und die Integration einer kleinen Multi-Layer Perceptron sowie eines zusätzlichen Feature-Vektors zur Korrektur von Beleuchtungsinkonsistenzen zwischen Ansichten.

Bibliographie

https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/ https://arxiv.org/abs/2409.08947 https://arxiv.org/html/2409.08947v1 https://www.researchgate.net/publication/382522393_A_Diffusion_Approach_to_Radiance_Field_Relighting_using_Multi-Illumination_Synthesis https://www.youtube.com/watch?v=1vR0TsAuH1Q https://ouci.dntb.gov.ua/en/works/7AJB8vk4/ https://twitter.com/julienphilip2