Präzise 3D-Humankörper-Rekonstruktion aus einem Einzelbild mithilfe von Gaussian Splatting und Transformatoren

In den letzten Jahren hat die Rekonstruktion realistischer 3D-Modelle des menschlichen Körpers aus monokularen Bildern erhebliche Fortschritte gemacht. Diese Technologie findet Anwendung in kreativen Industrien, Mensch-Computer-Schnittstellen und im Gesundheitswesen. Ein neues Verfahren, das als Gaussian Splatting Transformer (GST) bekannt ist, hat nun das Potenzial, diese Prozesse erheblich zu verbessern.

Herausforderungen und Lösungsansätze

Die Vorhersage von 3D-Gaussian-Gemischen für den menschlichen Körper aus einem einzigen Eingabebild stellt eine große Herausforderung dar. Dies liegt daran, dass es sich um eine nicht-uniforme Dichte handelt, die strengen physikalischen Einschränkungen unterliegt. Gleichzeitig muss das System flexibel genug sein, um verschiedene Kleidungsstücke und Posen zu berücksichtigen. Die Grundlage dieser Technologie bildet das 3D Gaussian Splatting (3DGS), eine Szene-Repräsentation, die aus einer Mischung von Gaussians besteht.

Verwendung von Standardisierten Meshes

Ein wesentlicher Aspekt des GST-Ansatzes ist die Verwendung von standardisierten Meshes, wie dem SMPL-Modell, um ausreichende Dichten und anfängliche Positionen für die Gaussians bereitzustellen. Diese standardisierten Meshes bieten eine gute Ausgangsbasis für die Vorhersage der endgültigen 3D-Modelle.

Training des Transformer-Modells

Das Transformer-Modell wird darauf trainiert, kleine Anpassungen an den Positionen der Gaussians sowie andere Attribute und SMPL-Parameter vorherzusagen. Diese Kombination ermöglicht eine schnelle Inferenz von 3D-Humankörpermodellen aus einem einzigen Bild ohne zeitaufwändige Optimierungen zur Testzeit oder teure Diffusionsmodelle.

Vorteile und Anwendungen

Die GST-Technologie bietet mehrere Vorteile:

- Schnelle Inferenzgeschwindigkeit (50 FPS) - Keine Notwendigkeit für direkte 3D-Supervision - Bessere Anpassung an Kleidung und andere Variationen

Diese Eigenschaften machen GST besonders nützlich für Anwendungen, die eine schnelle und präzise 3D-Modellierung erfordern, wie z.B. in der Film- und Spieleindustrie oder in der Entwicklung von Mensch-Computer-Schnittstellen.

Empirische Ergebnisse

Empirische Studien zeigen, dass die Kombination von standardisierten Meshes und Transformers eine schnelle und präzise Inferenz von 3D-Modellen ermöglicht. Dies verbessert auch die Genauigkeit der 3D-Pose-Schätzung, da die Modelle besser an verschiedene Kleidungsstücke und Posen angepasst werden können.

Verfügbarkeit des Codes

Der Code für das GST-Projekt ist auf der Projektwebsite verfügbar, was die Reproduzierbarkeit und Weiterentwicklung durch andere Forscher erleichtert.

Fazit

Die Entwicklung des Gaussian Splatting Transformers stellt einen bedeutenden Fortschritt im Bereich der 3D-Humankörpermodellierung dar. Diese Technologie ermöglicht nicht nur eine schnelle und präzise Inferenz von 3D-Modellen aus einem einzigen Bild, sondern verbessert auch die Anpassung an verschiedene Kleidung und Posen. Dies eröffnet neue Möglichkeiten für eine Vielzahl von Anwendungen, von kreativen Industrien bis hin zu Mensch-Computer-Schnittstellen und dem Gesundheitswesen.

Bibliographie

- https://www.arxiv.org/abs/2409.04196 - https://www.youtube.com/watch?v=nlo6VN_WXrs - https://github.com/MrNeRF/awesome-3D-gaussian-splatting - https://arxiv.org/abs/2406.12459 - https://arxiv-sanity-lite.com/?rank=pid&pid=2404.16012 - https://www.researchgate.net/publication/381518470_HumanSplat_Generalizable_Single-Image_Human_Gaussian_Splatting_with_Structure_Priors - https://modelzoo.co/ - https://humansplat.github.io/ - https://www.researchgate.net/publication/359001590_3D_Human_Texture_Estimation_from_a_Single_Image_with_Transformers - https://github.com/JosephPai/Awesome-Talking-Face