Fortschritte in der 3D-Darstellung durch hybride Repräsentationen

In der Welt der 3D-Animation und -Modellierung sind die Anforderungen an realistisches und effizient renderbares menschliches Verhalten stets gestiegen. Eine der neuesten Entwicklungen auf diesem Gebiet ist die hybride Repräsentation von 3D-Gaussian-Splatting und Meshes, die bemerkenswerte Fortschritte bei der Darstellung von menschlichen Avataren erzielt hat. Forscher und Entwickler haben innovative Methoden eingeführt, um die Herausforderungen bei der Darstellung von Bewegungen und Oberflächendetails in Echtzeit zu meistern.

Die Herausforderung der 3D-Darstellung

Die Nachfrage nach personalisierten, fotorealistischen und animierbaren menschlichen Avataren, die in Echtzeit gerendert werden können, umfasst verschiedene Anwendungsbereiche, darunter Gaming, erweiterte Realität (XR), Erzählungen und Telepräsentationen. Mit der zunehmenden Komplexität der Modelle steigen jedoch auch die Anforderungen an die Rechenleistung. Traditionelle Methoden, die auf der Erhöhung der Polygonanzahl und der Integration komplexer Textursysteme basieren, stoßen an ihre Grenzen, wenn es darum geht, Effizienz und Portabilität zu gewährleisten.

Neural Radiance Fields (NeRF) und ihre Grenzen

In den letzten Jahren haben Neural Radiance Fields (NeRF) erhebliche Fortschritte bei der Erfassung hochfrequenter Details in 3D-Avatar-Modellen gemacht. Diese Technik umfasst die Konstruktion von NeRF in einem kanonischen Raum und das Volumenrendering im posierten Raum. Dabei werden Strahlproben rückwärts von ihren posierten Positionen zu ihren kanonischen Ursprüngen verfolgt. Diese Rückwärtsabbildung kann jedoch zu Mehrdeutigkeiten führen, da ein einzelner Punkt im posierten Raum mehreren Punkten im kanonischen Raum entsprechen kann. Dies erschwert die präzise Darstellung von Details.

Hybride Repräsentation: Gaussian Splatting und Meshes

Um die Herausforderungen zu bewältigen, die durch die Begrenzungen von NeRF und MLP-basierter (Multilayer Perceptron) Bewegungssteuerung entstehen, wurde eine neuartige Lösung entwickelt. Inspiriert von der kürzlich vorgeschlagenen Gaussian-Splatting-Technik wird die Bewegungskontrolle der Gauss'schen Verteilungen explizit durch trainierbare Einbettungen auf einem Mesh gesteuert. Diese Einbettung wird durch baryzentrische Koordinaten und Verschiebungen auf einer Dreiecksfläche als Phong-Oberfläche beschrieben. Die poseabhängige Rotation und Skalierung passen sich dynamisch an die Deformation des Meshs an, während die poseinvarianten Eigenschaften stabil und konsistent bleiben.

Vorteile der hybriden Repräsentation

Die hybride Repräsentation von Gauss'schen Verteilungen und Meshes bietet mehrere wesentliche Vorteile:

• Die Verwendung des Meshs zur Darstellung von Körperbewegungen und Oberflächendeformationen ermöglicht eine hohe Effizienz und Editierbarkeit. Diese Flexibilität ist entscheidend, um den Avatar an verschiedene Szenarien und Bewegungen anzupassen.
• Die Anwendung von Gaussian Splatting bereichert das Modell, indem sie eine robuste Methode zur Erfassung hochfrequenter Geometrie- und Erscheinungsdetails bietet. Dies ist entscheidend, um ein Maß an Realismus zu erreichen, das herkömmliche Meshes allein nicht bieten können.
• Die Einbettungstechnik ermöglicht es, die Gauss'schen Verteilungen explizit durch die Mesh-Bewegungen zu steuern. Diese Integration führt zu einer effizienten, klaren und unmissverständlichen Methode zur Bewegungssteuerung, die die Rechenlast im Vergleich zu MLP-basierten Methoden erheblich reduziert.

Praxisanwendungen und Evaluierung

Ein prominentes Beispiel für die Anwendung dieser hybriden Repräsentation ist SplattingAvatar. Diese Methode kann aus einem monokularen Video trainiert werden und lässt sich effizient in Unity, einer beliebten Entwicklungsumgebung, portieren. SplattingAvatar erreicht Echtzeit-Rendering mit über 300 FPS auf einer modernen GPU und 30 FPS auf einem iPhone 13.

Unsere Methode unterscheidet sich von bestehenden hybriden Modellen wie AvatarReX und DELTA, die Avatare typischerweise in Körperteile wie Haare, Hände, Kleidung und Gesicht segmentieren. Stattdessen erreichen wir eine Entflechtung von Bewegung und Erscheinung. In der SplattingAvatar-Framework erfolgt das Rendering einheitlich durch Gaussian Splatting, was eine kohärente und harmonische Erscheinung über alle Teile des Avatars hinweg gewährleistet.

Zusammenfassung

Die Integration von Gaussian Splatting mit Meshes bietet eine neue Repräsentation von Avataren, die Realismus und Recheneffizienz erreicht. Unsere Ansatz nutzt eine optimierte Modellierung, die eine genaue Rekonstruktion ermöglicht, sowie Echtzeit-Rendering und Anpassbarkeit durch umfassende Evaluierung und Implementierung in Unity.

Quellen

https://arxiv.org/html/2403.05087v1
https://github.com/Anttwo/SuGaR
https://x.com/_akhaliq/status/1759455308450001292
https://arxiv.org/html/2407.12777v1
https://github.com/MrNeRF/awesome-3D-gaussian-splatting
https://arxiv-sanity-lite.com/?rank=pid&pid=2311.13404
https://openaccess.thecvf.com/content/CVPR2024/papers/Moreau_Human_Gaussian_Splatting_Real-time_Rendering_of_Animatable_Avatars_CVPR_2024_paper.pdf
https://arxiv-sanity-lite.com/?rank=pid&pid=2404.12379