Neue Dimensionen der 3D Avatar Darstellung durch innovative hybride Techniken

Hybride Repräsentation: Gaussian Splatting und Meshes

Um die Herausforderungen zu bewältigen, die durch die Begrenzungen von NeRF und MLP-basierter (Multilayer Perceptron) Bewegungssteuerung entstehen, wurde eine neuartige Lösung entwickelt. Inspiriert von der kürzlich vorgeschlagenen Gaussian-Splatting-Technik wird die Bewegungskontrolle der Gauss'schen Verteilungen explizit durch trainierbare Einbettungen auf einem Mesh gesteuert. Diese Einbettung wird durch baryzentrische Koordinaten und Verschiebungen auf einer Dreiecksfläche als Phong-Oberfläche beschrieben. Die poseabhängige Rotation und Skalierung passen sich dynamisch an die Deformation des Meshs an, während die poseinvarianten Eigenschaften stabil und konsistent bleiben.

Vorteile der hybriden Repräsentation

Die hybride Repräsentation von Gauss'schen Verteilungen und Meshes bietet mehrere wesentliche Vorteile:

• Die Verwendung des Meshs zur Darstellung von Körperbewegungen und Oberflächendeformationen ermöglicht eine hohe Effizienz und Editierbarkeit. Diese Flexibilität ist entscheidend, um den Avatar an verschiedene Szenarien und Bewegungen anzupassen.
• Die Anwendung von Gaussian Splatting bereichert das Modell, indem sie eine robuste Methode zur Erfassung hochfrequenter Geometrie- und Erscheinungsdetails bietet. Dies ist entscheidend, um ein Maß an Realismus zu erreichen, das herkömmliche Meshes allein nicht bieten können.
• Die Einbettungstechnik ermöglicht es, die Gauss'schen Verteilungen explizit durch die Mesh-Bewegungen zu steuern. Diese Integration führt zu einer effizienten, klaren und unmissverständlichen Methode zur Bewegungssteuerung, die die Rechenlast im Vergleich zu MLP-basierten Methoden erheblich reduziert.

Praxisanwendungen und Evaluierung

Ein prominentes Beispiel für die Anwendung dieser hybriden Repräsentation ist SplattingAvatar. Diese Methode kann aus einem monokularen Video trainiert werden und lässt sich effizient in Unity, einer beliebten Entwicklungsumgebung, portieren. SplattingAvatar erreicht Echtzeit-Rendering mit über 300 FPS auf einer modernen GPU und 30 FPS auf einem iPhone 13.

Unsere Methode unterscheidet sich von bestehenden hybriden Modellen wie AvatarReX und DELTA, die Avatare typischerweise in Körperteile wie Haare, Hände, Kleidung und Gesicht segmentieren. Stattdessen erreichen wir eine Entflechtung von Bewegung und Erscheinung. In der SplattingAvatar-Framework erfolgt das Rendering einheitlich durch Gaussian Splatting, was eine kohärente und harmonische Erscheinung über alle Teile des Avatars hinweg gewährleistet.

Zusammenfassung

Die Integration von Gaussian Splatting mit Meshes bietet eine neue Repräsentation von Avataren, die Realismus und Recheneffizienz erreicht. Unsere Ansatz nutzt eine optimierte Modellierung, die eine genaue Rekonstruktion ermöglicht, sowie Echtzeit-Rendering und Anpassbarkeit durch umfassende Evaluierung und Implementierung in Unity.

Quellen

1. https://arxiv.org/html/2403.05087v1
2. https://github.com/Anttwo/SuGaR
3. https://x.com/_akhaliq/status/1759455308450001292
4. https://arxiv.org/html/2407.12777v1
5. https://github.com/MrNeRF/awesome-3D-gaussian-splatting
6. https://arxiv-sanity-lite.com/?rank=pid&pid=2311.13404
7. https://openaccess.thecvf.com/content/CVPR2024/papers/Moreau_Human_Gaussian_Splatting_Real-time_Rendering_of_Animatable_Avatars_CVPR_2024_paper.pdf
8. https://arxiv-sanity-lite.com/?rank=pid&pid=2404.12379