Neue Ansätze in der 3D-Generierung: Fortschritte durch Videodaten

Die Welt der 3D-Generierung erlebt derzeit einen rasanten Wandel. Traditionelle Modelle, die auf begrenzten 3D-Datensätzen oder 2D-Diffusionsmodellen basieren, stoßen zunehmend an ihre Grenzen. Ein neuer Ansatz, der auf riesigen Mengen an frei verfügbaren Videodaten basiert, verspricht nun, diese Beschränkungen zu überwinden.

3D-Modellierung aus Videos: Ein neuer Ansatz

Forscher des Beijing Academy of Artificial Intelligence (BAAI) haben ein innovatives Modell namens See3D entwickelt, das 3D-Inhalte aus großen Mengen von Internetvideos generieren kann. Der Kern dieses Ansatzes ist das Lernen von 3D-Prioren direkt aus visuellen Inhalten von Videos – "You See it, You Got it", wie die Forscher es nennen.

WebVi3D: Ein riesiger Datensatz für das 3D-Training

Um See3D zu trainieren, wurde ein neuer Datensatz namens WebVi3D erstellt. Dieser umfasst beeindruckende 320 Millionen Frames aus 16 Millionen Videoclips. Die Erstellung von WebVi3D war eine Herausforderung, da die Rohdaten aus dem Internet von unterschiedlicher Qualität sind. Eine eigens entwickelte Datenpipeline filtert automatisch Videos mit Inkonsistenzen zwischen den Ansichten oder unzureichenden Beobachtungsdaten heraus, um die Qualität des Datensatzes zu gewährleisten.

Visuelle Bedingungen statt Pose-Annotationen

Eine besondere Schwierigkeit beim Lernen von 3D-Prioren aus Videos ist das Fehlen von Informationen über die 3D-Geometrie oder Kamerapositionen. Die manuelle Annotation von Posen für Videos in dieser Größenordnung wäre extrem aufwendig. Um dieses Problem zu umgehen, verwendet See3D ein neuartiges Konzept der "visuellen Bedingung". Dabei handelt es sich um ein rein 2D-induktives visuelles Signal, das durch Hinzufügen von zeitabhängigem Rauschen zu maskierten Videodaten erzeugt wird. Dieser Ansatz eliminiert die Notwendigkeit von Pose-Annotationen.

See3D in der Praxis: Ein Warping-basierter Ansatz

See3D wird in eine Warping-basierte Pipeline integriert, um hochqualitative 3D-Modelle zu generieren. Dieser Ansatz ermöglicht die Erstellung von detaillierten 3D-Objekten und Szenen aus Videomaterial. Die Ergebnisse zeigen, dass See3D im Vergleich zu Modellen, die auf teuren und begrenzten 3D-Datensätzen trainiert wurden, bemerkenswerte Zero-Shot- und Open-World-Generierungsfähigkeiten aufweist.

Potenzial und Ausblick

See3D eröffnet neue Möglichkeiten für die 3D-Generierung. Die Nutzung von riesigen, frei verfügbaren Videodaten ermöglicht die Erstellung von vielfältigen und realistischen 3D-Modellen. Dieser Ansatz könnte die Entwicklung von Anwendungen in Bereichen wie virtuelle Realität, Gaming, E-Commerce und Design revolutionieren. Zukünftige Forschung könnte sich auf die Verbesserung der Generierungsqualität und die Erweiterung der Anwendungsmöglichkeiten konzentrieren.

Mindverse: KI-Partner für Content-Erstellung und maßgeschneiderte Lösungen

Mindverse bietet als deutsches All-in-One-Content-Tool eine umfassende Plattform für KI-gestützte Text-, Bild- und Inhaltserstellung. Darüber hinaus entwickelt Mindverse maßgeschneiderte KI-Lösungen, darunter Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme. Als KI-Partner unterstützt Mindverse Unternehmen bei der effizienten und innovativen Content-Erstellung und der Entwicklung individueller KI-Anwendungen.

Bibliographie https://www.reddit.com/r/DigitalArt/comments/1cmpywi/free_program_that_has_posable_3d_models_you_can/ https://arxiv.org/abs/1711.09250 https://paperswithcode.com/paper/learning-3d-human-dynamics-from-video https://arxiv.org/abs/2304.01186 https://www.youtube.com/watch?v=nVIMVBmAi_8 https://forum.bambulab.com/t/3d-program-for-modelling/69756 https://github.com/timzhang642/3D-Machine-Learning arxiv:2412.06699