Neue Ansätze in der 3D-Modellierung durch KI-Kooperation von Stability AI und NVIDIA

3D-Modellierung revolutioniert: KI-Partnerschaft zwischen Stability AI und NVIDIA

Die Welt der 3D-Modellierung erlebt einen Umbruch. Stability AI und NVIDIA arbeiten gemeinsam an innovativen KI-Lösungen, die die Erstellung von 3D-Assets grundlegend verändern könnten. Im Zentrum der Aufmerksamkeit steht die Möglichkeit, aus einem einzigen Bild hochwertige 3D-Modelle zu generieren und diese anschließend präzise zu bearbeiten.

Die Technologie hinter der Innovation

Die Zusammenarbeit von Stability AI und NVIDIA konzentriert sich auf KI-Modelle, die auf fortschrittlichen Deep-Learning-Technologien basieren. Ein Beispiel hierfür ist Stable Point Aware 3D (SPAR3D), ein Modell, das die Echtzeitbearbeitung und die vollständige Strukturgenerierung von 3D-Objekten aus einem einzigen Bild in weniger als einer Sekunde ermöglicht. SPAR3D kombiniert präzise Punktwolken-Sampling mit fortschrittlicher Mesh-Generierung, um eine beispiellose Kontrolle über die Erstellung von 3D-Assets zu ermöglichen. Ein weiterer Durchbruch ist TripoSR, ein in Zusammenarbeit mit Tripo AI entwickeltes Modell, das ebenfalls die schnelle Generierung von 3D-Modellen aus einzelnen Bildern ermöglicht, und das auch mit geringen Rechenressourcen, sogar ohne GPU, funktioniert.

NVIDIAs Beitrag zu dieser Entwicklung ist unter anderem LATTE3D, ein generatives KI-Modell, das Textprompts in 3D-Darstellungen umwandelt. Ähnlich einem virtuellen 3D-Drucker erstellt LATTE3D innerhalb von Sekundenbruchteilen Objekte und Tiere in einem gängigen Format für Standard-Rendering-Anwendungen. Die so generierten Formen können leicht in virtuelle Umgebungen für die Entwicklung von Videospielen, Werbekampagnen, Designprojekten oder virtuelle Trainingsgelände für Roboter integriert werden.

Anwendungsbereiche und Potenziale

Die neuen KI-Modelle bieten ein enormes Potenzial für verschiedene Branchen. Spieleentwickler, Produktdesigner und Umgebungsgestalter können von der schnellen Prototypenerstellung profitieren. Die Möglichkeit, Punktwolken direkt zu bearbeiten – durch Löschen, Duplizieren, Strecken, Hinzufügen von Funktionen oder Umfärben von Punkten – bietet eine bisher unerreichte Kontrolle über den Gestaltungsprozess. Die vollständige Strukturvorhersage, einschließlich normalerweise verdeckter Bereiche wie der Rückseite eines Objekts, verbessert die 3D-Konstruktion erheblich.

Auch im E-Commerce, in der Architektur und im Bereich AR/VR eröffnen sich neue Möglichkeiten. Die schnelle Erstellung von 3D-Modellen vereinfacht die Produktpräsentation, die Visualisierung von Gebäuden und die Gestaltung immersiver Erlebnisse. Die Integration der Modelle in Plattformen wie NVIDIA Omniverse, die OpenUSD-basierte 3D-Workflows und -Anwendungen ermöglicht, erweitert die Anwendungsmöglichkeiten zusätzlich.

Zugänglichkeit und Lizenzierung

Stability AI verfolgt eine offene Strategie und stellt viele seiner Modelle, darunter SPAR3D und TripoSR, unter permissiven Lizenzen für kommerzielle und nicht-kommerzielle Nutzung zur Verfügung. Die Modelle können über Plattformen wie Hugging Face heruntergeladen und der Code auf GitHub abgerufen werden. Über die Stability AI Developer Platform API ist zudem eine Integration in eigene Anwendungen möglich.

Die Demokratisierung dieser Technologie durch offene Lizenzen und die Verfügbarkeit über gängige Plattformen fördert die Innovation und ermöglicht es Entwicklern weltweit, die Möglichkeiten der KI-gestützten 3D-Modellierung zu erforschen und neue Anwendungen zu entwickeln.

Zukunftsausblick

Die Partnerschaft zwischen Stability AI und NVIDIA markiert einen bedeutenden Schritt in der Entwicklung der 3D-Modellierung. Die Geschwindigkeit, mit der 3D-Assets erstellt und bearbeitet werden können, verändert die Arbeitsabläufe in verschiedenen Branchen grundlegend. Die Kombination aus leistungsstarker Hardware und innovativer KI-Software verspricht weitere Fortschritte und eröffnet neue kreative Möglichkeiten für die Zukunft der 3D-Gestaltung.

Bibliographie: - https://twitter.com/EHuanglu/status/1878584037461438882 - https://stability.ai/news/introducing-stable-fast-3d - https://stability.ai/news/stable-point-aware-3d - https://blogs.nvidia.com/blog/latte-3d-generative-ai-research/ - https://www.youtube.com/watch?v=AYzhX5W9pdg - https://parametric-architecture.com/stable-fast-3d-stability-ai-introduces-3d-asset-generator/?srsltid=AfmBOooNr4h2zlboipQuuKeCDQjoyMbtlDS8d34kWtnkQCDyzMOHqXZO - https://www.3daistudio.com/ - https://build.nvidia.com/stabilityai