Neue 3D-Generierungstechnologie von Stability AI mit SPAR3D-Modell vorgestellt

Stability AI veröffentlicht SPAR3D-Modell für die 3D-Generierung aus Einzelbildern

Stability AI hat sein neues, hochmodernes Modell zur 3D-Objekterstellung, Stable Point Aware 3D (SPAR3D), vorgestellt. Das Modell ermöglicht die Generierung von 3D-Modellen aus einzelnen 2D-Bildern in weniger als einer Sekunde und setzt damit neue Maßstäbe in der Geschwindigkeit und Effizienz der 3D-Generierung. Die Technologie wurde in Zusammenarbeit mit NVIDIA auf der CES vorgestellt und ist ideal für die Ausführung auf NVIDIA RTX AI PCs geeignet.

Zwei-Stufen-Architektur für präzise Ergebnisse

SPAR3D zeichnet sich durch eine innovative Zwei-Stufen-Architektur aus. In der ersten Stufe generiert ein spezielles Punktdiffusionsmodell eine detaillierte Punktwolke, die die grundlegende Struktur des Objekts erfasst. Diese Punktwolke dient als Zwischenrepräsentation und kann vom Benutzer bearbeitet werden, um die Form des endgültigen 3D-Modells anzupassen. In der zweiten Stufe verarbeitet ein Triplan-Transformer diese Punktwolke zusammen mit den Merkmalen des Originalbildes und erzeugt hochauflösende Triplan-Daten. Diese Daten steuern die endgültige Rekonstruktion und erfassen Geometrie, Textur und Beleuchtung des Objekts aus dem Quellbild.

Echtzeit-Bearbeitung und volle Strukturvorhersage

Die Verwendung einer Punktwolke als Zwischenstufe ermöglicht eine beispiellose Kontrolle über die 3D-Modellerstellung. Benutzer können die Punktwolke direkt bearbeiten, indem sie Punkte löschen, duplizieren, dehnen, hinzufügen oder neu einfärben. Dies ermöglicht eine Feinabstimmung des Modells in Echtzeit. SPAR3D liefert präzise Geometrien und detaillierte Vorhersagen für vollständige 360-Grad-Ansichten, einschliesslich typischerweise verdeckter Bereiche wie der Rückseite eines Objekts. Die Konvertierung der bearbeiteten Punktwolken in endgültige Netze dauert nur 0,3 Sekunden, was eine nahtlose Bearbeitung in Echtzeit ermöglicht. Aus einem einzigen Eingabebild generiert SPAR3D detaillierte 3D-Netze in nur 0.7 Sekunden pro Objekt.

Anwendungen und Verfügbarkeit

SPAR3D transformiert die 3D-Prototypenerstellung für Spieleentwickler, Produktdesigner und Umgebungsdesigner. Das Modell ist sowohl für die kommerzielle als auch für die nicht-kommerzielle Nutzung unter der Stability AI Community License kostenlos verfügbar. Unternehmen mit einem Jahresumsatz von mehr als 1 Million US-Dollar müssen sich für eine Enterprise-Lizenz an Stability AI wenden. Die Gewichte des Modells können über Hugging Face heruntergeladen werden, der Code ist auf GitHub verfügbar und die Integration ist über die Stability AI Developer Platform API möglich.

Integration in Hugging Face Spaces und Gradio

Eine SPAR3D-App ist bereits auf Hugging Face Spaces verfügbar. Diese App bietet einen einfachen Punktwolken-Editor, mit dem Benutzer die Punktwolken ziehen, neu einfärben und skalieren können. Die bearbeitete Punktwolke kann dann in die Demo hochgeladen werden, um ein neues 3D-Modell zu generieren. Die Integration in Gradio ermöglicht eine benutzerfreundliche Darstellung und Bearbeitung von Punktwolken innerhalb von 3D-Generierungspipelines.

Trainingsdaten und zukünftige Entwicklungen

SPAR3D wurde mit Renderings aus dem Objaverse-Datensatz trainiert, der unter der Open Data Commons Attribution License verfügbar ist. Stability AI verwendet eine verbesserte Rendering-Methode, die die Verteilung von Bildern in der realen Welt genauer nachbildet und die Verallgemeinerungsfähigkeit des Modells verbessert. Das Unternehmen arbeitet kontinuierlich an der Weiterentwicklung und Verbesserung seiner KI-Modelle und plant, zukünftig weitere Funktionen und Verbesserungen für SPAR3D bereitzustellen.

Bibliographie:

1. https://stability.ai/news/stable-point-aware-3d
2. https://huggingface.co/stabilityai/stable-point-aware-3d
3. https://github.com/Stability-AI/stable-point-aware-3d
4. https://github.com/gradio-app/gradio/issues/8459
5. https://arxiv.org/html/2501.04689v1
6. https://www.aibase.com/news/14591
7. https://www.reddit.com/r/StableDiffusion/comments/1hx4tli/new_form_stability_spar3d_stable_pointaware/