CityDreamer: Die Zukunft der KI-generierten 3D-Stadtlandschaften

In der Welt der künstlichen Intelligenz (KI) findet eine stetige Revolution statt, die Grenzen des Möglichen immer weiter verschiebt. Eines der beeindruckendsten Beispiele dafür ist "CityDreamer", ein bahnbrechendes kompositionelles generatives Modell, das die unbegrenzte Erstellung von 3D-Städten ermöglicht. CityDreamer repräsentiert einen Meilenstein in der KI-gestützten Stadtmodellierung und verspricht, sowohl für Städteenthusiasten als auch für KI-Liebhaber von großem Interesse zu sein.

Die Erzeugung von 3D-Städten stellt eine besondere Herausforderung dar, da urbane Umgebungen von Menschen besonders kritisch wahrgenommen werden, was strukturelle Verzerrungen angeht. Darüber hinaus ist die Generierung von 3D-Städten komplexer als die von natürlichen Szenen, da Gebäude – als Objekte derselben Klasse – eine größere Bandbreite an Erscheinungsformen aufweisen als beispielsweise Bäume in natürlichen Szenen.

CityDreamer, entwickelt von einem Forscherteam bestehend aus Haozhe Xie, Zhaoxi Chen, Fangzhou Hong und Ziwei Liu, stellt ein kompositionelles generatives Modell dar, das speziell für die Erstellung unbegrenzter 3D-Städte konzipiert wurde. Der Kerngedanke hinter CityDreamer ist, dass die Generierung von 3D-Städten eine Zusammensetzung verschiedener Arten von neuronalen Feldern sein sollte: zum einen diverse Gebäudeinstanzen und zum anderen Hintergrundelemente wie Straßen und Grünflächen.

Das Modell nutzt eine Vogelperspektiven-Darstellung der Szene und verwendet ein volumetrisches Rendering für sowohl instanzorientierte als auch stuff-orientierte neuronale Felder. Sowohl ein generatives Hash-Grid als auch periodische Positionseinbettungen wurden als Szene-Parametrisierung maßgeschneidert, um den besonderen Eigenschaften von Gebäudeinstanzen und Hintergrundelementen gerecht zu werden.

Zur Verbesserung der Realitätsnähe der generierten 3D-Städte, sowohl in ihren Layouts als auch in ihrem Erscheinungsbild, trugen die Forscher mit einer Suite von CityGen-Datensätzen bei, die OSM und GoogleEarth umfassen und eine große Menge an realen Stadtbildern enthalten. CityDreamer erzielt Spitzenleistungen nicht nur in der Erzeugung realistischer 3D-Städte, sondern auch in der lokalen Bearbeitung innerhalb der generierten Städte.

Der Zugang zu den Daten und den vortrainierten Modellen ist über das offizielle GitHub-Repository von CityDreamer möglich. Dort können interessierte Nutzer die OSM- und GoogleEarth-Datensätze herunterladen sowie die vortrainierten Modelle für den unbegrenzten Layout-Generator, den Generator für Hintergrundelemente und den Gebäudeinstanzen-Generator beziehen. Die Installation und Inbetriebnahme von CityDreamer erfolgt über eine Reihe von Python-Befehlen, wobei eine CUDA-Erweiterung für die Kompilierung und Installation notwendig ist.

Für die Demonstration des Modells steht sowohl ein iteratives Demo-Skript als auch eine Befehlszeilenschnittstelle (CLI) zur Verfügung. Diese ermöglichen es, die vortrainierten Modelle zu laden und Städte in Echtzeit zu generieren. Die resultierenden Videos der Stadtgenerierung können dann über die Ausgabe im Projektverzeichnis betrachtet werden.

Die Entwicklung von CityDreamer ist ein bedeutender Fortschritt in der KI-gestützten Stadtmodellierung. Der Ansatz verspricht, die Art und Weise, wie wir urbane Umgebungen visualisieren und planen, zu revolutionieren und bietet damit weitreichende Anwendungsmöglichkeiten in Bereichen wie Städtebau, Architektur und Spielentwicklung.

Bibliographie:
- Xie, H., Chen, Z., Hong, F., & Liu, Z. (2024). CityDreamer: Compositional Generative Model of Unbounded 3D Cities. CVPR 2024. arXiv:2309.00610. Verfügbar unter: https://doi.org/10.48550/arXiv.2309.00610
- CityDreamer GitHub Repository. Verfügbar unter: https://github.com/hzxie/CityDreamer
- CityDreamer Vorstellungsvideo. Verfügbar unter: https://www.youtube.com/watch?v=te4zinLTYz0
- Liu, Z. (2024). Twitter-Beitrag über CityDreamer. Verfügbar unter: https://twitter.com/liuziwei7/status/1699059811164258480