KI-System GenEx revolutioniert die virtuelle Erkundung von 3D-Umgebungen

KI lernt, um die Ecke zu denken: GenEx ermöglicht virtuelle Erkundung von 3D-Welten

Künstliche Intelligenz (KI) macht rasante Fortschritte, und die Fähigkeit, Umgebungen zu verstehen und in ihnen zu navigieren, ist ein zentraler Aspekt dieser Entwicklung. Forscher der Johns Hopkins University haben nun ein KI-System namens GenEx (Generative World Explorer) entwickelt, das es KI-Agenten ermöglicht, ihre Umgebung virtuell zu erkunden und sozusagen "um die Ecke zu denken".

GenEx basiert auf der Idee, aus einem einzigen Bild eine vollständig erkundbare 3D-Umgebung zu generieren. Anstatt reale Fotos zu verwenden, trainierten die Forscher GenEx mit virtuellen Umgebungen aus Game-Engines wie Unreal Engine 5 und Unity. Dies ermöglichte es ihnen, effizient umfangreiche und vielfältige Trainingsdaten zu sammeln. Der Trainingsprozess verwendet sogenannte Cubemaps, eine Methode zur Projektion von 360-Grad-Ansichten auf sechs Quadrate, die einen Würfel bilden. Durch die systematische Erfassung vordefinierter Erkundungspfade in diesen virtuellen Welten lernte GenEx, nahtlose Übergänge zwischen verschiedenen Blickwinkeln zu erstellen.

Die Ergebnisse sind beeindruckend: Selbst bei der "Erkundung" von bis zu 20 Metern in den generierten Umgebungen bleiben die Bilder stabil und kohärent. Standardmäßige Qualitätsmetriken zeigen geringe Fehlerraten, was auf einen hohen Realismus der generierten Visualisierungen hindeutet. GenEx kann auch Vogelperspektiven generieren, indem es sich entlang der vertikalen Achse bewegt, und ermöglicht so KI-Agenten eine umfassendere Sicht auf ihre Umgebung – ähnlich einer Drohnenperspektive, jedoch ohne den Einsatz einer Drohne.

Von der virtuellen Erkundung zur Entscheidungsfindung

Ein besonders interessantes Anwendungsgebiet von GenEx liegt in der KI-gestützten Entscheidungsfindung. Die Forscher demonstrierten dies anhand von zwei Verkehrsszenarien. Im ersten Fall nähert sich ein KI-Agent einer unmarkierten Kreuzung und sieht ein entgegenkommendes Fahrzeug. Mit nur einem Bild würde der Agent sicherheitshalber anhalten. Durch die virtuelle Erkundung verschiedener Blickwinkel mit GenEx kann er jedoch ein Stoppschild erkennen, das dem anderen Fahrzeug zugewandt ist, und sich entscheiden, weiterzufahren, um einen Rückstau zu vermeiden.

Im zweiten Szenario muss ein Agent an einer roten Ampel entscheiden, ob er rechts abbiegen soll. Die Situation wird durch ein herannahendes Auto und einen Fußgänger, der die Straße überquert, erschwert. Durch die Erkundung mehrerer Blickwinkel mit GenEx erkennt der Agent, dass er die Sichtlinie zwischen dem Auto und dem Fußgänger blockiert. Anstatt einfach zu warten, entscheidet er sich, beide Parteien vor der potenziellen Gefahr zu warnen.

Die Forscher vergleichen dies mit der menschlichen Vorstellungskraft: Wir müssen nicht physisch um ein Feuerwehrauto herumgehen, um zu wissen, dass es wahrscheinlich die gesamte Straße blockiert, oder um ein Stoppschild herumlaufen, um zu wissen, was sich auf seiner Rückseite befindet. GenEx verleiht KI-Agenten ähnliche imaginative Fähigkeiten.

GenEx und Mindverse: Potenziale für maßgeschneiderte KI-Lösungen

Die Technologie von GenEx eröffnet spannende Möglichkeiten für Unternehmen wie Mindverse, die sich auf die Entwicklung maßgeschneiderter KI-Lösungen spezialisiert haben. Die Fähigkeit von KI-Agenten, ihre Umgebung virtuell zu erkunden und auf Basis dieser Informationen Entscheidungen zu treffen, bietet Potenzial für zahlreiche Anwendungen, darunter:

- Optimierung von Chatbots und Voicebots durch verbessertes Situationsverständnis - Entwicklung von KI-Suchmaschinen, die kontextbezogene Informationen liefern - Aufbau von Wissenssystemen, die komplexe Szenarien simulieren können - Erstellung von virtuellen Trainingsumgebungen für autonome Systeme

Obwohl GenEx vielversprechende Ergebnisse liefert, betonen die Forscher auch die bestehenden Herausforderungen. Die Überbrückung der Lücke zwischen imaginierten und realen Umgebungen bleibt schwierig. Zukünftige Forschung muss sich darauf konzentrieren, das System an reale Sensordaten und dynamische Bedingungen anzupassen.

Fazit

GenEx stellt einen wichtigen Schritt in der Entwicklung von KI-Systemen dar, die in der Lage sind, ihre Umgebung zu verstehen und basierend auf virtueller Erkundung fundierte Entscheidungen zu treffen. Die Technologie hat das Potenzial, die Art und Weise, wie KI-Agenten mit der Welt interagieren, grundlegend zu verändern und neue Möglichkeiten für innovative Anwendungen in verschiedenen Branchen zu eröffnen.

Bibliographie:

1. https://the-decoder.com/genex-tries-to-teach-ai-to-imagine-whats-around-the-corner/
2. https://hub.jhu.edu/2024/12/19/a-generated-world-of-pure-imagination/
3. https://generative-world-explorer.github.io/
4. https://github.com/Beckschen/genex
5. https://www.linkedin.com/posts/jieneng-chen-53254011a_introducing-genex-generative-world-explorer-activity-7265122275677417473-fmbg
6. https://storykit.io/storykit-filter-test-load-more?70b870ac_page=53
7. https://science.slashdot.org/story/19/09/18/1441221/ai-learned-to-use-tools-after-nearly-500-million-games-of-hide-and-seek?
8. https://singularityhub.com/2016/02/15/where-artificial-intelligence-is-now-and-whats-just-around-the-corner/
9. https://science.slashdot.org/story/22/01/29/049206/everyday-objects-can-run-artificial-intelligence-software?sdsrc=next
10. https://www.buzzfeed.com/sienaegiljum/ai-images-facebook-boomers