Innovative KI-Modelle von Apple für die Zukunft der 3D-Interaktion

Fotogrammetrie neu gedacht: Apples KI-Modelle eröffnen spannende Möglichkeiten

Apples Forschungsabteilung für maschinelles Lernen hat kürzlich zwei innovative KI-Modelle vorgestellt, die das Potenzial haben, die Art und Weise, wie wir mit 3D-Inhalten interagieren, grundlegend zu verändern. Die Modelle Matrix3D und Stream Bridge könnten zukünftig in Apple-Produkten wie dem iPhone oder der Apple Vision Pro zum Einsatz kommen und sowohl die Erstellung als auch die Nutzung von 3D-Modellen revolutionieren.

Matrix3D: Vereinfachte 3D-Modellierung durch künstliche Intelligenz

Matrix3D verspricht eine erhebliche Vereinfachung der Fotogrammetrie, einem Verfahren zur Erstellung von 3D-Modellen aus Fotografien. Traditionell erfordert die Fotogrammetrie die Aufnahme zahlreicher Bilder eines Objekts aus verschiedenen Blickwinkeln. Diese Bilder müssen anschließend aufwendig zu einem 3D-Modell zusammengefügt werden. Matrix3D hingegen benötigt lediglich zwei bis drei Bilder, um ein detailliertes 3D-Modell zu generieren.

Das KI-Modell übernimmt dabei alle notwendigen Schritte der Fotogrammetrie, von der Schätzung der Position und Orientierung des Objekts bis hin zur Berechnung der Tiefeninformationen. Hierfür verarbeitet Matrix3D multimodale Daten, die sowohl aus den Bildern selbst als auch aus den Kameraparametern gewonnen werden. Trainiert wurde das Modell mittels "Masked Learning", einer Technik, bei der das Modell bereits während des Trainings mit nur wenigen Aufnahmen und den entsprechenden Positions-, Orientierungs- und Tiefeninformationen lernt, 3D-Modelle zu erstellen.

Stream Bridge: Ein proaktiver Assistent für die Interaktion mit Videoinhalten

Das zweite KI-Modell, Stream Bridge, wird von Apple als "proaktiver Streaming-Assistent" beschrieben. Es analysiert Videoinhalte in Echtzeit und ermöglicht es Nutzern, Fragen zu dem Gesehenen zu stellen. Beispielsweise könnte ein Nutzer der Apple Vision Pro die KI fragen, was auf einem schwer lesbaren Schild im Video steht.

Darüber hinaus kann Stream Bridge auch die Umgebung des Nutzers über die Kamera analysieren und proaktiv Hilfestellung anbieten. So könnte ein Nutzer, der ein Bild malen möchte, die KI fragen: "Wie male ich dieses Bild?". Stream Bridge würde dann Schritt-für-Schritt-Anleitungen geben, ohne dass der Nutzer immer wieder neue Fragen stellen müsste.

Zukunftsperspektiven und mögliche Anwendungsgebiete

Ob und wann diese Technologien in Apple-Produkten integriert werden, ist derzeit noch unklar. Die KI-Modelle befinden sich noch in einem frühen Stadium der Entwicklung. Denkbar ist jedoch, dass sie in zukünftigen Generationen der Apple Vision Pro oder des iPhones zum Einsatz kommen könnten. Die Integration von Matrix3D und Stream Bridge könnte die User Experience erheblich verbessern und neue Möglichkeiten für die Interaktion mit 3D-Inhalten eröffnen.

Die vorgestellten KI-Modelle verdeutlichen Apples kontinuierliche Bemühungen, die Grenzen der Technologie zu erweitern und innovative Lösungen für die Herausforderungen der Zukunft zu entwickeln. Die Kombination aus vereinfachter 3D-Modellierung und proaktiver Unterstützung bei der Interaktion mit Videoinhalten birgt ein enormes Potenzial für diverse Anwendungsbereiche, von der Unterhaltungsindustrie bis hin zur Bildung und Forschung.

Bibliographie: https://t3n.de/news/vison-pro-trifft-matrix-3d-1687148/ https://t3n.de/ https://t3n.de/news/iphone-18-pro-face-id-unter-display-1687298/ https://t3n.de/tag/apple-arcade/ https://t3n.de/news/ https://t3n.de/tag/iphone/ https://t3n.de/tag/software-entwicklung/ https://t3n.de/news/zukunft-apple-intelligence-ki-modelle-fuer-iphone-vision-pro-1687148/?utm_source=rss&utm_medium=feed&utm_campaign=t3n-news https://t3n.de/tag/smartphone/ https://t3n.de/tag/apple/