News

Aktuelle Entwicklungen in multimodalen Modellen und Robotik

Aktuelle Entwicklungen in multimodalen Modellen und Robotik

Das Wichtigste in Kürze

  • Aktuelle Forschungsergebnisse im Bereich der Künstlichen Intelligenz zeigen Fortschritte bei multimodalen Modellen und Robotik.
  • Baidu hat das Modell ERNIE 5.0 vorgestellt, ein autoregressives multimodales Fundamentmodell, das Text-, Bild-, Video- und Audioverarbeitung in einer Architektur vereint.
  • Das Green-VLA-Framework von Sber Robotics Center ermöglicht Generalisierung bei Robotern durch ein gestuftes Vision-Language-Action-Modell und umfangreiche Demonstrationsdaten.
  • Kimi K2.5 von Kimi_Moonshot repräsentiert einen visuellen Agenten, der auf agentischer Intelligenz basiert.
  • Die vorgestellten Modelle adressieren Herausforderungen wie die Vereinheitlichung verschiedener Modalitäten, die Generalisierung von Robotik-Fähigkeiten und die Entwicklung von intelligenten Agenten.

Die Welt der Künstlichen Intelligenz (KI) ist einem konstanten Wandel unterworfen. Wöchentlich erscheinen neue Forschungsergebnisse und technologische Entwicklungen, die das Potenzial haben, die Art und Weise, wie Unternehmen agieren und Innovationen vorantreiben, grundlegend zu verändern. Insbesondere im Bereich der multimodalen Modelle und der Robotik sind signifikante Fortschritte zu verzeichnen. Dieser Artikel beleuchtet aktuelle Entwicklungen, die von führenden Akteuren in der KI-Forschung präsentiert wurden.

ERNIE 5.0: Ein Meilenstein in der multimodalen KI

Vereinheitlichung von Modalitäten durch autoregressive Modelle

Baidu hat mit der Veröffentlichung des technischen Berichts zu ERNIE 5.0 ein neues multimodales Fundamentmodell vorgestellt. Im Gegensatz zu früheren Ansätzen, die oft separate Pipelines für verschiedene Datenmodalitäten verwendeten, verfolgt ERNIE 5.0 einen nativ autoregressiven Ansatz. Dies bedeutet, dass es in der Lage ist, Text, Bild, Video und Audio innerhalb einer einzigen, kohärenten Architektur zu verarbeiten und zu generieren. Dieser integrierte Ansatz zielt darauf ab, die Komplexität zu reduzieren und eine umfassendere Interaktion mit verschiedenen Datenformaten zu ermöglichen.

Architektur und Trainingsansatz

Das Modell basiert auf einer ultra-sparsamen Mixture-of-Experts (MoE)-Architektur mit modalitätsagnostischem Routing. Dies erlaubt es dem Modell, während des Trainings eine Familie von Submodellen mit variierenden Tiefen und Expertenkapazitäten zu erlernen. Ein solcher "elastischer Trainingsansatz" bietet Unternehmen die Flexibilität, die Modellgröße an spezifische Ressourcenbeschränkungen anzupassen, ohne eine vollständige Neu-Trainierung durchführen zu müssen. Mit einer Trillion Parameter ist ERNIE 5.0 Berichten zufolge das erste vereinheitlichte autoregressive Modell im Produktionsmaßstab, das sowohl das Verstehen als auch das Generieren über alle Modalitäten hinweg unterstützt.

Relevanz für B2B-Anwendungen

Für Unternehmen, die an der Entwicklung fortschrittlicher KI-Lösungen interessiert sind, bietet ERNIE 5.0 die Möglichkeit, komplexe multimodale Daten effizienter zu verarbeiten. Anwendungen könnten von der automatisierten Inhaltserstellung über verbesserte Interaktionsmöglichkeiten in Kunden-Support-Systemen bis hin zu neuen Formen der Datenanalyse reichen, die bisher durch die Trennung von visuellen, auditiven und textuellen Daten eingeschränkt waren.

Green-VLA: Fortschritte in der Robotik für Generalisten

Gestuftes Vision-Language-Action-Framework

Das Sber Robotics Center hat Green-VLA vorgestellt, ein gestuftes Vision-Language-Action (VLA)-Framework, das darauf abzielt, die Generalisierungsfähigkeit von Robotern in realen Umgebungen zu verbessern. Das Framework ist in fünf Stufen unterteilt: von grundlegenden VLMs über multimodale Erdung und Pre-Training mit mehreren Robotertypen bis hin zur embodimentspezifischen Anpassung und der Ausrichtung der Richtlinien mittels Reinforcement Learning (RL). Dieser gestufte Ansatz ermöglicht es dem System, schrittweise semantische und physikalische Vorkenntnisse aufzubauen und gemeinsame Affordanzen zu erlernen.

Umfangreiche Trainingsdaten und einheitliche Schnittstellen

Ein Kernaspekt von Green-VLA ist die Nutzung einer skalierbaren Datenverarbeitungspipeline, die über 3.000 Stunden an Demonstrationsdaten umfasst. Diese Daten werden durch zeitliche Ausrichtung und Qualitätsfilterung optimiert. Eine einheitliche, embodimentspezifische Aktionsschnittstelle ermöglicht es einer einzigen Richtlinie, verschiedene Robotertypen wie Humanoide, mobile Manipulatoren und feststehende Arme zu steuern. Dies ist ein entscheidender Schritt zur Überwindung der Herausforderung, Roboter für unterschiedliche Hardware-Konfigurationen zu trainieren.

Verbesserung der Sicherheit und Präzision

Während der Inferenzphase wird der VLA-Controller durch Funktionen wie die Vorhersage des Episodenfortschritts, die Erkennung von Out-of-Distribution-Situationen und eine gelenksvorhersagebasierte Führung erweitert. Diese Komponenten tragen dazu bei, die Sicherheit und die Präzision der Roboteraktionen zu erhöhen, was für den Einsatz in komplexen und dynamischen Umgebungen von großer Bedeutung ist.

Anwendungspotenziale in der Industrie

Die Fähigkeit von Green-VLA, über verschiedene Roboter-Embodiments hinweg zu generalisieren, eröffnet vielfältige Anwendungsmöglichkeiten in der Industrie. Roboter könnten flexibler in Fertigungsprozessen, der Logistik oder im Dienstleistungssektor eingesetzt werden, wo die Anpassung an unterschiedliche Aufgaben und Umgebungen von entscheidender Bedeutung ist. Die verbesserte Robustheit und Effizienz durch RL-Alignment trägt zur Wirtschaftlichkeit solcher Lösungen bei.

Kimi K2.5: Visuelle Agentische Intelligenz

Neben den Fortschritten in multimodalen Fundamentmodellen und der Robotik ist auch die Entwicklung von agentischer Intelligenz ein zentrales Thema. Kimi K2.5 von Kimi_Moonshot stellt einen visuellen Agenten dar, der auf Prinzipien der agentischen Intelligenz basiert. Obwohl detaillierte technische Berichte zu Kimi K2.5 zum aktuellen Zeitpunkt noch nicht umfassend veröffentlicht wurden, deutet die Bezeichnung auf die Fähigkeit hin, komplexe visuelle Informationen zu interpretieren und darauf basierend autonom Entscheidungen zu treffen und Aktionen auszuführen.

Die Rolle agentischer Intelligenz

Agentische Intelligenz ist ein Forschungsfeld, das sich mit der Entwicklung von Systemen befasst, die in der Lage sind, Ziele zu setzen, Pläne zu erstellen und diese auszuführen, während sie ihre Umgebung wahrnehmen und darauf reagieren. Visuelle Agenten wie Kimi K2.5 könnten in Bereichen wie der automatisierten Inspektion, der Überwachung oder in Assistenzsystemen eingesetzt werden, wo die autonome Verarbeitung und Interpretation visueller Daten eine Schlüsselrolle spielt.

Zusammenfassende Betrachtung der Entwicklungen

Die vorgestellten Entwicklungen – ERNIE 5.0, Green-VLA und Kimi K2.5 – illustrieren die dynamische Natur der KI-Forschung. Sie zeigen, wie die Integration verschiedener Modalitäten, die Generalisierung von Robotik-Fähigkeiten und die Entwicklung von agentischen Systemen die Grenzen dessen verschieben, was mit Künstlicher Intelligenz möglich ist. Für Unternehmen bedeutet dies ein wachsendes Spektrum an Möglichkeiten zur Automatisierung, Optimierung und Innovation.

Die kontinuierliche Forschung in diesen Bereichen wird voraussichtlich zu noch leistungsfähigeren und vielseitigeren KI-Lösungen führen, die in der Lage sind, komplexe Probleme in der realen Welt zu lösen und neue Geschäftschancen zu erschließen. Die Beachtung dieser Trends ist für eine strategische Positionierung im Wettbewerb von großer Bedeutung.

Bibliography

- Apanasevich, I., Artemyev, M., Babakyan, R., Fedotova, P., Grankin, D., Kupryashin, E., Misailidi, A., Nerus, D., Nutalapati, A., Sidorov, G., Efremov, I., Gerasyov, M., Pikurov, D., Senchenko, Y., Davidenko, S., Kulikov, D., Sultankin, M., Askarbek, K., Shamanin, O., Statovoy, D., Zalyaev, E., Zorin, I., Letkin, A., Rusakov, E., Silchenko, A., Vorobyov, V., Sobolnikov, S., & Postnikov, A. (2026). Green-VLA: Staged Vision-Language-Action Model for Generalist Robots. arXiv:2602.00919. - Hugging Face. (n.d.). Daily Papers. Retrieved from https://huggingface.co/papers/month/2026-02 - Sber Robotics Center, Manipulation Team. (2026). Green-VLA: Staged Vision–Language–Action Model for Generalist Robots. Retrieved from https://greenvla.github.io/ - Wang, H., Wu, H., Wu, T., Sun, Y., Liu, J., Yu, D., Ma, Y., He, J., He, Z., Hong, D., Liu, Q., Wang, S., Shang, J., Zhang, Z., Ding, Y., Zeng, J., Yang, J., Shen, L., Chen, R., Yin, W., Ding, S., & Dai, D. (2026). ERNIE 5.0 Technical Report. arXiv:2602.04705. - DeepLearning.AI. (2025, December 3). Baidu’s Multimodal Bids Giant Ernie 5 natively generates multiple media; Ernie-4.5-VL-28B-A3B-Thinking tops Vision-Language metrics. The Batch. Retrieved from https://www.deeplearning.ai/the-batch/ernie-5-is-huge-and-natively-generates-multiple-media-ernie-4-5-vl-28b-a3b-thinking-tops-vision-language-metrics/

KI, die in Deutschland zu Hause ist.

Testen Sie Mindverse Studio oder sprechen Sie mit unserem Team über Ihren Anwendungsfall.