VideoWorld 2: Fortschritte im Lernen von Wissen aus unkommentierten Videos

Revolution in der KI: VideoWorld 2 lernt Wissen aus realen Videos

Die Fähigkeit von intelligenten Agenten, übertragbares Wissen aus unmarkierten Videodaten zu erlernen und dieses in neuen Umgebungen anzuwenden, stellt eine fundamentale Herausforderung in der Künstlichen Intelligenz dar. Eine aktuelle Entwicklung auf diesem Gebiet ist "VideoWorld 2", eine Erweiterung des ursprünglichen VideoWorld-Konzepts. Dieses Modell befasst sich als erste Untersuchung damit, übertragbares Wissen direkt aus unbearbeiteten realen Videos zu erlernen.

Die Kerninnovation: Entkopplung von Dynamik und Erscheinungsbild

Im Zentrum von VideoWorld 2 steht das dynamik-verbesserte Latent Dynamics Model (dLDM). Eine Schlüsselkomponente dieses Modells ist die Entkopplung von Handlungsdynamiken und visuellen Erscheinungsbildern. Ein vortrainiertes Video-Diffusionsmodell ist für die Modellierung des visuellen Erscheinungsbilds zuständig. Dies ermöglicht es dem dLDM, latente Codes zu erlernen, die sich auf kompakte und bedeutungsvolle, aufgabenbezogene Dynamiken konzentrieren. Diese latenten Codes werden anschließend autoregressiv modelliert, um Aufgabenstrategien zu erlernen und langfristige Schlussfolgerungen zu unterstützen.

Anwendungsbereiche und Leistungssteigerung

Die Evaluierung von VideoWorld 2 erfolgte an anspruchsvollen realen Handwerksaufgaben, bei denen frühere Videogenerierungs- und Latent-Dynamics-Modelle Schwierigkeiten hatten, zuverlässig zu agieren. Die Ergebnisse zeigen eine bemerkenswerte Verbesserung der Aufgaben-Erfolgsrate von bis zu 70 %. Darüber hinaus ist das System in der Lage, kohärente, lange Ausführungsvideos zu produzieren.

Im Bereich der Robotik demonstriert VideoWorld 2 die Fähigkeit, effektives Manipulationswissen aus dem Open-X-Datensatz zu erwerben. Dies führt zu einer erheblichen Verbesserung der Aufgabenleistung auf der CALVIN-Plattform, was die starke domänenübergreifende Generalisierungsfähigkeit des Modells unterstreicht.

Unabhängigkeit von Sprachmodellen und Textbeschreibungen

Ein wesentlicher Aspekt von VideoWorld 2 ist seine Fähigkeit, komplexes Wissen ausschließlich durch visuelle Daten zu erfassen, ohne auf Sprachmodelle oder explizite Textbeschreibungen angewiesen zu sein. Dies unterscheidet es von anderen generativen Modellen, die oft auf sprachliche Vorinformationen zurückgreifen. Die Forscher betonen, dass selbst für Aufgaben, die für menschliche Kinder durch das Beobachten von Video-Tutorials leicht zu erlernen sind, herkömmliche KI-Systeme oft versagen, wenn sie auf Textbeschreibungen angewiesen sind.

Der "Kambrium-Moment" für die KI

Die Entwicklung von VideoWorld 2 wird von einigen als ein möglicher "Kambrium-Moment" für die KI betrachtet. Ähnlich wie die vision-gesteuerte Wahrnehmung und Planung vor 540 Millionen Jahren die "Kambrische Explosion" des Lebens auslöste, könnte VideoWorld 2 eine neue Ära des Wissenserwerbs in der KI einleiten. Das Modell kann minütige Handwerksaufgaben wie Papierfalten und Blockbauen, die feinkörnige Manipulation und langfristige Planung erfordern, ohne jegliche textliche Beschreibungen bewältigen. Zudem kann es diese Fähigkeiten über verschiedene ungesehene Szenen hinweg verallgemeinern und Multi-Task-, Cross-Environment-Roboter-Manipulationen durchführen.

Beiträge zur Forschung

Die Hauptbeiträge dieser Forschung umfassen:

• Die erstmalige Untersuchung, wie komplexe, weitreichende Fähigkeiten aus Rohvideos erlernt und auf neue Umgebungen übertragen werden können. Dabei wurde festgestellt, dass die Entkopplung des visuellen Erscheinungsbilds von der Kerndynamik entscheidend für den Wissenserwerb ist.
• Die Einführung von VideoWorld 2, das ein dynamik-verbessertes Latent Dynamic Model nutzt, um aufgabenrelevante Dynamiken zu extrahieren und die Erfolgsraten bei langfristigen Aufgaben um bis zu 70 % zu steigern.
• Die Erstellung von Video-CraftBench, einem großen videobasierten Handwerks-Datensatz für Training und Evaluierung, der zukünftige Forschungsarbeiten zum Wissenserwerb aus reinen Videos erleichtern soll.

Fazit und Ausblick

Die Studie zu VideoWorld 2 verdeutlicht das Potenzial, übertragbares Weltwissen direkt aus Rohvideos zu erlernen. Alle zugehörigen Codes, Daten und Modelle sollen für die weitere Forschung quelloffen zugänglich gemacht werden. Diese Entwicklung könnte einen wichtigen Schritt in Richtung intelligenter Agenten darstellen, die in der Lage sind, komplexe Aufgaben in der realen Welt auf eine Weise zu verstehen und auszuführen, die der menschlichen Lernweise durch Beobachtung ähnelt.

Bibliographie

- Ren, Z., Wei, Y., Yu, X., Luo, G., Zhao, Y., Kang, B., Feng, J., Jin, X. (2026). VideoWorld 2: Learning Transferable Knowledge from Real-world Videos. arXiv:2602.10102. - Hugging Face Paper Page. (2026). VideoWorld 2: Learning Transferable Knowledge from Real-world Videos. Verfügbar unter: https://huggingface.co/papers/2602.10102 - ByteDance-Seed/VideoWorld GitHub Repository. (n.d.). [CVPR 2025] VideoWorld is a simple generative model that learns purely from unlabeled videos—much like how babies learn by observing their environment. Verfügbar unter: https://github.com/bytedance-seed/videoworld - Ren, Z., Wei, Y., Guo, X., Zhao, Y., Kang, B., Feng, J., Jin, X. (2025). VideoWorld: Exploring Knowledge Learning from Unlabeled Videos. Semantic Scholar. Verfügbar unter: https://www.semanticscholar.org/paper/f9cef96bc0e4e282cbff93d35a7fc68e643504cc - Ren, Z., Wei, Y., Guo, X., Zhao, Y., Kang, B., Feng, J., Jin, X. (2025). VideoWorld: Exploring Knowledge Learning from Unlabeled Videos. OpenReview.net. Verfügbar unter: https://openreview.net/pdf?id=CbSPruhP95 - Ren, Z. (2026). Learning Transferable Knowledge from Real-world Videos (Video). YouTube. Verfügbar unter: https://www.youtube.com/watch?v=lp8Pco_Df1Q