OmniControl: Neuer Ansatz zur Steuerung der Bewegungsgenerierung mit Diffusionstransformatoren

OmniControl: Ein neuer Ansatz zur Steuerung von Bewegungsgenerierung durch Diffusionstransformatoren

Künstliche Intelligenz (KI) revolutioniert die Erstellung von Inhalten, und ein Bereich, der besonders davon profitiert, ist die Generierung menschlicher Bewegungen. Die präzise Steuerung dieser generierten Bewegungen ist jedoch nach wie vor eine Herausforderung. Ein vielversprechender neuer Ansatz namens OmniControl, der auf Diffusionstransformatoren (DiT) basiert, adressiert dieses Problem und ermöglicht eine flexible und detaillierte Steuerung der Bewegungssynthese.

Funktionsweise von OmniControl

OmniControl integriert Bildbedingungen in vortrainierte DiT-Modelle. Im Gegensatz zu bisherigen Methoden, die oft zusätzliche Encodermodule mit komplexen Architekturen benötigen, nutzt OmniControl einen Mechanismus zur Parameterwiederverwendung. Das bedeutet, der DiT verwendet sich selbst als Backbone, um Bildbedingungen zu kodieren und diese mit seinen multimodalen Aufmerksamkeitsprozessoren zu verarbeiten. Dieser Ansatz ermöglicht eine effiziente Integration von Bildbedingungen mit minimalem zusätzlichem Parameteraufwand (ca. 0,1%).

OmniControl unterstützt verschiedene Arten von Bildbedingungen, darunter:

Subjektgesteuerte Generierung: Hierbei wird die Bewegung durch die Eigenschaften eines bestimmten Subjekts (z.B. einer Person) bestimmt.

Räumlich ausgerichtete Bedingungen: Diese umfassen Informationen wie Kanten, Tiefenkarten und andere räumliche Merkmale, die die Bewegung beeinflussen.

Bemerkenswert ist, dass OmniControl mit Bildern trainiert wird, die vom DiT selbst generiert wurden. Dies ist besonders vorteilhaft für die subjektgesteuerte Generierung.

Vorteile von OmniControl

Effizienz: Durch die Parameterwiederverwendung benötigt OmniControl nur minimale zusätzliche Parameter.

Vielseitigkeit: Der Ansatz unterstützt verschiedene Arten von Bildbedingungen in einem einheitlichen Framework.

Leistung: Evaluierungen zeigen, dass OmniControl bestehende UNet-basierte und DiT-adaptierte Modelle in der bedingten Generierung übertrifft.

Anwendungsbereiche und zukünftige Entwicklungen

OmniControl eröffnet neue Möglichkeiten für die Erstellung von realistischen und kontrollierbaren menschlichen Bewegungen. Anwendungen reichen von der Animation in Filmen und Spielen bis hin zur Robotik und der Simulation menschlicher Bewegungen für Trainingszwecke. Die Entwicklung von maßgeschneiderten KI-Lösungen, wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme, könnte ebenfalls von dieser Technologie profitieren.

Die Forscher hinter OmniControl haben außerdem den Datensatz "Subjects200K" veröffentlicht, eine Sammlung von über 200.000 identitätskonsistenten Bildern, zusammen mit einer effizienten Daten-Synthese-Pipeline. Dies soll die Forschung im Bereich der subjektkonsistenten Generierung weiter vorantreiben.

Die Kombination von OmniControl mit anderen KI-Technologien, wie z.B. Affordance Learning, welches Kontaktflächen vorhersagen kann, ermöglicht die Generierung von Bewegungen, die mit der Umgebung interagieren. So könnte beispielsweise eine virtuelle Figur realistisch auf einem Stuhl Platz nehmen oder einen Ball treten.

OmniControl stellt einen wichtigen Fortschritt in der KI-gestützten Bewegungsgenerierung dar und verspricht, die Art und Weise, wie wir virtuelle Welten und interaktive Erlebnisse gestalten, grundlegend zu verändern.

Bibliografie Tan, Z., Liu, S., Yang, X., Xue, Q., & Wang, X. (2024). OmniControl: Minimal and Universal Control for Diffusion Transformer. arXiv preprint arXiv:2411.15098. Xie, Y., Jampani, V., Zhong, L., Sun, D., & Jiang, H. (2024). OmniControl: Control Any Joint at Any Time for Human Motion Generation. In The Twelfth International Conference on Learning Representations. neu-vi/OmniControl. GitHub. https://github.com/neu-vi/OmniControl Pfeiffer Vacuum. OmniControl 001, rack unit without integrated power supply pack. https://www.pfeiffer-vacuum.com/global/en/shop/products/PE_D42_100_0 Xie, Y., Jampani, V., Zhong, L., Sun, D., & Jiang, H. OmniControl: Control Any Joint at Any Time for Human Motion Generation. https://neu-vi.github.io/omnicontrol/ Pfeiffer Vacuum+Fab Solutions. OmniControl® - universal control unit | by Pfeiffer Vacuum. YouTube. https://www.youtube.com/watch?v=soNDTk6B9_0 OmniControl. https://omnicontrol-didactic.de/?page_id=1160