Multimodale Sprachmodelle zur Verbesserung der Aktionserkennung

Multimodale Große Sprachmodelle für die Aktionserkennung: LLaVAction

Die Welt der Künstlichen Intelligenz (KI) entwickelt sich rasant, und insbesondere multimodale große Sprachmodelle (MLLMs) eröffnen neue Möglichkeiten in der Aktionerkennung. Ein vielversprechender Ansatz in diesem Bereich ist LLaVAction, ein Projekt, das sich auf die Evaluierung und Verbesserung von MLLMs für die Aktionserkennung konzentriert.

Die Herausforderung der Aktionserkennung

Das Verstehen menschlichen Verhaltens ist komplex und erfordert die präzise Erfassung und Interpretation von Handlungen. Herkömmliche Methoden der Aktionserkennung stoßen oft an ihre Grenzen, insbesondere bei der Analyse komplexer und vielschichtiger Szenarien. Die Abbildung von Verhalten auf semantisch reichhaltige Strukturen, wie beispielsweise Sprache, bietet einen vielversprechenden Ansatz zur Bewältigung dieser Herausforderung. Hier kommen MLLMs ins Spiel, die in der Lage sind, sowohl visuelle als auch sprachliche Informationen zu verarbeiten.

LLaVAction: Ein neuer Ansatz

LLaVAction nutzt die Leistungsfähigkeit von MLLMs, um Aktionserkennung auf ein neues Niveau zu heben. Im Kern des Projekts steht die Idee, EPIC-KITCHENS-100, einen der größten und anspruchsvollsten Datensätze für egozentrische Aktionen, in ein Format für Video Multiple Question Answering (MQA) umzuwandeln, genannt EPIC-KITCHENS-100-MQA. Dieser Ansatz ermöglicht es, die Fähigkeit von MLLMs zur Aktionserkennung anhand von gezielten Fragen zu bewerten und zu verbessern.

Evaluierung und Verbesserung von MLLMs

Die Evaluierung von LLaVAction hat gezeigt, dass führende MLLMs Schwierigkeiten haben, korrekte Aktionen zu erkennen, wenn sie mit schwierigen falschen Antwortmöglichkeiten konfrontiert werden. Um diese Herausforderung zu meistern, wurden verschiedene Methoden entwickelt, die die Leistung der MLLMs in der Aktionserkennung deutlich verbessern. Diese Methoden führten zu State-of-the-Art-Ergebnissen auf dem EPIC-KITCHENS-100-Validierungsdatensatz und übertrafen sogar die Leistung von GPT-4o um 21 Prozentpunkte in Bezug auf die Genauigkeit bei EPIC-KITCHENS-100-MQA.

Über EPIC-KITCHENS-100 hinaus

Die vielversprechenden Ergebnisse von LLaVAction beschränken sich nicht nur auf EPIC-KITCHENS-100. Auch bei anderen aktionsbezogenen Videobenchmarks wie EgoSchema, PerceptionTest, LongVideoBench, VideoMME und MVBench konnten Verbesserungen erzielt werden. Dies deutet darauf hin, dass MLLMs ein vielversprechender Weg für komplexe Aktionserkennungsaufgaben sind.

Ausblick

LLaVAction demonstriert das Potenzial von MLLMs in der Aktionserkennung. Die Fähigkeit, visuelle und sprachliche Informationen zu kombinieren, eröffnet neue Möglichkeiten für das Verständnis menschlichen Verhaltens. Zukünftige Forschung könnte sich auf die weitere Verbesserung der MLLM-Architekturen und Trainingsmethoden konzentrieren, um die Genauigkeit und Robustheit der Aktionserkennung in noch komplexeren Szenarien zu erhöhen. Die Entwicklung von maßgeschneiderten MLLM-Lösungen, wie sie beispielsweise von Unternehmen wie Mindverse angeboten werden, könnte die Integration dieser Technologie in verschiedene Anwendungsbereiche, von der Robotik bis zur Videoanalyse, beschleunigen.

Bibliographie:

1. Ye, S., Qi, H., Mathis, A., & Mathis, M. W. (2025). LLaVAction: evaluating and training multi-modal large language models for action recognition. arXiv preprint arXiv:2503.18712. https://arxiv.org/abs/2503.18712
2. https://arxiv.org/html/2503.18712v1
3. https://x.com/TrackingActions/status/1904466507091853730
4. https://paperreading.club/page?id=294626
5. https://news.ycombinator.com/item?id=43473967
6. https://bsky.app/hashtag/LLaVAction
7. https://aclanthology.org/2025.evalmg-1.pdf
8. https://openreview.net/forum?id=L4nH3j7L94
9. http://www-sop.inria.fr/members/Francois.Bremond/Postscript/mahmoud_ECCVW_ABAW_2024.pdf
10. https://github.com/swordlidev/Evaluation-Multimodal-LLMs-Survey