Herausforderungen und Fortschritte in der Langzeitgedächtnisbewertung von KI-Modellen durch den EgoMemReason-Benchmark

Herausforderungen bei der Langzeit-Videoanalyse: Ein tiefer Einblick in EgoMemReason

Die Entwicklung visueller Assistenzsysteme, sei es in Form von Smart Glasses, verkörperten Agenten oder kontinuierlichen Life-Logging-Systemen, erfordert eine Fähigkeit, die über die momentane Wahrnehmung hinausgeht: das Verständnis und die Analyse von Videostreams, die sich über Tage oder sogar Wochen erstrecken. Diese sogenannten egocentrischen Videos, die aus der Perspektive des Trägers aufgenommen werden, stellen immense Herausforderungen an bestehende KI-Modelle. Relevante Informationen sind oft spärlich über Stunden oder Tage verteilt, was ein robustes Gedächtnis und die Fähigkeit zur Schlussfolgerung über lange Zeiträume hinweg unerlässlich macht. In diesem Kontext wurde der EgoMemReason-Benchmark vorgestellt, um genau diese Lücke zu schließen und die Fähigkeiten von KI-Modellen in der Langzeit-Videoanalyse systematisch zu bewerten.

Die Notwendigkeit eines neuen Benchmarks

Bestehende Benchmarks für wochenlange Videos konzentrieren sich primär auf perzeptuelle Aufgaben wie die Lokalisierung von Momenten oder die globale Zusammenfassung. Sie sind jedoch nicht darauf ausgelegt, komplexes Schlussfolgern zu bewerten, das die Integration von Beweisen über mehrere Tage hinweg erfordert. Hier setzt EgoMemReason an. Er wurde entwickelt, um zu testen, wie Modelle Informationen über die Zeit akkumulieren, frühere Zustände abrufen, die zeitliche Reihenfolge verfolgen und wiederkehrende Muster aus spärlichen, wiederholten Beobachtungen abstrahieren können.

Drei Säulen des Gedächtnisses: Entität, Ereignis und Verhalten

EgoMemReason strukturiert seine Bewertung um drei komplementäre Gedächtnistypen, die jeweils unterschiedliche Schlussfolgerungsoperationen über angesammelte Erfahrungen adressieren:

• Entitätsgedächtnis: Dieses Gedächtnis verfolgt, wie sich Objekte und ihre Zustände über Tage hinweg entwickeln und verändern. Es geht darum, persistente Objekte zu re-identifizieren und deren Entwicklung über lange Intervalle hinweg zu verfolgen. Beispiele hierfür sind die Verfolgung des Standorts oder Zustands eines Objekts über Stunden oder Tage hinweg oder das Zählen unterschiedlicher Instanzen einer Kategorie im Video.
• Ereignisgedächtnis: Hierbei geht es um das Abrufen und die zeitliche Organisation diskreter Ereignisse aus der Videohistorie. Wochenlange Videos enthalten eine Fülle von Aktivitäten, die sich über Stunden oder Tage entfalten. Das Modell muss in der Lage sein, Ereignisse, die durch lange Intervalle getrennt sind, zeitlich zu ordnen oder miteinander zu verknüpfen.
• Verhaltensgedächtnis: Dieser Typ testet die Fähigkeit eines Systems, übergeordnete Kenntnisse aus wiederholten Beobachtungen im Laufe der Zeit zu abstrahieren. Es geht darum, Regelmäßigkeiten aus wiederholten Erfahrungen abzuleiten, die keine einzelne Beobachtung offenbaren kann, wie zum Beispiel räumliche Präferenzen oder Aktivitätsmuster.

Der Benchmark umfasst 500 Multiple-Choice-Fragen, die sich auf diese drei Gedächtnistypen verteilen und sechs Kernherausforderungen abdecken. Im Durchschnitt erfordert jede Frage das Aggregieren von 5,1 unterschiedlichen Videosegmenten als Beweis und eine Rückverfolgung des Gedächtnisses von 25,9 Stunden. Dies übertrifft die Anforderungen früherer Benchmarks erheblich.

Konstruktion des Benchmarks: Ein vierstufiger Prozess

Die Erstellung von EgoMemReason erfolgte über einen rigorosen vierstufigen Prozess, der auf dem EgoLife-Datensatz basiert, welcher wochenlange, kontinuierliche egocentrische Aufnahmen von sechs Teilnehmern in natürlichen Alltagssituationen enthält:

1. Evidenzvorbereitung: Rohdaten der egocentrischen Videos werden in strukturierte Evidenz umgewandelt. Dies umfasst die Erstellung von detailreichen, objektzentrierten Beschreibungen auf Clip-Ebene und hierarchischen Ereigniszusammenfassungen mittels eines Multimodalen Large Language Models (MLLM).
2. Abfragegenerierung: Aus der strukturierten Evidenz werden Multiple-Choice-Fragen generiert. Jede Frage ist mit einem Abfragezeitpunkt verknüpft, sodass nur frühere Beobachtungen für die Beantwortung herangezogen werden können. Es werden auch semantisch plausible Distraktoren (falsche Antwortoptionen) erstellt, um die Schwierigkeit zu erhöhen.
3. Automatische Filterung: Mittels modellbasierter Filterung werden triviale, mehrdeutige oder nicht fundierte Fragen entfernt. Ein Blindtest, bei dem LLMs Fragen ohne visuellen Input beantworten müssen, identifiziert Fragen, die allein aus dem Text beantwortet werden können. Zudem wird überprüft, ob die richtigen Antworten durch visuelle Evidenz vor dem Abfragezeitpunkt gestützt werden.
4. Menschliche Verifizierung: Alle verbleibenden Kandidaten werden von menschlichen Annotatoren überprüft. Diese bewerten die Klarheit der Frage, die Korrektheit der Antwort und die Qualität der Optionen. Dieser Prozess beinhaltet auch die Revision problematischer Beispiele. Nur etwa 15 % der ursprünglichen Kandidaten bestehen diese strenge Qualitätsprüfung.

Experimentelle Ergebnisse und identifizierte Engpässe

Die Evaluierung von 17 verschiedenen Systemen, darunter allgemeine MLLMs, videospezifische MLLMs und agentische Video-Frameworks, zeigte, dass selbst das beste Modell (Gemini-3-Flash) lediglich eine Gesamtgenauigkeit von 39,6 % erreichte. Kein Modell überschritt 51 % bei einer einzelnen Fähigkeit. Dies unterstreicht, dass das Langzeitgedächtnis und das Schlussfolgern in diesem Bereich weiterhin eine offene Herausforderung darstellen.

Die Analyse identifizierte unterschiedliche Engpässe für die einzelnen Gedächtnistypen:

• Entitätsgedächtnis: Hier ist der Engpass die feinkörnige visuelle Verankerung in Kombination mit der Langkontextmodellierung. Modelle, die stark auf textzentriertes Schlussfolgern setzen, zeigten hier Schwächen.
• Ereignisgedächtnis: Der Hauptengpass liegt in der Langzeit-Zeitkohärenz. Modelle können zwar einzelne Ereignisse lokalisieren, haben aber Schwierigkeiten, diese über ausgedehnte Zeitspannen hinweg in Beziehung zu setzen. Die Genauigkeit des Ereignisgedächtnisses nimmt mit zunehmender Zeitspanne der Evidenz stark ab.
• Verhaltensgedächtnis: Das System scheitert an der Abstraktion über spärliche, wiederholte Evidenz. Modelle können zwar Videos zusammenfassen, haben aber Schwierigkeiten, wiederkehrende Muster aus vielen spärlich verteilten Beobachtungen zu abstrahieren.

Ablationsstudien zeigten zudem, dass weder eine dichtere Frame-Abtastung noch zusätzliche Texteingaben (Transkripte, Bildunterschriften) zu einer konsistenten Verbesserung führten. Dies deutet darauf hin, dass der Kernengpass in der Art und Weise liegt, wie Modelle Informationen über lange Zeithorizonte intern speichern und abrufen, und nicht primär in der Menge der verfügbaren Eingabedaten.

Interessanterweise zeigten die Untersuchungen zu Prompt-Strategien, dass explizites, schrittweises Schlussfolgern (Chain-of-Thought) die Leistung bei speicherintensiven Aufgaben erheblich verschlechterte. Dies deutet darauf hin, dass die Schwierigkeit eher in der visuellen Wahrnehmung und dem Abruf von Informationen liegt als in der Schlussfolgerungsstrategie selbst.

Fazit und Ausblick

EgoMemReason bietet einen umfassenden Rahmen zur Bewertung des Langzeitgedächtnisses und des Schlussfolgerns in wochenlangen egocentrischen Videos. Die Ergebnisse verdeutlichen, dass keine der aktuellen Modellarchitekturen die Anforderungen an ein robustes Langzeitgedächtnis in diesem komplexen Bereich vollständig erfüllen kann. Die identifizierten spezifischen Engpässe für Entitäts-, Ereignis- und Verhaltensgedächtnis weisen den Weg für zukünftige Forschungsrichtungen. Fortschritte erfordern demnach eine verbesserte perzeptuelle Präzision, eine strukturierte zeitliche Modellierung von Ereignissen und aggregationsbasiertes Schlussfolgern für Verhaltensmuster. Dieser Benchmark dient als diagnostisches Werkzeug, um die Entwicklung multimodaler Systeme voranzutreiben, die zu einem echten Langzeitgedächtnis und komplexen Schlussfolgerungen in dynamischen, realen Umgebungen fähig sind.

Bibliography

- Bai, S., Cai, Y., Chen, R., Chen, K., Chen, X., Cheng, Z., Deng, L., Ding, W., Gao, C., Ge, C., Ge, W., Guo, Z., Huang, Q., Huang, J., Huang, F., Hui, B., Jiang, S., Li, Z., Li, M., Li, M., Li, K., Lin, Z., Lin, J., Liu, X., Liu, J., Liu, C., Liu, Y., Liu, D., Liu, S., Lu, D., Luo, R., Lv, C., Men, R., Meng, L., Ren, X., Ren, X., Song, S., Sun, Y., Tang, J., Tu, J., Wan, J., Wang, P., Wang, P., Wang, Q., Wang, Y., Xie, T., Xu, Y., Xu, H., Xu, J., Yang, Z., Yang, M., Yang, J., Yang, A., Yu, B., Zhang, F., Zhang, H., Zhang, X., Zheng, B., Zhong, H., Zhou, J., Zhou, F., Zhou, J., Zhu, Y., and Zhu, K. (2025) Qwen3-vl technical report. arXiv preprint arXiv:2511.21631. - Clark, C., Zhang, J., Ma, Z., Park, J. S., Salehi, M., Tripathi, R., Lee, S., Ren, Z., Kim, C. D., Yang, Y., Shao, V., Yang, Y., Huang, W., Gao, Z., Anderson, T., Zhang, J., Jain, J., Stoica, G., Han, W., Farhadi, A., and Krishna, R. (2026) Molmo2: open weights and data for vision-language models with video understanding and grounding. arXiv preprint arXiv:2601.10611. - Google DeepMind (2025) Gemini 3 flash: frontier intelligence built for speed. Note: https://blog.google/products/gemini/gemini-3-flash/ - Google DeepMind (2026) Gemini 3.1 pro model card. Note: https://deepmind.google/models/model-cards/gemini-3-1-pro/ Accessed: 2026-04-25. - Hugging Face. Ted412/EgoMemReason. URL: https://huggingface.co/datasets/Ted412/EgoMemReason. - OpenAI (2025) GPT-5 system card. External Links: 2601.03267. - Wang, Z., Zhang, Y., Yu, S., Zhang, C., Zhao, Z., Yoon, J., Lee, H., Bertasius, G., and Bansal, M. (2026) EgoMemReason: A Memory-driven Reasoning Benchmark for Long-Horizon Egocentric Video Understanding. arXiv preprint. - Wang, Z., Zhang, Y., Yu, S., Zhang, C., Zhao, Z., Yoon, J., Lee, H., Bertasius, G., and Bansal, M. (2026) EgoMemReason: A Memory-Driven Reasoning Benchmark for Long-Horizon Egocentric Video Understanding. URL: https://arxiv.org/abs/2605.09874. - Wang, Z., Zhang, Y., Yu, S., Zhang, C., Zhao, Z., Yoon, J., Lee, H., Bertasius, G., and Bansal, M. (2026) EgoMemReason: A Memory-Driven Reasoning Benchmark for Long-Horizon Egocentric Video Understanding. URL: https://arxiv.org/html/2605.09874. - Wang, Ziyang. Ziyang Wang - LinkedIn. URL: https://www.linkedin.com/posts/ziyang-wang-882188203_excited-to-share-egomemreason-a-benchmark-activity-7460002799871901697-L6sm. - TheMoonlight.io. [Literature Review] EgoMemReason: A Memory-Driven Reasoning Benchmark for Long-Horizon Egocentric Video Understanding. URL: https://www.themoonlight.io/en/review/egomemreason-a-memory-driven-reasoning-benchmark-for-long-horizon-egocentric-video-understanding.