// Bild & Video 14.10.2026 · 18:41 Uhr 13 Min. Lesezeit

VideoJev: Wie ein System-One-Modell die Videoanalyse durch direktes Scoring statt Textgenerierung beschleunigt

Mindverse News

KI-gestützt erstellt 4 Quellen Originalmeldung: arxiv.org Arbeitsweise

KI-generierte Illustration: VideoJev: Wie ein System-One-Modell die Videoanalyse durch direktes Scoring statt Textgenerierung beschleunigt — KI-generierte Illustration

Das Wichtigste in Kürze

Ein Forschungsteam unter Leitung der Nanjing University und JD.com hat mit VideoJev eine Modellfamilie vorgestellt, die Videoverständnis nach dem System-One-Paradigma als strukturierte Entscheidungsaufgabe formuliert [1, 4].
Anstelle einer langsamen autoregressiven Token-Generierung nutzt VideoJev einen gemeinsamen Scoring-Kopf, der Zeitintervalle (Temporal Grounding) und Antwortoptionen (Multiple-Choice Video-QA) direkt gegen visuelle Evidenz bewertet [1, 4].
Die beiden veröffentlichten Varianten VideoJev-4B (auf Basis von Qwen3.5-4B) und VideoJev-35B-A3B (ein Mixture-of-Experts-Modell auf Basis von Qwen3.6-35B-A3B) steigern die Lokalisierungsgenauigkeit (mIoU) gegenüber ihren Basismodellen um durchschnittlich 6,7 beziehungsweise 10,8 Prozentpunkte bei einer 2,8- bis 3,1-mal schnelleren Inferenz [1, 4, 5].
Bei Video-Frage-Antwort-Aufgaben (Video-QA) erreichen die Modelle laut den Autoren eine mit dem rechenintensiven Thinking-Modus der Basismodelle vergleichbare Antwortqualität, beschleunigen den Vorwärtsdurchlauf des Modells jedoch um mehr als das 100-Fache (bis zu 129-mal schneller) [1, 3, 4].
Durch zwei spezialisierte Inferenzmodi – Cached Inference für sequenziell eintreffende Abfragen und Joint Inference für gebündelte Abfragen in einem einzigen Durchlauf – wird die rechenintensive Videokodierung über mehrere Entscheidungen hinweg wiederverwendet [1, 4].
Trotz hoher Effizienz dokumentieren die Entwickler spezifische Systemgrenzen, darunter eine systematische Überschätzung der eigenen Konfidenz (Kalibrierungsfehler von über 8 Punkten) sowie Schwächen beim Zählen kleiner Objekte in komplexen Szenen [4].
Der Quellcode unter Apache-2.0-Lizenz sowie die Modellgewichte im BF16-Safetensors-Format stehen über GitHub und Hugging Face für eigene Evaluierungen und Enterprise-Integrationen bereit [3, 5].

// Inhalt · 8 Abschnitte

Paradigmenwechsel in der Videoanalyse: Direkte Entscheidungen statt generativer Textausgabe
Architektur und Funktionsweise: Ein gemeinsamer Scoring-Kopf für zwei Kernaufgaben
Wiederverwendung visueller Berechnungen: Cached Inference und Joint Inference
Leistungsdaten beim Temporal Grounding: Präzision und Latenz im Detail
Multiple-Choice Video-QA und Skalierung bei Mehrfachabfragen
Zweistufiges Training bei eingefrorenem Vision-Encoder
Systemgrenzen, Kalibrierung und Fehleranalyse
Technische Integration und Bereitstellung im Unternehmenskontext
Quellen

Paradigmenwechsel in der Videoanalyse: Direkte Entscheidungen statt generativer Textausgabe

Wenn Sie visuelle KI-Agenten in geschäftskritischen Prozessen einsetzen – etwa in der automatisierten Qualitätskontrolle, der Überwachung von Logistikketten, der Robotik oder der Analyse umfangreicher Medienarchive –, stehen Sie regelmäßig vor einem grundlegenden Zielkonflikt zwischen semantischer Flexibilität und Antwortlatenz [1, 4]. Klassische diskriminative Computer-Vision-Modelle liefern zwar schnelle Vorhersagen, erfordern jedoch meist starr auf einzelne Aufgaben zugeschnittene Architekturen [4]. Moderne multimodale große Sprachmodelle (MLLMs) bieten hingegen ein breites semantisches Verständnis für komplexe Videoinhalte, erzeugen ihre Antworten aber standardmäßig autoregressiv – also Token für Token [1, 4]. Selbst wenn ein Agent lediglich entscheiden muss, welche von vier Handlungsoptionen zutrifft oder in welchem Zeitfenster ein bestimmtes Ereignis stattfindet, durchläuft ein generatives Modell den kostspieligen Prozess der schrittweisen Textgenerierung [1, 4].

Um diesen Engpass aufzulösen, hat ein Forschungsteam aus 18 Wissenschaftlerinnen und Wissenschaftlern am 13. Oktober 2026 die Arbeit zu VideoJev auf arXiv veröffentlicht und zeitgleich den Programmcode sowie vortrainierte Modelle freigegeben [1, 3, 5]. An dem Projekt unter der Projektleitung von Qingyi Si und Limin Wang sind die Multimedia Computing Group der Nanjing University (MCG-NJU), das Technologieunternehmen JD.com sowie weitere Forschungsinstitutionen beteiligt, die in der Projektdokumentation mit den Kürzeln UCAS, THU, XMU, SJTU, USTC und FDU ausgewiesen werden [3, 4]. Die Erstautoren Yuhan Zhu, Xiangyu Zeng, Qingyi Si, Chenxu Yang und Yifei Li verzeichnen dabei einen gleichberechtigten Forschungsbeitrag [4].

VideoJev überträgt das aus der Kognitionswissenschaft entlehnte und in der KI-Forschung zunehmend diskutierte System-One-Paradigma (schnelles, unmittelbares Entscheiden) auf die Videoanalyse [1, 4]. Anstatt ein Video-MLLM lange erklärende Gedankengänge oder ausformulierte Textantworten generieren zu lassen, formuliert VideoJev das Videoverständnis und die darauffolgende Interaktion als strukturierte Entscheidungsaufgaben [1, 4]. Für Unternehmen, die visuelle Agenten in mehrstufigen Workflows betreiben, verspricht dieser Ansatz laut den veröffentlichten Studiendaten eine drastische Reduktion der Antwortzeiten bei gleichzeitig höherer oder gleichbleibender Präzision [1, 4]. Da sämtliche Leistungsdaten bislang aus den Veröffentlichungen der beteiligten Forschungsgruppen stammen, sollten Sie diese Werte bei der Architekturplanung als Hersteller- beziehungsweise Autorenangaben einordnen, die allerdings durch offene Gewichte und Evaluierungsskripte eigenständig überprüfbar sind [1, 3, 5].

Architektur und Funktionsweise: Ein gemeinsamer Scoring-Kopf für zwei Kernaufgaben

Im Zentrum der Architektur von VideoJev steht der Verzicht auf das autoregressive Dekodieren von Antworten [1, 3]. Das Entwicklerteam adaptiert bestehende, vortrainierte multimodale Sprachmodelle, indem es die klassische Sprachausgabeschicht durch einen gemeinsamen Bewertungskopf (Shared Scoring Head) ersetzt [1, 4]. Dieser Kopf bewertet Kandidaten – konkret zeitliche Intervalle im Video sowie textuelle Antwortoptionen – direkt anhand der visuellen Beweislage aus dem kausalen Backbone-Modell [1, 4].

Durch diese einheitliche Schnittstelle führt VideoJev zwei zentrale Aufgaben der Videoanalyse zusammen, die in industriellen Anwendungen häufig kombiniert auftreten [1, 4]:

Temporal Grounding (zeitliche Verankerung): Das Modell lokalisiert auf Basis einer natürlichsprachlichen Suchanfrage exakt die Start- und Endzeitpunkte eines Ereignisses innerhalb eines Videos [1, 4, 5]. Technisch gibt das System hierfür Wahrscheinlichkeitswerte auf Basis einer Sigmoid-Funktion aus und leitet daraus über einen Schwellenwert – der standardmäßig bei 0,25 liegt, aber über Parameter wie predict_video oder predict_features individuell angepasst werden kann – das konkrete Zeitintervall in Sekunden ab [5].
Multiple-Choice Video Question Answering (Video-QA): Das Modell beantwortet inhaltliche Fragen zu einem Video, indem es vorgegebene Textoptionen direkt gegeneinander abwägt [1, 4, 5]. Hierbei werden die Wahrscheinlichkeiten über eine Softmax-Funktion berechnet, sodass das System unmittelbar den nullbasierten Index der wahrscheinlichsten Antwortoption samt zugehörigem Text zurückgibt [5].

Zwei Modellgrößen auf Basis der Qwen-Familie

Um unterschiedlichen Infrastrukturanforderungen gerecht zu werden, stellt das Team zwei Modellvarianten bereit [4, 5]. Das kompaktere Modell VideoJev-4B ist ein dichtes (Dense) Modell mit vier Milliarden Parametern, das auf dem Basismodell Qwen3.5-4B aufbaut [4, 5]. Für anspruchsvollere Szenarien wurde VideoJev-35B-A3B entwickelt, das auf Qwen3.6-35B-A3B basiert [4, 5]. Dabei handelt es sich um eine Mixture-of-Experts-Architektur (MoE) mit insgesamt 35 Milliarden Parametern, von denen pro Berechnungsschritt lediglich drei Milliarden Parameter aktiv genutzt werden [4]. Beide Modelle verbinden laut den Autoren die semantische Flexibilität großer Sprachmodelle mit der direkten Vorhersageeffizienz diskriminativer Ansätze [1, 4].

Wiederverwendung visueller Berechnungen: Cached Inference und Joint Inference

In realen Anwendungsszenarien betrachten visuelle Agenten ein Video selten nur für eine einzige isolierte Frage [1, 4]. Während eine Interaktion voranschreitet, führen Zwischenergebnisse und neue Teilziele fortlaufend zu weiteren Abfragen über exakt dieselbe visuelle Historie [1, 4]. Bei herkömmlichen Pipelines führt dies häufig zu redundanten Berechnungen. VideoJev adressiert dieses Problem gezielt, indem das Video nur ein einziges Mal kodiert wird und die visuelle Repräsentation über zwei unterstützte Inferenzmodi hinweg wiederverwendet wird [1, 4]:

Cached Inference (Zwischengespeicherte Inferenz): Dieser Modus ist für sequenzielle Echtzeit-Workflows konzipiert, in denen Fragen nach und nach eintreffen [1, 4]. Das Video wird einmalig kodiert und als Video-Cache im Speicher (Prefill) vorgehalten [4]. Jede neu eintreffende Frage samt ihren Antwortoptionen greift auf diesen Cache zu und erfordert für die Entscheidungsfindung lediglich einen einzigen Vorwärtsdurchlauf (Forward Pass) [4].
Joint Inference (Gemeinsame Inferenz): Wenn bereits zu Beginn mehrere Prüfkriterien oder Fragen zu einem Video feststehen, bündelt dieser Modus eine gesamte Gruppe von Abfragen [1, 4]. Nach der einmaligen Videokodierung verarbeitet das Modell sämtliche Fragen und Antwortkandidaten parallel in einem einzigen gemeinsamen Vorwärtsdurchlauf und gibt alle Entscheidungen gleichzeitig aus [1, 4].

Qualitätsunterschiede zwischen beiden Modi in der Analyse

Bemerkenswert für Ihre Systemauslegung ist, dass die gebündelte Verarbeitung im Joint-Modus keinen Qualitätsverlust gegenüber der Einzelabfrage verursacht, sondern in den durchgeführten Messungen sogar leicht höhere Durchschnittswerte erzielt [4]. Über alle untersuchten Benchmarks hinweg erreicht VideoJev-4B im Cached-Modus einen durchschnittlichen Grounding-mIoU von 64,5 Prozent und einen Video-QA-Durchschnitt von 73,8 Prozent, während der Joint-Modus auf 65,3 Prozent (Grounding) beziehungsweise 74,3 Prozent (QA) kommt [4].

Ein ähnliches Bild zeigt sich beim großen MoE-Modell VideoJev-35B-A3B: Im Cached-Modus, der bei den Tests mit FP32-Gewichten ausgeführt wurde, erzielt das System 67,4 Prozent beim Grounding und 78,8 Prozent beim Video-QA [4]. Im Joint-Modus unter Verwendung von BF16-Gewichten steigen die Werte auf 67,7 Prozent beim Grounding und 79,5 Prozent beim Video-QA [4]. Die gemeinsame Auswertung mehrerer Fragen in einem Vorwärtsdurchlauf bewahrt somit nicht nur die Vorhersagequalität, sondern steigert gleichzeitig den Durchsatz erheblich [4].

Leistungsdaten beim Temporal Grounding: Präzision und Latenz im Detail

Die Leistungsfähigkeit bei der zeitlichen Ereignislokalisierung haben die Forscher anhand von drei etablierten Benchmarks überprüft: Charades, ActivityNet und QVHighlights [1, 4]. Die Evaluierung nutzte dabei TimeLens-Bench-Annotationen bei einer Abtastrate von vier Bildern pro Sekunde (4 fps) [4]. Als primäre Qualitätsmetrik diente die mittlere zeitliche Intersection over Union (mean mIoU in Prozent), welche misst, wie stark sich das vom Modell vorhergesagte Zeitfenster mit dem tatsächlichen Ereigniszeitraum überschneidet [1, 4]. Die Latenzmessungen geben die reine Modell-Vorwärtszeit pro Frage auf dem Charades-Datensatz an, gemessen auf einem NVIDIA-H200-Beschleuniger bei einer Batch-Größe von 1 [4]. Diese Zeitmessung umfasst die visuelle Kodierung, die Prefill-Phase sowie das Dekodieren, schließt jedoch Vorverarbeitungsschritte und Datentransfers aus; zudem nutzen alle verglichenen Methoden zur Wahrung der Fairness die Wiederverwendung des Video-Präfixes [4].

In der Klasse der dichten 4-Milliarden-Parameter-Modelle erzielte das Basismodell Qwen3.5-4B Instruct auf Charades 52,3 Prozent, auf ActivityNet 55,6 Prozent und auf QVHighlights 67,9 Prozent, was einem Durchschnitt von 58,6 Prozent bei einer Latenz von 0,763 Sekunden entspricht [4]. Das spezialisierte Vergleichsmodell TimeLens2-4B Instruct erreichte 57,7 Prozent (Charades), 59,0 Prozent (ActivityNet) und 69,3 Prozent (QVHighlights) bei einem Mittelwert von 62,0 Prozent und einer Latenz von 0,646 Sekunden [4]. VideoJev-4B im Joint-Modus steigerte die Werte auf 60,1 Prozent (Charades), 62,8 Prozent (ActivityNet) sowie 73,2 Prozent (QVHighlights) [4]. Dies ergibt einen Durchschnitt von 65,3 Prozent – ein Zuwachs von 6,7 Prozentpunkten gegenüber dem Qwen-Basismodell – bei einer gleichzeitigen Reduktion der Latenz auf 0,276 Sekunden [1, 4].

Noch deutlicher fällt der Abstand bei den Mixture-of-Experts-Modellen mit drei Milliarden aktiven Parametern aus [4]. Während das Basismodell Qwen3.6-35B-A3B Instruct Werte von 47,3 Prozent (Charades), 56,0 Prozent (ActivityNet) und 67,5 Prozent (QVHighlights) erreichte und damit im Schnitt bei 56,9 Prozent und einer Latenz von 1,054 Sekunden lag, erzielte VideoJev-35B-A3B (Joint) 63,7 Prozent auf Charades, 65,5 Prozent auf ActivityNet und 74,0 Prozent auf QVHighlights [4]. Im Durchschnitt verbessert VideoJev-35B-A3B den mIoU-Wert damit um 10,8 Prozentpunkte auf 67,7 Prozent und senkt die Latenz auf 0,336 Sekunden [1, 4]. Insgesamt beziffern die Autoren den Geschwindigkeitsvorteil beim Temporal Grounding auf das 2,8- bis 3,1-Fache gegenüber den jeweiligen Basismodellen [1, 3, 4].

Um auszuschließen, dass diese Qualitätsgewinne allein aus den verwendeten Trainingsdaten resultieren, führten die Forscher eine Ablationsstudie durch [4]. Wurde das Basismodell Qwen3.5-4B in einem einstufigen Training auf exakt denselben Daten klassisch autoregressiv feinjustiert (AR SFT), erreichte es beim Grounding einen durchschnittlichen mIoU von 64,1 Prozent und beim Video-QA 72,8 Prozent [4]. VideoJev-4B erzielte unter identischen Trainingsbedingungen mit direktem Scoring hingegen 65,4 Prozent beim Grounding und 74,7 Prozent beim Video-QA [4]. Dies belegt analytisch, dass die direkte Kandidatenbewertung selbst bei identischer Datenbasis präzisere strukturelle Urteile liefert als die Textgenerierung [4].

Multiple-Choice Video-QA und Skalierung bei Mehrfachabfragen

Neben der zeitlichen Lokalisierung wurde VideoJev auf vier Benchmarks für Video Question Answering (darunter LVBench und Video-Holmes in den Mehrfachabfrage-Analysen) getestet [1, 4]. Wichtig für die Einordnung der Ergebnisse ist das strikte Evaluierungssetting: Die Modelle erhielten bei den QA-Tests ausschließlich die reinen Videobilder ohne Audiospur und ohne Untertitel [4]. Zudem wurde der Kontext für die QA-Evaluierung in den Skripten fest auf 256.000 Tokens (256K) fixiert [5].

Laut den veröffentlichten Ergebnissen erreichen sowohl VideoJev-4B als auch VideoJev-35B-A3B auf den vier QA-Benchmarks eine Antwortgenauigkeit, die mit dem sogenannten Thinking-Modus ihrer jeweiligen Qwen-Basismodelle vergleichbar ist [1, 3, 4]. Während Modelle im Thinking-Modus vor der eigentlichen Antwort lange interne Schlussfolgerungsketten generieren müssen, um auf komplexe Fragen präzise zu antworten, gelangt VideoJev über das direkte Scoring in einem Bruchteil der Zeit zum Ergebnis [3, 4]. Die gemessene Beschleunigung der Modell-Vorwärtsdurchläufe liegt hier bei über dem 100-Fachen und erreicht in der Spitze das 129-Fache gegenüber dem Thinking-Modus [1, 3, 4].

Besonders relevant für hochfrequente B2B-Pipelines ist das Skalierungsverhalten bei mehreren Abfragen zum selben Video, welches das Team anhand von durchschnittlich 40 Videos pro Aufgabe aus den Datensätzen Charades und Video-Holmes bei einer Bildrate von 2 fps untersuchte [4]:

Werden 10 Grounding-Abfragen an ein Video gestellt, benötigt VideoJev für die Modellberechnung lediglich 0,39 Sekunden, während das generative Instruct-Vergleichsmodell 5,98 Sekunden beansprucht [4].
Bei 10 gebündelten QA-Abfragen steht VideoJev im günstigen Kontrast zu 1,67 Sekunden bei einem Direct-Joint-Vergleichsansatz und erzielt gleichzeitig auf dem anspruchsvollen Langvideo-Benchmark LVBench eine Genauigkeit von 67,9 Prozent gegenüber 59,8 Prozent für Direct Joint [4].
In einem dokumentierten Praxisbeispiel eines 27,3 Sekunden langen Videos verarbeitet VideoJev sechs unterschiedliche Entscheidungsabfragen (etwa wann ein Mann auf einem Stuhl sitzt, aufsteht oder zur Tür rennt) in einem einzigen Vorwärtsdurchlauf und trifft beispielsweise das tatsächliche Zeitfenster von 5 bis 10 Sekunden mit einer Vorhersage von 5 bis 11 Sekunden bei einem IoU-Wert von 0,833 [4].

Zweistufiges Training bei eingefrorenem Vision-Encoder

Für KI-Teams, die VideoJev auf domänenspezifische Unternehmensdaten – etwa aus der Fertigungsüberwachung oder der Medizintechnik – anpassen möchten, legt das GitHub-Repository die genaue Trainingsmethodik offen [5]. Ein wesentlicher Effizienzvorteil beim Training besteht darin, dass der visuelle Encoder (Vision Backbone) während des gesamten Prozesses vollständig eingefroren bleibt [5]. Es müssen folglich nur die Sprachkomponenten und der neue Bewertungskopf trainiert werden [5]. Als offene Trainingsdatensätze nennt das Team in den Danksagungen explizit TimeLens-100K sowie TimeLens2-93K [5].

Das Training selbst gliedert sich in zwei aufeinanderfolgende Phasen, die jeweils über genau eine Epoche mit einer globalen Batch-Größe von 64 Datenpaketen (Packs) ausgeführt werden [5]:

Stufe 1 – Head Warmup: In dieser ersten Phase werden ausschließlich die Parameter des neu hinzugefügten Scoring-Kopfes trainiert, während sowohl der Vision-Encoder als auch das Sprach-Backbone eingefroren bleiben [5]. Als Verlustfunktionen (Loss) kommen Binary Cross-Entropy (BCE) für das Temporal Grounding und klassische Cross-Entropy (CE) für die Video-QA-Aufgaben zum Einsatz [5].
Stufe 2 – Joint Training: Im zweiten Schritt wird das Sprach-Backbone gemeinsam mit dem bereits vortrainierten Scoring-Kopf optimiert [5]. Während für Video-QA weiterhin Cross-Entropy (CE) genutzt wird, setzen die Entwickler beim Temporal Grounding auf eine kombinierte Verlustfunktion aus BCE zuzüglich des doppelten Wertes einer dauergewichteten SoftIoU (BCE + 2 × duration-weighted SoftIoU), um die zeitliche Überlappung gezielt zu schärfen [5].

Systemgrenzen, Kalibrierung und Fehleranalyse

Eine fundierte technische Evaluierung erfordert den Blick auf die dokumentierten Schwachstellen. Die Autoren von VideoJev stellen auf ihrer Projektseite detaillierte Analysen zu Fehlverhalten und Modellgrenzen bereit, die Sie bei einer potenziellen Produktivsetzung berücksichtigen sollten [4].

Ein zentraler Punkt betrifft die Konfidenzkalibrierung [4]. Da VideoJev für jede Option und jedes Zeitintervall direkte Wahrscheinlichkeitswerte ausgibt, liegt es in automatisierten Workflows nahe, diese Werte als Maß für die Verlässlichkeit einer Entscheidung (Confidence Thresholding) heranzuziehen [4, 5]. Die Zuverlässigkeitsdiagramme der Forscher zeigen zwar, dass höhere Options-Scores in der Regel tatsächlich mit einer höheren Antwortgenauigkeit einhergehen, die Modelle ihre eigene Sicherheit jedoch systematisch überschätzen [4]. Der mittlere Kalibrierungsfehler (Mean Calibration Error) beträgt bei VideoJev-4B 8,65 Punkte und bei VideoJev-35B-A3B 8,13 Punkte [4]. Wenn Ihre Geschäftslogik auf kalibrierten Wahrscheinlichkeiten aufbaut – etwa um bei unsicheren KI-Entscheidungen einen menschlichen Prüfer einzuschalten –, müssen Sie daher zwingend eine nachgelagerte Kalibrierungsschicht (wie Temperature Scaling) implementieren.

Darüber hinaus veranschaulichen qualitative Fallstudien der Entwickler spezifische Leistungsunterschiede zwischen den Modellgrößen sowie gemeinsame Wahrnehmungsgrenzen [4]:

Erfolg beim Zählen wiederkehrender Szenen: In einem langen Video sollten die Modelle zählen, wie oft insgesamt die Handlung des Kürbisschnitzens (carving pumpkin) vorkommt [4]. Sowohl das 4B- als auch das 35B-A3B-Modell identifizierten hier korrekt die Antwortoption A mit genau 5 Instanzen [4].
Modellabweichungen bei komplexer Intentionsanalyse: Bei der Frage, welches Ziel ein Mann verfolgt, der bei Zeitstempel 101:21 den Arm einer Frau festhält, scheiterte das kleinere VideoJev-4B-Modell und wählte fälschlicherweise die harmlose Deutung einer höflichen Begleitung (Option B) [4]. Erst das größere VideoJev-35B-A3B erkannte den visuellen Kontext korrekt als Verhaftung (Option C, Arresting) [4]. Für komplexe soziale oder situative Interpretationen erweist sich das MoE-Modell damit als deutlich robuster [4].
Gemeinsames Versagen bei kleinen Objekten: Als beide Modelle am Ende eines Videos zählen sollten, wie viele Bücher auf einem Wohnzimmertisch liegen, lagen beide Varianten falsch [4]. Während tatsächlich vier Bücher (Option B) zu sehen waren, prognostizierte das 4B-Modell drei Bücher (Option D) und das 35B-A3B-Modell sogar nur zwei Bücher (Option A) [4]. Feingranulare Objekterkennung auf kleinen Bildausschnitten bleibt somit eine Herausforderung [4].
Verzicht auf multimodale Audiosignale: Da die Video-QA-Evaluierung ausschließlich auf Videobildern ohne Ton und Untertitel basiert, können Informationen, die nur über gesprochene Sprache oder akustische Ereignisse vermittelt werden, in dieser Konfiguration nicht ausgewertet werden [4].

Technische Integration und Bereitstellung im Unternehmenskontext

Für den praktischen Einsatz in eigenen Entwicklungs- und Produktionsumgebungen haben die Autoren den Quellcode auf GitHub unter der permissiven Apache-2.0-Lizenz veröffentlicht, während die wissenschaftliche Publikation auf arXiv unter der Lizenz CC BY 4.0 steht [1, 5]. Die vortrainierten Checkpoints für VideoJev-4B und VideoJev-35B-A3B liegen im BF16-Safetensors-Format auf Hugging Face bereit [3, 5].

Die technische Systemumgebung setzt einen aktuellen Software-Stack voraus: Gefordert werden Python 3.12, PyTorch 2.8 mit CUDA 12.8, Triton 3.4, FlashAttention 2 sowie das Paket causal-conv1d [5]. Für eigene Trainingsläufe wird zudem das Framework XTuner benötigt, wobei das 35B-A3B-Modell zusätzlich eine kompilierte Erweiterung für Grouped-GEMM und Token-Permutation voraussetzt [5].

In der Anwendungsentwicklung gestaltet sich die Einbindung über die bekannte Transformers-Bibliothek von Hugging Face geradlinig [5]. Nach dem Laden von AutoProcessor und AutoModel (mit aktiviertem trust_remote_code und flash_attention_2 in bfloat16) sowie dem Aufruf von prepare_for_inference lassen sich über die Methode predict_video sowohl Grounding- als auch Multiple-Choice-Aufgaben als strukturierte Python-Listen übergeben [5]. Im dokumentierten Schnellstart-Beispiel verarbeitet das Modell Videos mit Parametern wie 2,0 fps, maximal 2048 Frames und einem Kontextfenster von 8192 Tokens und liefert ein direkt maschinenlesbares JSON-Array mit Intervallgrenzen und Antwortindizes zurück [5].

Aus analytischer B2B-Perspektive liefert VideoJev einen wichtigen Architekturbaustein für den Aufbau autonomer visueller Agenten [1, 4]. Überall dort, wo Videoanalyse nicht der Erzeugung freier Beschreibungstexte dient, sondern als schneller Sensor für strukturierte Wenn-Dann-Entscheidungen, Prozessüberwachungen oder Zustandsprüfungen fungiert, beseitigt der System-One-Ansatz den massiven Rechenüberhang generativer Sprachmodelle [1, 4]. Unternehmen profitieren insbesondere dann von dieser Architektur, wenn viele standardisierte Prüffragen parallel (Joint Inference) oder schrittweise (Cached Inference) auf denselben Videoströmen ausgeführt werden müssen [1, 4].

Quellen

[1] [2610.18615v1] VideoJev: System One Model for Video Understanding and Interaction — https://arxiv.org/abs/2610.18615v1 (abgerufen am 2026-10-14)
[3] Paper page - VideoJev: System One Model for Video Understanding and Interaction — https://huggingface.co/papers/2610.18615 (abgerufen am 2026-10-14)
[4] VideoJev: System One Model for Video Understanding and Interaction — https://mcg-nju.github.io/VideoJev (abgerufen am 2026-10-14)
[5] GitHub - MCG-NJU/VideoJev: VideoJev: System One Model for Video Understanding and Interaction · GitHub — https://github.com/MCG-NJU/VideoJev (abgerufen am 2026-10-14)