Zum Inhalt springen
Bild & Video 7 Min. Lesezeit

FastFrames zielt auf interaktive Videogenerierung mit 36 Millisekunden Latenz

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 4 Quellen

KI-generierte Illustration: FastFrames zielt auf interaktive Videogenerierung mit 36 Millisekunden Latenz
KI-generierte Illustration

Das Wichtigste in Kürze

  • Das Forschungsteam hinter FastFrames berichtet für das 1,3-Milliarden-Parameter-Modell eine Latenz von 36 Millisekunden pro Frame auf einer einzelnen B200-GPU. [1] [2]
  • Der Ansatz beschleunigt nicht nur die Diffusion, sondern ersetzt auch den aufwendigen VAE-Decoder und Teile der KV-Cache-Aktualisierung durch leichtere Komponenten. [2]
  • Die 14-Milliarden-Parameter-Variante erreicht laut Autoren 45 Millisekunden pro Frame, benötigt dafür jedoch einen Knoten mit acht B200-GPUs. [1]
  • Code und Modellgewichte werden über das Projekt bereitgestellt; die dokumentierten Messungen beziehen sich auf 480p und Nvidia-Hardware. [4] [5]
  • Die Leistungs- und Qualitätsangaben stammen aus der Arbeit und den Projektmaterialien des Teams; eine unabhängige Reproduktion ist in den vorliegenden Quellen nicht dokumentiert. [2] [4] [5]
Inhalt · 7 Abschnitte
  1. Reaktionszeit statt bloßer Bildrate
  2. Warum der Decoder zum Engpass wird
  3. Leichtere Bausteine für Pixel und Cache
  4. Die berichteten Leistungswerte gelten für konkrete Hardware
  5. Demonstrationen für steuerbare Videowelten
  6. Offener Code, aber Anforderungen an den Betrieb
  7. Ein Forschungsergebnis, kein allgemeiner Leistungsstandard
  8. Quellen

Reaktionszeit statt bloßer Bildrate

FastFrames ist eine Familie autoregressiver Videodiffusionsmodelle aus einem Forschungsteam mit Beteiligung von Apple und Cornell University. Die Arbeit wurde am 17. November 2026 als arXiv-Preprint eingereicht. Anders als ein Modell, das einen fertigen Clip am Stück berechnet, erzeugt ein autoregressives System Videoabschnitte nacheinander und kann neue Eingaben zwischen den Generierungsschritten berücksichtigen. [2] [4]

Für interaktive Anwendungen ist daher nicht allein entscheidend, wie viele Videobilder ein System über eine längere Berechnung hinweg produziert. Relevant ist auch, wie lange es nach einer Eingabe dauert, bis ein erstes Bild deren Wirkung zeigt. Die Autoren definieren ihre End-to-End-Latenz als Zeit vom Eingang eines neuen Signals bis zur Ausgabe des ersten passenden RGB-Bildes. Sie zählen eine Generierungseinheit als Antwort und leiten daraus Antworten pro Sekunde ab. [2]

Das Team setzt für nahtlose Interaktion einen Zielwert von höchstens 50 Millisekunden an, entsprechend mindestens 20 Antworten pro Sekunde. Diese Schwelle ist der Bewertungsmaßstab der Arbeit, keine Garantie dafür, dass jede Anwendung bei gleicher Modelllatenz für Nutzerinnen und Nutzer verzögerungsfrei wirkt. [2]

  • Bildrate und Reaktionslatenz beantworten unterschiedliche Fragen: Die Bildrate beschreibt die Ausgabe von Videobildern, die Latenz den Zeitraum bis zur ersten Reaktion auf eine neue Eingabe. [2]
  • Die Autoren messen die vollständige kritische Inferenzstrecke ihrer Modelle, einschließlich Cache-Aktualisierung und Ausgabe der Pixelbilder. [2]

Benchmark-Vergleich

Latenz der FastFrames-Varianten

Die Autoren berichten die End-to-End-Latenz pro Frame für zwei FastFrames-Varianten.

end-to-end per-frame latency Skala 0 bis höchster Wert · Niedriger ist besser

  1. 1.3B variant 36
  2. 14B variant 45

Hinweis: Angaben in Millisekunden bei 480p: Die 1.3B-Variante läuft auf einer B200-GPU, die 14B-Variante auf einem Knoten mit acht B200-GPUs.

Quelle:[1] arxiv.org

Stand 19.11.2026

Daten KI-gestützt aus den Quellen des Artikels übernommen.

Warum der Decoder zum Engpass wird

Die Arbeit untersucht zunächst ein autoregressives Vergleichsmodell mit 1,3 Milliarden Parametern. Auf einer einzelnen B200-GPU benötigte dessen Inferenzpipeline laut Profiling 271,8 Millisekunden pro Generierungseinheit. Ein Teil der Laufzeit entfiel auf die Diffusionsschritte; die Autoren heben insbesondere den VAE-Decoder und die Aktualisierung des KV-Caches als große, oft unterschätzte Kostenposten hervor. [2]

Ein VAE – ein variationaler Autoencoder – ermöglicht es, die Diffusion in einer komprimierten latenten Darstellung statt direkt auf den Pixeln auszuführen. Das reduziert die Rechenarbeit während der Generierung, doch das anschließende Zurückübersetzen in RGB-Bilder kann aufwendig sein. Im untersuchten Vergleich dauerte das Decodieren eines latenten Ergebnisses laut Arbeit 147 Millisekunden. [2]

Auch die Cache-Aktualisierung ist nicht kostenlos: Im Referenzablauf wurde dafür eine zusätzliche Auswertung des Diffusionstransformators benötigt. Das Profiling legt damit nahe, dass die Beschleunigung nicht allein aus weniger Diffusionsschritten entstehen muss. Ein wesentlicher Ansatzpunkt liegt vielmehr in den Komponenten rund um den eigentlichen Bildgenerator. [2]

Leichtere Bausteine für Pixel und Cache

FastFrames ersetzt den VAE-Decoder durch einen eigens trainierten Pixel-Decoder. Laut Arbeit verarbeitet dieser die niedrig aufgelösten Merkmale des Transformators mit drei ConvNeXt-artigen Blöcken und einer abschließenden linearen Projektion, die Bild-Patches erzeugt. Das Team berichtet, die Decoder-Latenz dadurch um den Faktor 147 gesenkt zu haben, ohne die Qualität im Vergleich zum bisherigen Decoder zu verschlechtern. [2]

Für den KV-Cache kommt ebenfalls ein leichteres Verfahren zum Einsatz. Statt den Cache mit einer weiteren vollständigen Transformer-Auswertung zu aktualisieren, verwendet FastFrames ein kleines gelerntes Netzwerk. Die Autoren beziffern die Verringerung dieser Teil-Latenz auf den Faktor zehn und berichten von keiner messbaren Qualitätseinbuße in ihren Tests. [2]

Hinzu kommen Optimierungen auf Systemebene. Die Autoren beschreiben FastFrames daher nicht als bloß verkleinerten Diffusionstransformator: Der Ansatz verändert die Verarbeitungsschritte rund um das Modell und optimiert zugleich dessen Ausführung. Das ist für Unternehmen technisch relevant, weil sich solche Änderungen auf den gesamten Inferenzpfad auswirken können, nicht nur auf die Rechenzeit des neuronalen Netzes selbst. Letzteres ist eine Einordnung der beschriebenen Architektur, kein Nachweis, dass sich dieselben Einsparungen auf beliebige Modelle übertragen lassen. [2]

Ein Messbeispiel im offiziellen Repository schlüsselt die Latenz des kleineren Modells bei 480p auf: Zwei Transformer-Auswertungen beanspruchen dort 16,1 und 16,2 Millisekunden, die Cache-Verfeinerung 2,2 Millisekunden und der Pixel-Decoder 0,9 Millisekunden. Die Summe beträgt 35,4 Millisekunden; das Repository stellt sie der gerundeten Angabe von 36 Millisekunden in der Arbeit gegenüber. [5]

Die berichteten Leistungswerte gelten für konkrete Hardware

Für FastFrames-S mit 1,3 Milliarden Parametern nennen die Autoren 36 Millisekunden pro Frame beziehungsweise 28 Antworten pro Sekunde auf einer einzelnen B200-GPU. Sie vergleichen das mit dem untersuchten Modell Causal Forcing++, das bei 480p 271,8 Millisekunden benötigte. Daraus ergibt sich rechnerisch eine rund 7,6-mal niedrigere Latenz. Nach Darstellung des Teams erreicht die kleinere FastFrames-Variante dabei eine vergleichbare visuelle Qualität. [1] [2]

FastFrames-L mit 14 Milliarden Parametern kommt laut Abstract auf 45 Millisekunden pro Frame und 22 Antworten pro Sekunde auf einem Knoten mit acht B200-GPUs. Das Team beschreibt die visuelle Qualität und den Realismus dieser Variante als deutlich höher. Diese Aussage ist als Ergebnis der Autoren zu verstehen; sie belegt weder eine unabhängige Bewertung noch eine vergleichbare Leistung auf einem einzelnen Beschleuniger. [1]

Die Zahlen sind deshalb nicht ohne Weiteres als allgemeine Leistungsversprechen zu lesen. Die Arbeit und die Projektunterlagen nennen die jeweilige Hardware und beziehen die gezeigten Generationen auf 480p. Das Repository stellt außerdem Benchmark-Skripte bereit, mit denen die dokumentierten Messungen nachvollzogen werden können. Ein Skript und veröffentlichte Gewichte erleichtern Reproduktionen, ersetzen aber keine unabhängige Prüfung der Ergebnisse. [2] [4] [5]

Demonstrationen für steuerbare Videowelten

Die Projektmaterialien zeigen FastFrames nicht nur als Text-zu-Video-System. Beschrieben werden auch Anwendungen, bei denen Eingaben den weiteren Verlauf einer Szene beeinflussen: etwa Kamerasteuerung und physikbasierte Interaktion. Die Projektseite stellt dafür Demonstrationen mit LingBot und RealWonder vor; bei den dort beschriebenen Vergleichen erhalten die Originalimplementierung und die mit FastFrames optimierte Variante dieselbe Eingabe zur selben Zeit. [2] [4]

Das veranschaulicht den möglichen Nutzen der niedrigen Antwortlatenz: Ein System kann eine neue Bewegung oder Kameraposition schneller in die nachfolgenden Bilder einfließen lassen. Für Branchenanwendungen wären etwa interaktive Vorschauen, steuerbare Szenen oder virtuelle Umgebungen denkbar. Das sind mögliche Einsatzfelder, die sich aus der beschriebenen Funktion ableiten lassen; die Projektunterlagen belegen damit noch keine produktive Einführung oder wirtschaftlichen Nutzen in diesen Bereichen. [2] [4]

Die gezeigten Beispiele sind zudem Demonstrationen des Forschungsteams. Sie sollten nicht mit einem vollständigen Nachweis verwechselt werden, dass die Leistung unter wechselnder Netzwerklast, bei mehreren gleichzeitigen Nutzern oder in einer integrierten Produktionsumgebung unverändert bleibt. Zu solchen Betriebsbedingungen enthalten die vorliegenden Projektmaterialien keine Angaben. [4] [5]

Offener Code, aber Anforderungen an den Betrieb

Das offizielle Repository veröffentlicht die Implementierung und verweist auf die Modellgewichte von FastFrames-S und FastFrames-L. Die dokumentierte Installation setzt Linux auf x86-64, eine Nvidia-GPU und einen mit CUDA 12.8 kompatiblen Treiber voraus. Für die kleinere Variante genügt laut Benchmark eine einzelne B200; die berichtete Latenz des großen Modells unter 50 Millisekunden setzt dagegen einen Knoten mit acht solchen GPUs voraus. [5]

Die Anleitung führt außerdem eine Beispielausgabe mit 832 × 480 Pixeln, 81 Bildern und 16 Bildern pro Sekunde auf. Das beschreibt die dokumentierte Generierungskonfiguration, nicht automatisch die Qualität oder Fertigstellungszeit jeder möglichen Videoproduktion. Die Arbeit selbst weist darauf hin, dass Antwortlatenz und Bildrate unterschiedliche Kennzahlen sind. [2] [5]

Für den kommerziellen Einsatz sollten Unternehmen die Lizenzbedingungen der einzelnen Bestandteile getrennt prüfen. Das Repository nennt für den FastFrames-Code Apples Sample Code License und für die LingBot-World-v2-Komponenten CC BY-NC-SA 4.0. Diese Angaben beziehen sich ausdrücklich auf Code beziehungsweise LingBot-Bestandteile; die bereitgestellten Repository-Informationen reichen nicht aus, um daraus pauschal die Nutzungsrechte aller Modellgewichte abzuleiten. [5]

Die verfügbaren Quellen beschreiben eine Veröffentlichung von Forschungscode und Gewichten, enthalten aber keine Angaben zu einem gehosteten Dienst, Preisen oder Service-Level-Vereinbarungen. Für eine Unternehmensentscheidung sind deshalb neben der Modelllatenz auch GPU-Verfügbarkeit, Betriebskosten, Lizenzrechte und die Integration in die eigene Infrastruktur zu klären. [5]

Ein Forschungsergebnis, kein allgemeiner Leistungsstandard

FastFrames setzt einen anderen Schwerpunkt als Beschleunigungsansätze, die vor allem die Zahl der Diffusionsschritte verringern: Die Arbeit zeigt, wie stark Decoder und Cache-Pflege die Antwortzeit eines konkreten autoregressiven Videomodells beeinflussen können. Das Team berichtet für seine Varianten eine deutliche Beschleunigung bei vergleichbarer oder verbesserter visueller Qualität. Diese Ergebnisse gelten zunächst für die untersuchten Modelle, Auflösungen und B200-Konfigurationen. [1] [2]

Für Unternehmen ist der praktische Befund daher zweigeteilt. Niedrige Latenzen könnten neue interaktive Anwendungen ermöglichen, in denen ein Modell laufend auf Steuerungssignale reagiert. Gleichzeitig erfordern die Spitzenwerte spezialisierte Nvidia-Hardware, und die große Variante erreicht die angegebene Reaktionszeit nur verteilt auf acht GPUs. Die Quellen belegen außerdem keine unabhängige Qualitätsprüfung und keine Produktionskennzahlen wie Kosten pro nutzbarer Szene oder Leistung unter Mehrbenutzerlast. [2] [4] [5]

FastFrames ist damit vor allem ein Hinweis darauf, dass Optimierungspotenzial im vollständigen Inferenzpfad liegen kann. Ob sich daraus ein belastbarer Vorteil für einen konkreten Unternehmensprozess ergibt, hängt davon ab, ob dessen Anforderungen an Steuerbarkeit, Bildqualität, Auflösung, Hardware und Lizenzierung mit den veröffentlichten Bedingungen zusammenpassen. [2] [5]

Quellen

  1. [1] [2611.23226v1] FastFrames: Video Generation at Interactive Latency — https://arxiv.org/abs/2611.23226v1 (abgerufen am 2026-11-19)
  2. [2] FastFrames: Video Generation atInteractive Latency — https://arxiv.org/html/2611.23226 (abgerufen am 2026-11-19)
  3. [4] FastFrames: Video Generation at Interactive Latency — https://apple-aiml-research.github.io/ml-fastframes (abgerufen am 2026-11-19)
  4. [5] GitHub - apple-aiml-research/ml-fastframes: FastFrames: Video Generation at Interactive Latency · GitHub — https://github.com/apple-aiml-research/ml-fastframes (abgerufen am 2026-11-19)

Nächster Artikel

Robotik

SALA nutzt Sprachsignale, um Humanvideos für Robotertraining zu erschließen

SALA verbindet unpaarige Human- und Robotervideos über Sprachähnlichkeit. Ein Preprint meldet Fortschritte, doch die Skalierung bleibt begrenzt belegt.

Artikel teilen

Bei Google bevorzugen

Mehr zu Bild- & Video-KI

Alle Bild & Video-News

Dranbleiben

Mindverse News folgen

Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.

Recherchieren Sie KI-News wie diese selbst – mit Mindverse Studio.

7 Tage kostenlos testen – ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.