Zum Inhalt springen
Mindverse Logo
// Bild & Video 15 Min. Lesezeit

Runway entwickelt Echtzeit Videogenerierung für interaktive Anwendungen

Mindverse News

KI-gestützt erstellt 9 Quellen Arbeitsweise

Runway entwickelt Echtzeit Videogenerierung für interaktive Anwendungen
Symbolbild

Das Wichtigste in Kürze

  • Runway arbeitet an einer Form der Videogenerierung, bei der Bilder nicht erst nach einer abgeschlossenen Anfrage entstehen, sondern fortlaufend während der Eingabe gestreamt werden.
  • Das Konzept soll die Zeit bis zum ersten sichtbaren Frame deutlich verkürzen und Nutzern eine direkte Steuerung von Perspektive, Bewegung, Inhalt und Stil ermöglichen.
  • Technisch basiert der Ansatz auf der Generierung von Videosequenzen beziehungsweise Frames in Echtzeit, die den bisherigen Bildverlauf als Kontext verwenden.
  • Runway verbindet diese Entwicklung mit seinen sogenannten World Models, die nicht nur Bilder erzeugen, sondern auf Interaktionen, Sprache, Audio und Bewegungsbefehle reagieren sollen.
  • Als mögliche Einsatzfelder gelten unter anderem kreative Anwendungen, interaktive Figuren, Spiele, Lernumgebungen, simulierte Trainingswelten für Roboter und Systeme für autonomes Fahren.
  • Die größten Herausforderungen liegen in der visuellen Konsistenz über längere Zeiträume, der benötigten Rechenleistung, den Kosten sowie der Moderation problematischer Inhalte während eines laufenden Streams.
  • Ein gemeinsam mit Nvidia präsentierter Forschungsprototyp soll auf der Vera-Rubin-Plattform den ersten Frame in weniger als 100 Millisekunden erzeugen. Ein Termin für eine allgemein verfügbare Version ist bisher nicht bekannt.
// Inhalt · 14 Abschnitte
  1. Vom fertigen Video zum steuerbaren Prozess
  2. Warum die erste Sekunde wichtiger werden könnte
  3. Die technische Idee hinter der laufenden Generierung
  4. Der kritische Punkt: Fehler können sich fortpflanzen
  5. Runway Characters: Eine Figur als Echtzeit-Agent
  6. Solaris: Wenn die Benutzeroberfläche selbst generiert wird
  7. Rechenleistung bleibt der Engpass
  8. World Models für Robotik und autonomes Fahren
  9. Moderation in einem laufenden Videostream
  10. Das Risiko der schwerer erkennbaren Fälschung
  11. Was die Entwicklung für die Medienproduktion bedeutet
  12. Einordnung für Unternehmen
  13. Offene Fragen vor einer breiten Verfügbarkeit
  14. Ein möglicher Wechsel des Interaktionsmodells
  15. Quellen

Vom fertigen Video zum steuerbaren Prozess

Die Erzeugung von Videos mit künstlicher Intelligenz folgt bislang meist einem klar abgegrenzten Ablauf: Sie formulieren eine Eingabe, laden gegebenenfalls ein Referenzbild oder Videomaterial hoch, starten die Generierung und warten auf ein fertiges Ergebnis. Je nach Modell, Auflösung, Länge und Auslastung der Infrastruktur kann dieser Vorgang Sekunden oder mehrere Minuten dauern. Entspricht das Resultat nicht den Erwartungen, beginnt der Prozess häufig erneut.

Runway untersucht nun einen anderen Ansatz. Das Unternehmen möchte Videoinhalte nicht mehr ausschließlich als fertige Dateien erzeugen, sondern als fortlaufenden, interaktiven Strom. Nutzerinnen und Nutzer könnten demnach beschreiben, was sie sehen möchten, während das System bereits erste Bilder ausgibt. Änderungen an der Eingabe oder direkte Steuerbefehle würden nicht erst nach Abschluss einer Generation verarbeitet, sondern in den laufenden Entstehungsprozess einfließen.

Damit würde sich das Verhältnis zwischen Mensch und Videomodell verändern. Die Eingabe wäre nicht mehr lediglich ein Auftrag an ein System, das anschließend ein abgeschlossenes Werk liefert. Sie würde vielmehr zu einer laufenden Steuerung werden. Die Nutzer könnten den Bildraum während der Entstehung beeinflussen, eine Kamerafahrt anpassen, eine Figur reagieren lassen oder die Umgebung auf Grundlage einer gesprochenen Anweisung verändern.

Runway beschreibt diesen Entwicklungspfad unter dem Leitbild einer möglichst unmittelbaren Videogenerierung. Im Mittelpunkt steht dabei nicht nur die Gesamtdauer bis zum fertigen Clip, sondern vor allem die sogenannte Time to First Frame: die Zeitspanne zwischen Eingabe und dem ersten sichtbaren Bild. Aus Sicht des Unternehmens ist ein schneller erster Frame entscheidend, weil Nutzer dadurch früher erkennen können, ob sich die Generation in die gewünschte Richtung bewegt.

Warum die erste Sekunde wichtiger werden könnte

Bei herkömmlichen Videowerkzeugen entsteht ein großer Teil des Aufwands durch wiederholtes Warten. Kreative Teams formulieren eine Beschreibung, prüfen das Ergebnis, ändern einzelne Details und starten die Berechnung erneut. Schon kleine Abweichungen bei Komposition, Bewegung oder Figuren können mehrere Iterationen erforderlich machen.

Ein Echtzeitmodell könnte diesen Prozess stärker an eine direkte Interaktion annähern. Wenn Sie bereits nach kurzer Zeit sehen, wie sich eine Szene entwickelt, können Sie früher eingreifen. Eine Kamerabewegung lässt sich möglicherweise korrigieren, bevor sie sich über den gesamten Clip erstreckt. Ebenso könnten Sie die Position einer Figur, die Lichtstimmung oder die Richtung einer Bewegung anpassen, ohne jedes Mal ein vollständig neues Video erzeugen zu müssen.

Für professionelle Anwender wäre das besonders bei der Ideenentwicklung relevant. Storyboards, Moodvideos, Previsualisierungen und Varianten für Kampagnen könnten schneller entstehen. Der wesentliche Vorteil läge dabei nicht zwangsläufig in einer höheren Endqualität, sondern in einem kürzeren Feedbackzyklus zwischen Absicht, Darstellung und Korrektur.

Auch wirtschaftlich könnte die Geschwindigkeit eine Rolle spielen. Die Kosten generativer Videoanwendungen hängen unter anderem davon ab, wie viel Rechenzeit für einen Output benötigt wird. Kürzere Generierungszeiten können den Ressourcenverbrauch pro Ergebnis senken. Gleichzeitig muss ein Echtzeitsystem während der Nutzung kontinuierlich Rechenleistung bereitstellen. Ob der Ansatz tatsächlich günstiger ist, hängt daher von mehreren Faktoren ab: Modellgröße, Auflösung, Framerate, Auslastung, Hardware, Streamingarchitektur und der Zahl gleichzeitig aktiver Sitzungen.

Runway argumentiert, dass eine höhere Geschwindigkeit Anwendungen ermöglichen könnte, die bei einer langsamen oder rein batchbasierten Generierung wirtschaftlich kaum tragfähig wären. Dazu gehören interaktive Lernangebote, personalisierte Medien, dynamische Spielewelten und digitale Charaktere, die auf Nutzer in annähernd natürlicher Geschwindigkeit reagieren.

Die technische Idee hinter der laufenden Generierung

Aktuelle Videomodelle erzeugen häufig eine begrenzte Sequenz, die als zusammenhängendes Ergebnis betrachtet wird. Der von Runway beschriebene Echtzeitansatz setzt dagegen stärker auf eine schrittweise, kausale Verarbeitung. Das Modell generiert neue Bildabschnitte fortlaufend und nutzt die bereits erzeugten Frames als Kontext für die nächsten Schritte.

Diese Arbeitsweise ähnelt in einem wichtigen Punkt der zeitlichen Logik eines Videos: Ein neuer Frame muss an das bisherige Geschehen anschließen. Positionen, Bewegungsrichtungen, Lichtverhältnisse und die Identität von Figuren dürfen sich nicht bei jedem einzelnen Bild unkontrolliert verändern. Zugleich muss das Modell schnell genug sein, um die Wiedergabe nicht ins Stocken geraten zu lassen.

Im Umfeld dieser Forschung verweist Runway auf GWM-1, das Unternehmen bezeichnet es als General World Model. Das Modell soll nicht nur einzelne visuelle Ergebnisse erzeugen, sondern Zusammenhänge in einer Umgebung abbilden und auf unterschiedliche Steuersignale reagieren können. Dazu zählen nach den veröffentlichten Informationen unter anderem Kamerabewegungen, Audioeingaben und Befehle für robotische Systeme.

Die Bezeichnung World Model steht dabei für einen breiteren Anspruch als die reine Bildsynthese. Ein solches Modell soll Eigenschaften einer Welt oder Umgebung intern repräsentieren: Welche Objekte vorhanden sind, wie sie sich bewegen, wie sie auf Eingriffe reagieren und welche visuellen Folgen eine Handlung wahrscheinlich hat. In der Praxis ist die Abgrenzung zwischen einem klassischen Videomodell und einem World Model jedoch nicht immer eindeutig. Entscheidend ist, wie dauerhaft, steuerbar und konsistent das Modell auf Interaktionen reagiert.

Der kritische Punkt: Fehler können sich fortpflanzen

Die Echtzeitgenerierung bringt ein grundlegendes technisches Problem mit sich. Wenn jeder neue Frame auf dem vorherigen aufbaut, können kleine Fehler über die Zeit anwachsen. Eine Hand, die in einem Bild leicht verzerrt erscheint, könnte im nächsten Frame eine unklare Form annehmen. Aus einer geringfügigen Abweichung bei der Perspektive kann sich im weiteren Verlauf eine deutlich veränderte Szene entwickeln.

Bei Textmodellen besteht grundsätzlich die Möglichkeit, dass ein späteres Token eine vorherige Aussage korrigiert oder präzisiert. Bei einem Video ist das schwieriger. Ein späterer Frame kann zwar eine Bewegung anders fortsetzen, er kann aber den bereits gesehenen Fehler nicht ungeschehen machen. Für eine stabile Interaktion muss das System deshalb nicht nur neue Bilder generieren, sondern fortlaufend die Entwicklung der Szene überwachen und Abweichungen begrenzen.

Runway beschreibt als eine mögliche Gegenmaßnahme ein Training, bei dem das Modell auch mit seinen eigenen unvollkommenen oder fehlerhaften Ausgaben konfrontiert wird. Es soll dadurch lernen, visuelle Abweichungen zu erkennen und nicht automatisch weiterzutragen. Ein solcher Ansatz unterscheidet sich von Trainingsverfahren, die sich überwiegend auf ideale oder bereinigte Daten stützen.

Die Herausforderung betrifft nicht nur einzelne Objekte. Auch die zeitliche Logik einer Szene muss erhalten bleiben. Wenn eine Person einen Raum durchquert, sollte ihre Körperhaltung mit der Bewegung vereinbar bleiben. Wenn eine Kamera um ein Objekt kreist, müssen sich Perspektive und Hintergrund entsprechend verändern. Bei interaktiven Anwendungen kommt hinzu, dass das Modell auf unvorhergesehene Eingaben reagieren muss, ohne die Szene vollständig neu zu interpretieren.

Andere Unternehmen und Forschungseinrichtungen verfolgen ähnliche Richtungen. Für Echtzeitmodelle wurden unter anderem Verfahren untersucht, bei denen Systeme gezielt mit Bildverzerrungen trainiert werden. Google DeepMind hat mit Genie 3 zudem ein World Model vorgestellt, das interaktive Umgebungen über mehrere Minuten hinweg konsistent halten soll. Diese Entwicklungen zeigen, dass die Branche an einer gemeinsamen Kernfrage arbeitet: Wie kann ein generatives Modell eine dynamische Welt nicht nur darstellen, sondern über einen längeren Zeitraum stabil fortführen?

Runway Characters: Eine Figur als Echtzeit-Agent

Ein früherer Baustein von Runways Strategie ist Runway Characters. Nach Angaben des Unternehmens kann aus einem einzelnen Referenzbild eine interaktive Videofigur entstehen. Dabei kann es sich um eine realistisch dargestellte Person, eine Zeichentrickfigur oder ein Fantasiewesen handeln. Die Figur soll auf Sprache reagieren und dabei Lippenbewegungen, Gesichtsausdrücke und Kopfbewegungen erzeugen.

Runway nennt für diesen Ansatz eine Bildrate von 24 Frames pro Sekunde in HD sowie eine Modellzeit von etwa 37 Millisekunden pro Frame. Für die Reaktion nach dem Ende einer Spracheingabe wird eine serverseitige Antwortzeit von ungefähr 1,75 Sekunden angegeben. Diese Werte sind nicht gleichbedeutend mit einer vollständig verzögerungsfreien Unterhaltung. Sie zeigen jedoch, dass die Entwicklung nicht nur auf die Generierung statischer Clips zielt, sondern auf eine dialogorientierte Nutzung.

Für Unternehmen könnten solche Charaktere in verschiedenen Szenarien eingesetzt werden: als digitale Moderatoren, virtuelle Servicefiguren, interaktive Lernbegleiter oder Markenbotschafter. Ob eine solche Anwendung sinnvoll ist, hängt allerdings nicht allein von der visuellen Qualität ab. Ebenso relevant sind die Zuverlässigkeit der Antworten, die Erkennbarkeit des künstlichen Ursprungs, der Schutz vor Identitätsmissbrauch und die Frage, welche Inhalte die Figur ausgeben darf.

Ein Referenzbild als Ausgangspunkt senkt die Hürde für die Erstellung individueller Charaktere. Gleichzeitig erhöht es die Anforderungen an Einwilligung und Rechteverwaltung. Bei realen Personen muss geklärt sein, ob Bild, Stimme, Erscheinungsbild und Verhalten für eine generative Anwendung verwendet werden dürfen. Für Unternehmen sind daher technische Funktionen zur Kennzeichnung, Zugriffskontrolle und Protokollierung von Bedeutung.

Solaris: Wenn die Benutzeroberfläche selbst generiert wird

Mit Solaris hat Runway außerdem ein Konzept vorgestellt, das über die klassische Videoproduktion hinausgeht. Das System soll Benutzeroberflächen als laufende Videobilder erzeugen. Klicks, Ziehbewegungen oder Spracheingaben können dabei neue Frames auslösen und die Darstellung verändern.

Der Ansatz stellt die bisherige Trennung zwischen Oberfläche und Inhalt infrage. In konventionellen Anwendungen wird eine Benutzeroberfläche von Softwarecode beschrieben. Buttons, Menüs, Karten, Formulare und Zustände folgen vordefinierten Regeln. Bei einer generierten Oberfläche könnte das sichtbare Ergebnis dagegen während der Interaktion neu entstehen.

Eine solche Architektur könnte besonders für stark personalisierte oder visuell immersive Anwendungen interessant sein. Ein Lernsystem könnte beispielsweise eine Umgebung an das Niveau einer Person anpassen. Ein Produktkonfigurator könnte Varianten unmittelbar in einer generierten Szene darstellen. Ein Spiel könnte seine Umgebung nicht nur aus vorbereiteten Bausteinen zusammensetzen, sondern Bild und Reaktion gemeinsam erzeugen.

Gleichzeitig entstehen neue Fragen zur Verlässlichkeit. Klassische Software lässt sich testen, versionieren und in vielen Fällen deterministisch reproduzieren. Bei einer generierten Oberfläche kann dieselbe Eingabe je nach Kontext oder Modellzustand zu unterschiedlichen Ergebnissen führen. Für geschäftskritische Anwendungen wären daher klare Grenzen erforderlich. Zahlungsprozesse, Vertragsabschlüsse, sicherheitsrelevante Funktionen und personenbezogene Daten sollten nicht allein von einer visuell plausiblen, aber möglicherweise unvorhersehbaren Generierung abhängen.

Rechenleistung bleibt der Engpass

Echtzeit bedeutet bei Video nicht nur, dass ein einzelnes Bild schnell berechnet wird. Das System muss kontinuierlich neue Frames erzeugen, während gleichzeitig Nutzerinteraktionen verarbeitet, der Kontext gespeichert und die Ausgabe an das Endgerät übertragen wird. Für eine flüssige Darstellung sind Framerate, Auflösung und Latenz eng miteinander verbunden.

Ein Modell kann den ersten Frame sehr schnell erzeugen und dennoch bei längeren Sequenzen ins Hintertreffen geraten. Für interaktive Anwendungen zählt deshalb die gesamte Verarbeitungskette. Dazu gehören die Aufnahme einer Eingabe, ihre Interpretation, die Berechnung des nächsten Bildabschnitts, Sicherheitsprüfungen, die Kompression und die Übertragung über das Netzwerk.

Runway hat gemeinsam mit Nvidia einen Forschungsprototypen auf der Vera-Rubin-Plattform gezeigt. Nach den veröffentlichten Angaben zielt dieser auf eine Zeit von weniger als 100 Millisekunden bis zum ersten Frame. Eine solche Latenz liegt in einem Bereich, der für unmittelbare Interaktionen relevant sein kann. Sie sagt jedoch noch nichts darüber aus, unter welchen Bedingungen diese Leistung erreicht wird. Für eine Bewertung wären Angaben zu Auflösung, Bildrate, Zahl paralleler Sitzungen, Eingabeformat und Stabilität über längere Laufzeiten erforderlich.

Für Anbieter generativer Dienste verschiebt sich die Kostenstruktur teilweise von der Modellentwicklung zur Nutzung. Ein Echtzeitmodell muss bei jeder Interaktion aktiv rechnen. Gleichzeitig kann ein leistungsfähigeres Modell durch bessere Hardwareauslastung und kürzere Berechnungswege die Kosten pro Frame senken. Welche Seite überwiegt, lässt sich erst anhand verfügbarer Produkte, Nutzungsprofile und Preise beurteilen.

Für Unternehmen, die solche Systeme einsetzen möchten, sind deshalb neben der kreativen Qualität auch Infrastrukturfragen entscheidend. Dazu zählen Standort und Verarbeitung personenbezogener Daten, verfügbare Schnittstellen, garantierte Antwortzeiten, Skalierbarkeit zu Spitzenzeiten und die Möglichkeit, Ausgaben zu speichern oder nachträglich zu überprüfen.

World Models für Robotik und autonomes Fahren

Die langfristige Bedeutung der Technologie könnte über Medienproduktion und Unterhaltung hinausreichen. Interaktive Videomodelle können synthetische Umgebungen erzeugen, in denen autonome Systeme trainiert oder getestet werden. Ein Roboter könnte in einer virtuellen Welt mit Situationen konfrontiert werden, die nur selten auftreten oder in der Realität schwer sicher zu reproduzieren sind.

Runway hat mit GWM Robotics eine Variante seines World-Model-Ansatzes für robotische Anwendungen beschrieben. Ziel ist die Erzeugung synthetischer Trainingsdaten. Solche Daten können Bewegungsabläufe, Hindernisse, räumliche Veränderungen und ungewöhnliche Situationen abbilden. Die Qualität eines solchen Trainings hängt jedoch davon ab, wie realistisch die Simulation ist und ob die erlernten Fähigkeiten auf die physische Welt übertragen werden können.

Auch im autonomen Fahren werden World Models untersucht. Waymo nutzt nach eigenen Angaben eine auf den Straßenverkehr zugeschnittene Modellumgebung, um seltene Szenarien zu simulieren. Dazu können außergewöhnliche Hindernisse, extreme Wetterereignisse oder überflutete Straßen gehören. Virtuelle Testkilometer ersetzen keine realen Sicherheitsprüfungen, können aber dazu beitragen, die Zahl und Vielfalt der überprüften Situationen zu erhöhen.

Für diese Einsatzfelder ist die Geschwindigkeit ein wichtiger Faktor. Ein System, das auf eine Handlung oder ein Ereignis erst mit deutlicher Verzögerung reagiert, eignet sich nur begrenzt zur Simulation interaktiver Abläufe. Echtzeitmodelle könnten dagegen komplexe Gegenreaktionen erzeugen und damit dynamischere Tests ermöglichen.

Allerdings muss zwischen visueller Plausibilität und physikalischer Genauigkeit unterschieden werden. Ein Bild kann realistisch aussehen, ohne die tatsächlichen Kräfte, Entfernungen oder Bewegungsgrenzen korrekt abzubilden. Für sicherheitskritische Anwendungen wären daher zusätzliche physikalische Modelle, Messdaten und kontrollierte Tests erforderlich.

Moderation in einem laufenden Videostream

Die Echtzeitgenerierung verschärft auch die Anforderungen an Sicherheit und Inhaltskontrolle. Bei einem klassischen Generierungsprozess können Eingabe und fertiges Ergebnis geprüft werden, bevor es angezeigt oder veröffentlicht wird. Bei einem Stream sieht der Nutzer die Ausgabe bereits während ihrer Entstehung. Eine nachträgliche Prüfung kann deshalb zu spät kommen.

Runway hat angekündigt, seine Moderationsverfahren für diesen Anwendungsfall anzupassen. Eingaben müssen schneller bewertet werden, während die laufende Ausgabe parallel überwacht werden muss. Denkbar sind technische Verfahren, die einzelne Frames oder kurze Sequenzen analysieren, problematische Entwicklungen frühzeitig erkennen und die Darstellung unterbrechen oder ersetzen.

Diese Aufgabe ist anspruchsvoll, weil ein einzelnes Bild nicht immer eindeutig ist. Erst die Abfolge mehrerer Frames kann zeigen, ob eine Szene unproblematisch, missverständlich oder gezielt schädlich ist. Außerdem kann eine Nutzerinteraktion die Richtung eines Streams jederzeit verändern. Ein System muss daher nicht nur den Ausgangsprompt, sondern auch Folgeeingaben und den kumulierten Kontext berücksichtigen.

Aus Unternehmenssicht sind klare Richtlinien und nachvollziehbare Protokolle wichtig. Dazu gehören definierte Kategorien verbotener oder eingeschränkter Inhalte, Eskalationsprozesse bei Fehlentscheidungen, Möglichkeiten zur manuellen Prüfung und eine transparente Kennzeichnung generierter Medien. Für öffentlich zugängliche Anwendungen kommen Maßnahmen gegen Täuschung, Identitätsmissbrauch und automatisierte Manipulation hinzu.

Das Risiko der schwerer erkennbaren Fälschung

Bereits heute ist es schwierig, künstlich erzeugte Videos zuverlässig von Aufnahmen aus der realen Welt zu unterscheiden. Ein interaktiver Stream kann diese Situation verschärfen, weil eine digitale Figur unmittelbar auf Fragen oder Einwände reagiert. Dadurch kann der Eindruck entstehen, einer realen Person oder einem realen Ereignis gegenüberzustehen.

Besonders sensibel sind Anwendungen, die Stimme, Gesicht oder Verhalten einer identifizierbaren Person nachbilden. In Kundendienst, Marketing und Unterhaltung kann dies gewollt sein. Ohne ausreichende Offenlegung kann dieselbe Technik jedoch für Betrug, politische Desinformation oder fingierte Beweismittel eingesetzt werden.

Technische Herkunftsnachweise, sichtbare Hinweise und standardisierte Metadaten können die Einordnung erleichtern. Sie lösen das Problem jedoch nicht vollständig, da Inhalte kopiert, bearbeitet oder auf Plattformen ohne entsprechende Unterstützung verbreitet werden können. Unternehmen sollten deshalb organisatorische Kontrollmechanismen mit technischen Maßnahmen kombinieren.

Was die Entwicklung für die Medienproduktion bedeutet

Für Kreativteams könnte sich der Schwerpunkt von der nachträglichen Bearbeitung hin zur Live-Steuerung verschieben. Anstelle einer langen Liste einzelner Prompts würden Regieanweisungen, visuelle Referenzen, Bewegungsbefehle und Sprachkommandos während der Szene eingesetzt. Das kann die Arbeit beschleunigen, verlangt aber zugleich neue Kompetenzen.

Erforderlich wären beispielsweise Kenntnisse darüber, wie ein Modell auf zeitliche Anweisungen reagiert, welche Informationen im Kontext erhalten bleiben und wann ein Neustart effizienter ist als eine Korrektur. Auch die Rolle klassischer Produktionsschritte verändert sich nicht automatisch. Drehbuch, Dramaturgie, Markenrichtlinien, rechtliche Prüfung und Qualitätskontrolle bleiben relevant, selbst wenn die Bilder direkt während der Interaktion entstehen.

Ein weiterer Unterschied betrifft die Reproduzierbarkeit. Ein fertig gerenderter Clip kann archiviert und in identischer Form wiedergegeben werden. Ein laufender generativer Stream ist stärker vom Eingabeverlauf, vom Systemzustand und möglicherweise von der Infrastruktur abhängig. Für professionelle Workflows müssen daher Funktionen zur Aufzeichnung von Eingaben, Modellversionen, Einstellungen und Ausgaben vorgesehen werden.

Das ist insbesondere für Werbung, Nachrichten, Schulungen und Unternehmenskommunikation relevant. Wenn ein generiertes Video öffentlich eingesetzt wird, sollte nachvollziehbar sein, wie es entstanden ist. Bei interaktiven Inhalten gilt zusätzlich, dass sich die Ausgabe je nach Nutzerverhalten unterscheiden kann. Die Dokumentation muss dann nicht nur eine Datei, sondern gegebenenfalls den gesamten Interaktionsverlauf erfassen.

Einordnung für Unternehmen

Unternehmen sollten die Entwicklung nicht allein anhand spektakulärer Demonstrationen bewerten. Für einen belastbaren Einsatz sind mehrere Kriterien ausschlaggebend:

  • Latenz: Wie schnell erscheint der erste Frame, und bleibt die Ausgabe auch bei längeren Interaktionen flüssig?
  • Konsistenz: Wie stabil bleiben Figuren, Räume, Objekte, Logos und Bewegungsabläufe über die gesamte Sitzung hinweg?
  • Steuerbarkeit: Lassen sich Änderungen präzise vornehmen, ohne dass das Modell den bisherigen Kontext verliert?
  • Qualität: Welche Auflösung, Bildrate und visuelle Detailtiefe sind unter realen Betriebsbedingungen verfügbar?
  • Skalierbarkeit: Wie verhält sich das System bei vielen parallelen Nutzern und stark schwankender Nachfrage?
  • Sicherheit: Welche Eingabe- und Ausgabekontrollen, Protokolle und Kennzeichnungen sind integriert?
  • Rechte: Wie werden Trainingsdaten, Referenzbilder, Stimmen, Marken und urheberrechtlich geschützte Inhalte behandelt?
  • Integration: Gibt es Schnittstellen für bestehende Produktions-, Marketing-, Lern- oder Kundendienstsysteme?
  • Nachvollziehbarkeit: Können Versionen, Eingaben und generierte Ergebnisse für Prüfungen oder Freigaben dokumentiert werden?

Für erste Pilotprojekte bieten sich Anwendungsfälle an, bei denen schnelle visuelle Rückmeldung einen klaren Mehrwert liefert, die Folgen einer fehlerhaften Ausgabe aber begrenzt bleiben. Dazu zählen interne Konzeptentwicklung, interaktive Produktpräsentationen, prototypische Lernumgebungen oder kontrollierte Demonstrationen. Der Einsatz in sicherheitskritischen oder rechtlich besonders sensiblen Prozessen sollte erst nach umfangreicher Prüfung erfolgen.

Offene Fragen vor einer breiten Verfügbarkeit

Runway hat bislang keinen konkreten Termin für die allgemeine Verfügbarkeit seiner Echtzeit-Videogenerierung genannt. Damit bleiben mehrere Fragen offen. Unklar ist unter anderem, welche Modelle in einem Produkt angeboten werden, welche Hardware vorausgesetzt wird und ob die Technologie über eine Programmierschnittstelle, eine Anwendung oder nur in ausgewählten Forschungsprojekten zugänglich sein wird.

Ebenso offen ist, wie lange eine Szene konsistent fortgeführt werden kann. Ein kurzer, gut kontrollierter Clip stellt andere Anforderungen als eine mehrminütige Interaktion mit zahlreichen Änderungen. Für Unternehmen ist außerdem entscheidend, ob Ausgaben reproduzierbar sind und wie die Nutzung abgerechnet wird.

Die angekündigte Geschwindigkeit bis zum ersten Frame ist ein wichtiger technischer Kennwert, aber kein vollständiger Leistungsnachweis. Erst Tests unter verschiedenen Auflösungen, Eingabetypen und Belastungssituationen werden zeigen, ob der Stream tatsächlich eine kontinuierliche und kontrollierbare Erfahrung ermöglicht. Die praktische Relevanz hängt außerdem davon ab, wie gut das System mit komplexen Anweisungen, mehreren Objekten und abrupten Szenenwechseln umgehen kann.

Ein möglicher Wechsel des Interaktionsmodells

Die zentrale Bedeutung von Runways Forschung liegt weniger in einem einzelnen neuen Videomodus als in einer möglichen Veränderung des Umgangs mit generativer KI. Wenn visuelle Inhalte nicht mehr nur auf Anfrage erzeugt, sondern während der Interaktion fortlaufend angepasst werden, wird das Modell zu einer Art visueller Umgebung.

Sie geben dann nicht lediglich eine Beschreibung ab und warten auf ein Ergebnis. Sie bewegen sich durch einen generierten Prozess, beobachten die Reaktion und steuern ihn weiter. Diese Logik könnte für Video, digitale Charaktere, Benutzeroberflächen, Spiele und Simulationen relevant werden.

Ob daraus ein breiter Plattformwandel entsteht, ist derzeit nicht entschieden. Dafür müssen technische Stabilität, Kosten, Sicherheitsmechanismen und rechtliche Rahmenbedingungen zusammenpassen. Runways Forschungsrichtung zeigt jedoch, wohin sich generative Videotechnologie entwickeln könnte: weg vom einmaligen Erstellen eines Clips und hin zu einer kontinuierlich berechneten, interaktiven Bildwelt.

Für B2B-Anwender empfiehlt sich daher eine differenzierte Beobachtung. Die Technologie kann Produktionsprozesse beschleunigen und neue Formen digitaler Interaktion ermöglichen. Gleichzeitig erfordert sie strengere Anforderungen an Kontrolle, Kennzeichnung, Datenverwaltung und Qualitätssicherung. Wer Echtzeitgenerierung künftig einsetzen möchte, sollte neben kreativen Potenzialen vor allem die Betriebsbedingungen und die Risiken des laufenden Systems prüfen.

Bibliografie

  1. Runway News: Towards Instant Video Generation, 10. September 2026. https://runway.com/news/research/towards-instant-video-generation
  2. Runway Research: How Real-Time Video Generation Is Changing Online Interaction, 11. Mai 2026. https://runway.com/research/how-real-time-video-generation-is-changing-online-interaction
  3. Runway News: Building Real-Time Video Agent from a Single Image with Runway Characters, 4. Mai 2026. https://runway.com/news/engineering/building-runway-characters
  4. Runway News: Moderation in Real Time, 16. September 2026. https://runway.com/news/safety/moderation-in-real-time
  5. The Decoder: Runway wants to turn AI video generation into a live stream you control in real time, Jonathan Kemper, 20. September 2026. https://the-decoder.com/runway-wants-to-turn-ai-video-generation-into-a-live-stream-you-control-in-real-time/
  6. PetaPixel: This AI Model Creates Video in Real Time, Matt Growcoot, 23. März 2026. https://petapixel.com/2026/03/23/runway-nvidia-real-time-ai-video-generator/
  7. The Rundown AI: Runway’s Solaris tests whether live AI video can become an interface, 6. September 2026. https://www.therundown.ai/news/runway-solaris-generated-interfaces
  8. New Atlas: New AI video model generates video in real-time, Loz Blain, 19. März 2026. https://newatlas.com/ai-humanoids/runway-real-time-ai-video/
  9. Best-AI.org: Runway’s GWM-1 and Gen-4.5 Enable Live-Steerable AI Video, 21. September 2026. https://best-ai.org/ai-news/runways-gwm-1-and-gen-45-enable-live-steerable-ai-video-targeting-sub-100ms-first-frame-on-nvidia-vera-rubin-z1ypim

//Nächster Artikel

Bild & Video

Tavus präsentiert Griffin: Full-Duplex-Videomodell für täuschend echte Echtzeit-Dialoge

Tavus präsentiert mit Griffin-Lite ein Full-Duplex-Videomodell für Echtzeit-Dialoge. Analyse der Architektur, Benchmarks und B2B-Sicherheitsrisiken.

// Artikel teilen

Bei Google bevorzugen

Mehr zu Bild- & Video-KI

Alle Bild & Video-News

// Dranbleiben

Mindverse News folgen

Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.

RSS-Feed LinkedIn folgen Bei Google bevorzugen

Passend dazu in Mindverse Studio

Recherchieren Sie KI-News wie diese selbst — mit Mindverse Studio.

7 Tage kostenlos testen — ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.

7 Tage kostenlos testen Demo buchen

//Chronik

Aus dem Archiv · rund um den 21. September 2026

Alle Meldungen vom September 2026