Zum Inhalt springen
// Bild & Video 7 Min. Lesezeit

Hy-Nomas verbindet Videogenerierung mit mehrstufiger Text- und Kamerasteuerung

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 2 Quellen

KI-generierte Illustration: Hy-Nomas verbindet Videogenerierung mit mehrstufiger Text- und Kamerasteuerung
KI-generierte Illustration

Das Wichtigste in Kürze

  • Hy-Nomas ist ein Videomodell mit einem Diffusions-Backbone mit acht Milliarden Parametern, das fortlaufende Textanweisungen und Kamerasteuerung über mehrere Interaktionsschritte hinweg verarbeiten soll. [1]
  • Die Architektur kombiniert segmentweise Generierung, zwischengespeicherte Historie und einen Prompt Enhancer, der Eingaben in strukturierte Bedingungen für den jeweils nächsten Abschnitt überführt. [1][2]
  • Tencent-Hunyuan stellt nach eigenen Angaben Gewichte, Code und Benchmarks bereit; das GitHub-Projekt dokumentiert außerdem eine Web-Demo und LoRA-Anpassungen. [1][2]
  • Die Projektbeschreibung nennt eine Inferenz auf einer einzelnen RTX 4090 mit speichersparenden Verfahren. Für produktive Nutzung sind jedoch konkrete Hardware-, Latenz- und Qualitätswerte nicht aus dem arXiv-Abstract ersichtlich. [1][2]
  • Die berichtete Überlegenheit in einer menschlichen Evaluation ist eine Aussage der Paper-Autoren; das verfügbare Abstract enthält keine Details zu Kennzahlen, Vergleichsmodellen oder Versuchsaufbau. [1]
// Inhalt · 7 Abschnitte
  1. Von der Videogenerierung zur fortlaufenden Interaktion
  2. Wie die Architektur den Verlauf berücksichtigen soll
  3. Steuerung, Demonstration und Anpassung
  4. Hardware und Betrieb: Anspruch und Voraussetzungen
  5. Was die Evaluation belegt – und was offenbleibt
  6. Mögliche Einsatzfelder und klare Grenzen
  7. Ein offenes Forschungsartefakt, noch kein Leistungsversprechen
  8. Quellen

Von der Videogenerierung zur fortlaufenden Interaktion

Tencent-Hunyuan hat Hy-Nomas als Modell für interaktive Videowelten vorgestellt. Anders als ein Generator, der einen einzelnen Clip aus einer Textbeschreibung erzeugt, soll das System aufeinanderfolgende Anweisungen berücksichtigen und dabei relevante Informationen aus vorherigen Interaktionsschritten erhalten. Nutzer können Textanweisungen geben und die Kamera über mehrere Schritte hinweg steuern. Das Modell erzeugt dazu variable Videosegmente, die von den aktuellen Eingaben und einem zwischengespeicherten Verlauf abhängen. [1][2]

Der technische Bericht wurde am 27. Oktober 2026 auf arXiv eingereicht und als Technical Report gekennzeichnet. Das Abstract beschreibt Hy-Nomas als Diffusionsmodell mit einem Backbone mit acht Milliarden Parametern. Der begleitende Projektauftritt führt den Code, eine interaktive Demo und Modellgewichte auf. Die Veröffentlichung eines Berichts und eines Repositorys belegt dabei zunächst die Bereitstellung des Systems, nicht automatisch seine Eignung für einen konkreten Unternehmensbetrieb. [1][2]

  • Interaktion: freie Textanweisungen und Kamerasteuerung über mehrere aufeinanderfolgende Schritte. [1]
  • Ausgabe: variable, segmentweise erzeugte Videoinhalte statt eines einzelnen, ausschließlich promptbasierten Clips. [1][2]
  • Bereitstellung: Projektcode, Modellgewichte und Benchmarks werden laut Bericht veröffentlicht; das Repository verweist außerdem auf eine Web-Demo. [1][2]

Was „Weltmodell“ hier bedeutet

Der Begriff „Weltmodell“ kann Erwartungen an eine intern repräsentierte, dauerhaft konsistente und physikalisch verlässliche Umgebung wecken. Die beschriebenen Ein- und Ausgaben von Hy-Nomas sind jedoch Text, Kamerasteuerung und generierte Videosegmente. Die verfügbaren Projektinformationen belegen damit eine interaktive Videogenerierung, nicht eine editierbare dreidimensionale Szene oder eine überprüfte Physiksimulation. Für Unternehmen ist diese Abgrenzung wichtig, wenn Ergebnisse später in Simulationen, Engineering-Systemen oder realen Steuerungsprozessen weiterverwendet werden sollen. [1][2]

Wie die Architektur den Verlauf berücksichtigen soll

Die zentrale technische Herausforderung besteht darin, bei einer Folge von Eingaben den Zusammenhang zwischen den Segmenten zu erhalten. Nach Darstellung der Autoren kombiniert Hy-Nomas strukturierte Videobeschreibungen mit einer aktionsbewussten kausalen Aufmerksamkeitssteuerung. Beschreibender Kontext soll über Segmentgrenzen hinweg verfügbar bleiben, während konkrete Aktionsanweisungen auf die Zeitabschnitte begrenzt werden, für die sie gedacht sind. [1]

Ergänzend verarbeitet ein vision-languagebasierter Prompt Enhancer die Nutzeranfrage und multimodale Informationen aus dem bisherigen Verlauf. Er überführt diese in strukturierte Bedingungen für das nächste Segment. Das Repository beschreibt die Generierung ebenfalls als segmentweise und autoregressiv: Ein fortlaufender KV-Cache soll dabei helfen, Informationen aus dem bisherigen Verlauf für die Konsistenz neuer Abschnitte verfügbar zu halten. [1][2]

Ein mehrstufiger Trainingsablauf soll die Fähigkeiten schrittweise aufbauen. Laut Abstract führt er kausale Generierung, Textinteraktion und Kamerasteuerung ein und ergänzt später Training mit vom Modell erzeugten Verläufen. Darauf folgt eine Diffusionsdistillation. Das Repository nennt für die Inferenz vier bis acht Entrauschungsschritte und einen angepassten PixelUMM-Decoder für 32-kanalige DCAE-V-Latents. Diese Angaben beschreiben den vorgesehenen technischen Aufbau; sie ersetzen keine unabhängige Messung von Qualität oder Laufzeit. [1][2]

  • Kontext und Aktionen werden laut Paper unterschiedlich behandelt: Beschreibende Informationen bleiben über Segmente hinweg zugänglich, Anweisungen sollen zeitlich gezielt wirken. [1]
  • Der Prompt Enhancer strukturiert Nutzereingaben und Verlauf für die Generierung des nächsten Abschnitts. [1]
  • Das Repository führt vier bis acht Entrauschungsschritte für die distillierte Inferenz auf. [2]

Steuerung, Demonstration und Anpassung

Das Projekt beschreibt freie Textsteuerung als Möglichkeit, Änderungen an Szene, Stil, Objekten oder Handlungen anzustoßen. Kameraverläufe können zusammen mit Textbedingungen verwendet werden. Die interaktive Demo und der segmentweise Ablauf sind damit auf wiederholte Eingabe und Ausgabe ausgelegt, nicht nur auf die einmalige Erzeugung eines fertigen Videos. [2]

Für nachgelagerte Anwendungen dokumentiert das Repository eine LoRA-Feinabstimmung. Dabei werden zusätzliche Adapter für eine Aufgabe oder einen Datensatz trainiert, statt das gesamte Modell neu aufzubauen. Tencent-Hunyuan nennt außerdem einen Arbeitsablauf zur Datenvorbereitung aus lokalen Videos, einschließlich Annotation. Das kann den Aufwand für begrenzte Anpassungsszenarien reduzieren; welche Datenmengen, Qualitätskontrollen und Trainingszeiten im jeweiligen Betrieb nötig sind, lässt sich aus den vorliegenden Angaben nicht ableiten. [2]

Der arXiv-Bericht kündigt Gewichte, Code und Benchmarks sowie einen leichtgewichtigen Anpassungsworkflow an. Das GitHub-Repository führt die Trainings- und Inferenzkomponenten auf und verweist auf die verfügbaren Modellressourcen. Die Veröffentlichung schafft damit eine Grundlage für eigene technische Prüfungen. Sie belegt noch nicht, dass eine Anpassung an eine bestimmte Unternehmensdomäne ohne zusätzlichen Daten- und Integrationsaufwand gelingt. [1][2]

  • Die dokumentierten Steuerungsmöglichkeiten umfassen Textanweisungen und Kameraverläufe. [1][2]
  • Das Repository beschreibt LoRA-Feinabstimmung und einen Ablauf zur Aufbereitung lokaler Videodaten. [2]
  • Die Autoren geben an, Benchmarks bereitzustellen; das Abstract enthält keine Ergebnisse oder Details zu deren Aufbau. [1]

Hardware und Betrieb: Anspruch und Voraussetzungen

Die Projektbeschreibung auf GitHub gibt an, Hy-Nomas könne mit speichersparender Inferenz auf einer einzelnen Nvidia RTX 4090 laufen. Das ist eine Aussage des Projektteams und sollte nicht als allgemeingültige Mindestanforderung für jede Auflösung, Sequenzlänge oder Bedienlast gelesen werden. Die vorliegenden Angaben nennen im arXiv-Abstract keine standardisierten Laufzeit- oder Speicherwerte, anhand derer sich der Bedarf für konkrete Produktionsszenarien vergleichen ließe. [1][2]

Das Repository nennt als Voraussetzungen für eine manuelle Installation Linux, Python 3.12 oder neuer, einen kompatiblen Nvidia-Treiber, das CUDA-13.0-Toolkit und einen C++-Compiler. Alternativ wird ein vorkonfiguriertes Docker-Image empfohlen; auch dafür sind ein kompatibler Host und die Nvidia-Container-Umgebung erforderlich. Das zeigt, dass „lokal ausführbar“ nicht mit plattformunabhängig oder ohne GPU-Infrastruktur gleichzusetzen ist. [2]

Für Unternehmen sind neben dem Modell selbst deshalb die Betriebsbedingungen zu prüfen: benötigte GPU-Kapazität, Speicherbedarf, Durchsatz bei mehreren gleichzeitigen Nutzern, Wiederanlaufverhalten und die Integration in bestehende Anwendungen. Das sind Analysepunkte, keine vom Paper belegten Schwächen. Die bereitgestellten Materialien liefern keine vollständigen, unabhängigen Benchmarks zu diesen Betriebsfragen. [1][2]

  • Laut GitHub-Projektbeschreibung ist eine Einzel-GPU-Inferenz mit RTX 4090 vorgesehen; Angaben zu allen Lastprofilen fehlen in den vorliegenden Quellen. [2]
  • Die dokumentierte manuelle Installation setzt eine Linux- und CUDA-Umgebung voraus. [2]
  • Unternehmensweite Skalierung und Mehrbenutzerleistung sollten daher separat getestet werden. [1][2]

Was die Evaluation belegt – und was offenbleibt

Das Abstract berichtet, Hy-Nomas habe in einer menschlichen Evaluation besser abgeschnitten als bestehende Weltmodelle. Diese Aussage ist dem Paper der Entwickler zuzuordnen. Das hier verfügbare Abstract nennt weder die Vergleichssysteme noch die Zahl und Auswahl der Bewertenden, die Aufgaben, die Bewertungsmaßstäbe oder konkrete Ergebnisse. Eine unabhängige Bestätigung lässt sich aus den bereitgestellten Quellen nicht ableiten. [1]

Für eine belastbare Einordnung ist deshalb entscheidend, welche Eigenschaften bewertet wurden: etwa die Einhaltung von Textanweisungen, visuelle Qualität, Kontinuität zwischen Segmenten oder Kamerasteuerung. Ohne diese Angaben lässt sich nicht beurteilen, ob ein berichteter Vorteil auf Aufgaben übertragbar ist, die für ein Unternehmen relevant sind. Die Autoren verweisen zwar auf Benchmarks, doch das Abstract liefert keine Benchmarkwerte. [1]

Auch die technische Beschreibung allein beantwortet nicht, wie stabil Szenen und Objekte über lange Interaktionsfolgen bleiben oder wie zuverlässig das Modell Aktionen in visuellen Ausgaben umsetzt. Das Paper beschreibt diese Ziele und Mechanismen, aber die vorliegenden Textstellen enthalten keine unabhängigen Prüfungen ihrer Grenzen. Für Anwendungen, bei denen Fehler Folgekosten verursachen, sollten Sie die Ergebnisse deshalb anhand eigener, vorab definierter Tests bewerten. [1][2]

Mögliche Einsatzfelder und klare Grenzen

Als Analyse lassen sich aus den dokumentierten Funktionen zunächst Prototyping und frühe Konzeptarbeit ableiten: Teams könnten untersuchen, wie sich Szenen durch fortlaufende Text- und Kameraeingaben entwickeln, oder interaktive visuelle Abläufe demonstrieren. Die LoRA- und Datenaufbereitungsfunktionen könnten zudem für eng abgegrenzte Experimente mit eigenen Videos relevant sein. Das sind mögliche Einsatzrichtungen, keine vom Projekt nachgewiesenen Geschäftsergebnisse. [1][2]

Weniger belegt ist eine direkte Nutzung als Ersatz für Game-Engines, digitale Zwillinge oder Robotiksimulatoren. Die verfügbaren Beschreibungen sprechen von generierten Videos und Steuerungssignalen, nicht von einer nativen, strukturierten 3D-Welt mit auslesbaren Zuständen und verifizierter Physik. Auch die von Tencent-Hunyuan erwähnte Anpassung an spezialisierte Bereiche wie Robotik ist eine Projektpositionierung; sie belegt für sich genommen keine Eignung für reale Robotersteuerung. [1][2]

Für eine Erprobung im Unternehmen bietet sich daher eine klare Trennung an: visuelle Demonstration und Interaktionsprototyp auf der einen, belastbare Simulation und operative Steuerung auf der anderen Seite. Entscheidend ist, ob ein Anwendungsfall lediglich plausible Bildfolgen benötigt oder zusätzlich reproduzierbare Zustände, präzise Aktionsfolgen und überprüfbare Ergebnisse verlangt. Diese Unterscheidung folgt aus dem dokumentierten Ausgabeformat und den noch offenen Evaluationsdetails. [1][2]

Ein offenes Forschungsartefakt, noch kein Leistungsversprechen

Hy-Nomas ist nach den vorliegenden Informationen sowohl ein Forschungsvorschlag als auch ein öffentlich bereitgestelltes Softwareprojekt: Der Bericht erläutert Architektur und Trainingsansatz, während das Repository Code, Gewichte, Demo und Anpassungsmöglichkeiten aufführt. Für technische Teams kann diese Kombination eine eigene Prüfung ermöglichen. Sie sollten die veröffentlichten Leistungsbehauptungen jedoch von unabhängig bestätigten Ergebnissen trennen. [1][2]

Der wichtigste Beitrag des Ansatzes liegt in der Verbindung von fortlaufender Textinteraktion, Kamerasteuerung und segmentweiser Videogenerierung mit einem gespeicherten Verlauf. Ob diese Architektur in längeren Abläufen konsistente und für konkrete Geschäftsprozesse hinreichend verlässliche Ergebnisse liefert, bleibt anhand des verfügbaren Abstracts offen. Für eine Beschaffungs- oder Integrationsentscheidung sind deshalb eigene Tests zu Qualität, Latenz, Ressourcenbedarf und Fehlerverhalten nötig; die Quellen selbst liefern dafür noch kein vollständiges Bild. [1][2]

Quellen

  1. [1] [2610.36729v1] Hy-Nomas: Towards Free-form Interactive World Generation — https://arxiv.org/abs/2610.36729v1 (abgerufen am 2026-10-28)
  2. [2] GitHub - Tencent-Hunyuan/Hy-Nomas: Hy-Nomas: Towards Free-form Interactive World Generation · GitHub — https://github.com/tencent-hunyuan/hy-nomas (abgerufen am 2026-10-28)

//Nächster Artikel

Robotik

RynnWorld-Latent verbindet Robotervideos über gemeinsame latente Aktionen

RynnWorld-Latent nutzt gemeinsame latente Aktionen, um Videos von Menschen, Robotern und Simulationen für Weltmodelle und Robotiktraining zu verbinden.

// Artikel teilen

Bei Google bevorzugen

Mehr zu Bild- & Video-KI

Alle Bild & Video-News

// Dranbleiben

Mindverse News folgen

Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.

Recherchieren Sie KI-News wie diese selbst — mit Mindverse Studio.

7 Tage kostenlos testen — ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.