Nvidia veröffentlicht Flora-Modelle zur Auswertung von Robotikvideos

Drei Arten von Labels, drei verschiedene Aufgaben

Flora bearbeitet laut Nvidia drei zentrale Annotationsaufgaben. Zeitmarkierte Beschreibungen ordnen Videosequenzen Handlungen zu und können helfen, Material für das Training auszuwählen oder zu filtern. Prozessbewertungen geben Schritt für Schritt Rückmeldung über den Fortschritt; solche Signale können beim nachgelagerten Reinforcement Learning eingesetzt werden. Ergebnisbewertungen halten fest, ob eine Episode insgesamt erfolgreich war, und sind laut Nvidia auch für die Überwachung von Robotern im Einsatz vorgesehen. [3]

Diese Unterscheidung ist für die praktische Bewertung wichtig. Eine richtige Beschreibung einer Handlung garantiert nicht, dass das Modell auch einen Fehlschritt erkennt. Umgekehrt kann ein System eine Episode als teilweise erfolgreich bewerten, ohne jede Bewegung präzise zu benennen. Flora bündelt diese Funktionen, doch die Qualität muss deshalb für jeden Anwendungsfall gesondert geprüft werden. Die Benchmarks von Nvidia weisen entsprechend unterschiedliche Stärken je nach Aufgabe aus. [1][3]

• Aktionsbeschreibungen: Was geschieht, und an welcher Stelle im Video? [1][3]
• Prozesssignale: Wie entwickelt sich die Ausführung während eines Versuchs? [1][3]
• Ergebnisbewertungen: Wurde die Aufgabe abgeschlossen oder verfehlt? [3]

Modellaufbau und behaupteter Produktionsmaßstab

Nach der Beschreibung im zugrunde liegenden Bericht besteht Flora aus drei feinabgestimmten Qwen3.5-Modellen. Ein Modell mit neun Milliarden Parametern segmentiert Videos in Aktionsabschnitte. Ein 27-Milliarden-Modell formuliert Beschreibungen und berücksichtigt dabei auch den Kontext vor und nach einer Handlung. Ein weiteres 27-Milliarden-Modell, Flora-Rewarder, erzeugt je nach Eingabe unterschiedliche Bewertungen. [1]

Der Rewarder kann Episoden auf einer Skala von eins bis fünf bewerten, einzelne Schritte in Abständen von einer halben Sekunde als normal, suboptimal oder fehlerhaft einstufen und Verhalten anhand vorgegebener Bewertungsrubriken beurteilen. Damit zielt das System nicht allein auf eine nachträgliche Zusammenfassung des Videos, sondern auch auf dichter aufgelöste Rückmeldungen während einer Ausführung. [1]

Nvidia gibt an, Flora bereits in einer internen Datenpipeline für das Training seiner GR00T-Modelle einzusetzen. Die Forschungsseite beziffert die Verarbeitung auf 200.000 Videostunden pro Tag mit 512 GB300-GPUs. Ein Mitarbeiter nannte in der Ankündigung gerundet 500 GPUs; die Angaben sind daher als Unternehmensdarstellung zum internen Betrieb zu verstehen, nicht als unabhängige Messung oder Leistungszusage für externe Nutzer. [2][3][4]

Der Kostenabstand ist eine Modellrechnung

Nvidia beziffert die Kosten für die Annotation einer Stunde Videomaterial mit Flora auf etwa 72 US-Cent. Für GPT-6 Astra nennt der Vergleich rund 88,49 US-Dollar pro Stunde; für Claude Opus 5 werden etwa 42 US-Dollar angegeben. Daraus leitet Nvidia für Flora einen Kostenvorteil von ungefähr dem Faktor 125 gegenüber Astra ab. [1][3]

Diese Werte sind laut Bericht keine in einer realen Produktionsumgebung gemessenen Gesamtkosten. Nvidia berechnete sie auf Grundlage eines angenommenen Mietpreises von zehn US-Dollar pro GPU-Stunde. Der Vergleich bezieht sich damit auf ein kalkuliertes Szenario; er beantwortet nicht, welche Gesamtkosten ein Unternehmen für Datenbeschaffung, Qualitätskontrolle, Integration, Speicherung und Betrieb in der eigenen Umgebung hätte. [1]

Auch die Leistungsangabe ist ein Nvidia-Test und keine unabhängige Replikation. In einem Vergleich mit 50 Videos soll Flora nach Nvidias Bewertung leicht besser als Astra abgeschnitten haben, obwohl Astra mit voller Reasoning-Kapazität eingesetzt worden sei. Der Artikel nennt für diesen Test eine Qualität von 57,1 Prozent bei Flora und 53,7 Prozent bei Astra. Diese Einzelwertung sollte nicht mit einem allgemeinen Nachweis gleichgesetzt werden, dass Flora in jedem Robotikdatensatz oder für jede Art von Videoannotation überlegen ist. [1]

Benchmarks zeigen ein gemischtes Bild

Die öffentlich dargestellten Benchmarkwerte widersprechen einer einfachen Rangliste. Auf dem WGO-Bench erzielt Flora laut Nvidia einen höheren Wert bei der Segmentierung von Aktionsabschnitten als Astra: 50,3 gegenüber 46,0 beim Segmentierungs-F1-Wert. Astra liegt jedoch bei der Gold-Window-Accuracy mit 77,4 gegenüber 64,7 sowie beim gemeinsamen semantischen F1-Wert mit 39,0 gegenüber 34,5 vorn. Die Ergebnisse sprechen damit für eine Stärke Floras bei der zeitlichen Abgrenzung, nicht für eine durchgängige Überlegenheit bei der Beschreibung. [3]

Auch die Ergebnisse für menschliche und robotische Aufnahmen unterscheiden sich. Auf dem Human100-Teil von DenseCaptionBench liegt Flora bei den drei ausgewiesenen Metriken vor Astra. Beim Robot200-Teil ist es umgekehrt: Astra erreicht beispielsweise eine Caption Point Quality von 80,2, Flora 73,7; auch bei Segmentierung und kombiniertem Punkt-F1 liegt Astra vorn. Der Bericht weist zudem darauf hin, dass bei einer Bewertung der Beschreibungen GPT-6 Astra zugleich zu den getesteten Modellen gehört. Das ist ein methodischer Vorbehalt, den Nvidia-Forscher laut Bericht selbst einräumen. [1][3]

Für Unternehmen bedeutet das: Ein einzelner Gesamtwert oder Kostenvergleich reicht als Auswahlkriterium nicht aus. Entscheidend ist, ob die eigene Anwendung präzise Zeitgrenzen, belastbare Beschreibungen, zuverlässige Fehlererkennung oder ein bestimmtes Bewertungsformat benötigt. Die von Nvidia veröffentlichten Teilmetriken zeigen, dass sich die relative Leistung mit dem Datentyp und der Bewertungsaufgabe ändert. [1][3]

Vorteile bei Fehlern während einer Episode

Besonders auffällig sind Floras Ergebnisse bei der Erkennung fehlerhafter Zwischenschritte. Auf dem DenseRewardBench weist Nvidia für Flora einen Failure-Recall von 53,3 Prozent aus; GPT-6 Astra erreicht in derselben Tabelle null Prozent. Flora liegt außerdem beim Macro-F1-Wert und bei der ausgewiesenen Balanced Accuracy vor Astra. Diese Zahlen betreffen jedoch einen spezifischen Benchmark und sind nicht ohne Weiteres auf beliebige Roboteraufgaben übertragbar. [3]

Ein Beispiel im Bericht illustriert den Unterschied bei teilweise erledigten Aufgaben: Ein Roboter stößt eine Flasche um, statt sie vollständig vom Tisch zu entfernen. Flora vergibt dafür drei von fünf Punkten und liegt damit laut Bericht näher an der menschlichen Referenz; Astra vergibt einen Punkt. Auf einem weiteren Beispiel erkennt Flora 34 von 37 einzelnen Handlungen, während Astra vier erfasst. Solche Ergebnisse deuten auf einen Nutzen für kleinteilige Prozessanalysen hin, bleiben aber benchmark- und videobezogene Beobachtungen. [1]

Die höhere Erkennung fehlerhafter Schritte hat einen dokumentierten Zielkonflikt: Flora markiert laut Bericht etwa elf Prozent der normalen Schritte fälschlich als Fehler. Bei längeren Handlungen kann das Modell außerdem zu viele kleine Teilaktionen bilden oder eine Handlung falsch beschreiben. In einem Beispiel deutet es das Abwischen eines Tellers mit einem Tuch als Falten einer Serviette. Eine automatische Annotation ersetzt daher nicht ohne Weiteres die Prüfung kritischer Labels. [1]

Was die Veröffentlichung für Unternehmen verändert

Die Bereitstellung der Modellgewichte kann Teams eine zusätzliche Option geben, eigene Robotikvideos automatisiert zu strukturieren, statt ausschließlich auf externe, API-basierte Modelle zurückzugreifen. Nvidia nennt als Einsatzfelder die Auswahl und Filterung von Daten, Fortschrittsbewertungen für das nachgelagerte Training sowie rubrikbasierte Bewertungen. Das Unternehmen beschreibt außerdem die Nutzung von Flora im Training seiner GR00T-Modelle und die Möglichkeit, eigene Robotikdatensätze zu skalieren. [2][3]

Als Analyse folgt daraus: Ein niedriger kalkulierter Preis pro Videostunde könnte besonders dann relevant werden, wenn große Mengen an Aufnahmen wiederholt ausgewertet werden müssen. Der Kostenvorteil ist für einen konkreten Betrieb aber erst dann belastbar, wenn Unternehmen die Modelle mit ihren eigenen Aufgaben, Aufnahmen und Qualitätsanforderungen testen und dabei den gesamten Betriebsaufwand berücksichtigen. Die Nvidia-Zahl allein enthält keine Aussage darüber, wie häufig menschliche Korrekturen nötig sind oder wie gut Flora mit den jeweiligen Aufnahmebedingungen zurechtkommt. [1][3]

Die Quellen belegen die Bereitstellung der Modelle beziehungsweise Gewichte, erläutern aber keine Lizenzdetails oder eine umfassende Freigabe der übrigen Datenpipeline. Aus der Bezeichnung als offen sollte deshalb nicht automatisch auf die Bedingungen für jede kommerzielle Nutzung oder auf die Offenlegung von Trainingsdaten und gesamtem Quellcode geschlossen werden. [2][3]

Ein Baustein in Nvidias Robotikstrategie

Nvidia ordnet Flora in eine breitere Datenpipeline für Robotik ein: Das Unternehmen arbeitet laut Bericht auch mit Simulation und automatisierter Datenverarbeitung, um den Bedarf an Trainingsdaten zu adressieren. Flora ergänzt diese Pipeline um zeitlich verortete Beschreibungen und Bewertungssignale aus Videos. Der Bericht stellt die Veröffentlichung außerdem in den Zusammenhang mit Nvidias Bemühungen, Modelle, Datenwerkzeuge und Robotiksysteme miteinander zu verbinden. [1]

Für die industrielle Nutzung bleibt damit die Validierung entscheidend. Die öffentlich angegebenen Kosten und Benchmarkwerte liefern Anhaltspunkte für Tests, aber keine unabhängige Bestätigung der Leistung in einer konkreten Produktionsumgebung. Besonders zu prüfen sind die Unterschiede zwischen menschlichen und robotischen Aufnahmen, die Fehlalarme bei normalen Schritten und die Qualität der Beschreibungen bei unübersichtlichen oder mehrdeutigen Bewegungen. [1][3]

Quellen

1. [1] Nvidia open-sources Flora to make robot video labeling 125x cheaper than GPT-6 Astra — https://the-decoder.com/nvidia-open-sources-flora-to-make-robot-video-labeling-125x-cheaper-than-gpt-6-astra (abgerufen am 2026-10-25)
2. [2] NVIDIA introduces Flora, an open model suite for labeling human and robot video · Digg — https://digg.com/ai/s15gk7w1 (abgerufen am 2026-10-25)
3. [3] Flora: An Open Model Suite for Scaling Robotics Data Engines — https://research.nvidia.com/labs/gear/flora (abgerufen am 2026-10-25)
4. [4] Jim Fan on X: "We built a robotics data engine with Astra-level ... — https://x.com/DrJimFan/status/2112597587987689912 (abgerufen am 2026-10-25)