OpenFlyV2 bündelt Bildverstehen und Flugplanung auf der Drohne
Mindverse News
KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 3 Quellen
Das Wichtigste in Kürze
- OpenFlyV2 soll visuelle Wahrnehmung, Sprachverständnis und räumliche Navigation in einem Modell zusammenführen und Flugwegpunkte direkt an Bord erzeugen. [1]
- Laut der Paper-Seite läuft die Inferenz mit 10 Hz auf einer NVIDIA Jetson Orin NX; ausgegeben werden Aktionspakete mit jeweils zwölf Wegpunkten. [1]
- Die bereitgestellte Zusammenfassung nennt rund 70.000 Navigationsverläufe und 60.000 Sprach-Bild-Paare sowie eine Erfolgsrate von 48 Prozent in vier realen Umgebungen. [1]
- Da die Seite den Abstract als KI-generiert kennzeichnet und den Paper-Volltext nicht bereitstellt, lassen sich Versuchsaufbau und Leistungswerte anhand des gelieferten Materials nicht unabhängig prüfen. [1]
// Inhalt · 6 Abschnitte
Ein Modell für Wahrnehmung, Sprache und Bewegung
OpenFlyV2 ist ein Forschungsansatz für autonome Drohnennavigation, bei der ein Modell Bildinformationen und natürlichsprachliche Anweisungen gemeinsam verarbeitet und daraus Flugbewegungen ableitet. Die Paper-Seite führt die Arbeit unter der Kennung arXiv:2610.39287; sie nennt den 28. Oktober 2026 als Veröffentlichungsdatum und Junli Liu als Erstautor. [1]
Der Ansatz zielt auf eine bekannte Lücke zwischen semantischem Verständnis und praktischer Flugsteuerung: Eine Drohne soll nicht nur eine Szene erkennen, sondern auch sprachlich beschriebene Ziele in der Umgebung lokalisieren, räumliche Beziehungen berücksichtigen und eine passende Folge von Bewegungen planen. Die Aerial-VLN-Forschung beschreibt diese Aufgaben als anspruchsvoll, weil Drohnen sich in einem dreidimensionalen Raum bewegen, wechselnde Blickwinkel erleben und mit begrenzter Bord-Rechenleistung auskommen müssen. [1][2]
Wichtig ist eine Einschränkung zur Quellenlage: Die Hugging-Face-Seite kennzeichnet den dort wiedergegebenen Abstract als von thinkingmachines/Inkling-Small generiert; außerdem steht dort, dass der Paper-Inhalt nicht verfügbar ist. Die folgenden Architektur- und Leistungsangaben stammen deshalb aus dieser Darstellung und sind nicht anhand des Volltexts überprüft. [1]
Gemeinsame Repräsentation, kurze Flugwegpakete
Der beschriebenen Architektur zufolge nutzt OpenFlyV2 eine gemeinsame Vision-Language-Repräsentation für mehrere Aufgaben: semantisches Szenenverständnis, an Sprache gebundene Wahrnehmung, räumliches Schlussfolgern und fortlaufende Flugsteuerung. Ein kompakter Aktionsbaustein soll den multimodalen Kontext in kurzfristige Flugwegpunkte übersetzen. [1]
Die Darstellung nennt außerdem ein bewegungsbezogenes zeitliches Gedächtnis und sogenannte Action Priors. Sie sollen den Rechenaufwand für die geschlossene Regelung senken. Technisch betrachtet adressiert diese Kombination zwei unterschiedliche Anforderungen: Das Modell muss frühere Beobachtungen und Bewegungen berücksichtigen, zugleich aber schnell genug neue Aktionen berechnen, um auf Veränderungen während des Flugs zu reagieren. Die verfügbare Quelle beschreibt die Komponenten, enthält jedoch keine Details zu ihrer konkreten Implementierung oder zu Ablationsversuchen, mit denen sich ihr jeweiliger Beitrag beurteilen ließe. [1]
OpenFlyV2 gibt demnach Aktionspakete mit jeweils zwölf Wegpunkten aus. Die Inferenz soll mit 10 Hz vollständig an Bord einer NVIDIA Jetson Orin NX laufen. 10 Hz entsprechen rechnerisch zehn Ausgaben pro Sekunde; ob und wie die Wegpunkte zeitlich abgearbeitet werden, geht aus der verfügbaren Zusammenfassung nicht hervor. Ebenso wenig ist damit belegt, dass das Modell direkt Motoren oder hochfrequente Flugregelungssignale steuert: Beschrieben werden Wegpunkte, nicht die Ansteuerung einzelner Rotoren. [1]
Für die Einordnung ist dieser Unterschied wesentlich. Aerial-VLN-Systeme müssen laut einer einschlägigen Übersicht unter anderem kontinuierliche Bewegungen in sechs Freiheitsgraden und starke Änderungen des Kamerablicks bewältigen. Eine Wegpunktausgabe kann dabei eine höhere Planungsebene bilden; aus der bereitgestellten Beschreibung lässt sich aber nicht ableiten, wie die Umsetzung in stabile Flugbewegungen erfolgt. [1][2]
Trainingsdaten aus Simulationen
Die Paper-Seite nennt eine simulationsbasierte Datensammlung mit ungefähr 70.000 Navigationsverläufen sowie 60.000 Sprach-Bild-Anweisung-Antwort-Paaren. Ein Community-Beitrag auf derselben Seite fasst den Umfang als 130.000 VLN- und VQA-Beispiele zusammen. Da es sich um unterschiedliche Datentypen handelt, sollte die Addition nicht ohne Weiteres als Zahl gleichartiger oder voneinander unabhängiger Trainingsbeispiele verstanden werden. [1]
Im ausgelesenen Abstract fehlt an der Stelle, an der die Sammlung angekündigt wird, ein Datensatzname. Auch Angaben etwa zu den simulierten Umgebungen, zur Verteilung der Aufgaben oder zur Aufteilung in Trainings- und Testdaten sind in der bereitgestellten Darstellung nicht enthalten. Diese Lücken begrenzen, wie gut Unternehmen und Forschungsteams die Übertragbarkeit der Ergebnisse anhand der Seite einschätzen können; sie belegen nicht, dass entsprechende Informationen im vollständigen Paper fehlen. [1]
Die Seite verweist auf ein GitHub-Projekt und erklärt zugleich, der Code werde öffentlich verfügbar gemacht. Das ist eine Ankündigung, kein Nachweis, dass Code oder Datensatz bereits veröffentlicht und reproduzierbar nutzbar sind. Für eine technische Prüfung wären insbesondere ausführbare Artefakte, Datenzugangsbedingungen und genaue Evaluationsprotokolle relevant. [1]
48 Prozent Erfolg im realen Flug: ein erster, begrenzter Befund
Als zentrales Ergebnis nennt die Zusammenfassung einen Transfer von der Simulation auf einen physischen Quadrokopter ohne zusätzliches Training mit realen Luftfahrtdaten. In vier realen Umgebungen habe OpenFlyV2 eine Navigations-Erfolgsrate von 48 Prozent erreicht. Die Zahl ist eine Angabe der Paper-Seite und lässt sich anhand der vorliegenden Quellen nicht unabhängig verifizieren. [1]
Der sim-to-real-Transfer ist für den Einsatz an Bord besonders relevant: Ein ausschließlich in Simulationen getestetes Modell kann an Abweichungen realer Sensoren, Umgebungen oder Bewegungsabläufe scheitern. Eine Aerial-VLN-Übersicht identifiziert die Übertragung in die reale Welt, die Vielfalt von Benchmarks und die begrenzte Vergleichbarkeit von Messgrößen als offene Probleme des Forschungsfelds. [2]
Die Erfolgsrate allein beantwortet jedoch nicht, wie belastbar das Ergebnis ist. Die bereitgestellte Zusammenfassung nennt weder die Zahl der Versuche noch die Definition von Erfolg, die Schwierigkeit der Aufgaben, Vergleichswerte anderer Modelle oder Schwankungen zwischen Umgebungen. Sie liefert auch keine Angaben zu Sicherheitsereignissen oder zu einem möglichen Rückfall- beziehungsweise Abbruchverhalten. Ohne diese Informationen ist 48 Prozent ein berichteter Ergebniswert, aber keine ausreichende Grundlage, um die Einsatzreife für einen konkreten Betriebsprozess zu beurteilen. [1]
Auch die Formulierung „zero-shot“ sollte eng am Bericht ausgelegt werden: Die Quelle sagt, dass kein Training mit realen Luftfahrtdaten verwendet wurde. Daraus folgt nicht automatisch, dass vor dem Test keinerlei Anpassung, Kalibrierung oder konventionelle Flugregelung nötig war; dazu macht die verfügbare Zusammenfassung keine Angaben. [1]
Einordnung in ein uneinheitliches Forschungsfeld
OpenFlyV2 verbindet mehrere Forschungsziele, die in der Aerial-VLN-Literatur als getrennte Herausforderungen beschrieben werden: Sprache soll mit visuellen Szenen verknüpft, räumliches Verständnis für die Navigation genutzt und die Berechnung auf begrenzter Bordhardware ausgeführt werden. Die dazugehörige Übersicht nennt außerdem Schwierigkeiten bei langen Anweisungen, wechselnden Blickwinkeln, kontinuierlicher Steuerung und der Standardisierung von Benchmarks. [1][2]
Andere Arbeiten setzen unterschiedliche Schwerpunkte. Ein ICLR-Poster-Eintrag zu AutoFly beschreibt beispielsweise ein Modell für autonome UAV-Navigation mit einem Tiefen-Encoder für RGB-Bilder, einer zweistufigen Trainingsstrategie und einem Datensatz mit realen Daten. Der Eintrag berichtet eine um 3,9 Prozent höhere Erfolgsrate als bei dort verwendeten VLA-Baselines und nennt Leistung in simulierten und realen Umgebungen. [5]
Diese Angaben sind kein direkter Vergleich mit OpenFlyV2: Die verfügbaren Beschreibungen legen keine gemeinsame Aufgabenverteilung, Messdefinition oder Testumgebung offen. Die Zahlen erlauben deshalb keine Rangfolge zwischen den Ansätzen. Der Vergleich zeigt vielmehr, dass unter dem Begriff autonome Drohnennavigation unterschiedliche Aufgaben und Datenstrategien zusammenkommen können. [1][5]
Was Unternehmen vor einem Praxistest prüfen sollten
Für Unternehmen, die sprachgestützte Drohnennavigation evaluieren, ist die Onboard-Ausführung auf einer Jetson Orin NX ein konkreter technischer Bezugspunkt. Sie zeigt, auf welcher Hardware die Quelle die angegebene Inferenzleistung verortet. Sie sagt jedoch nichts über Energiebedarf, thermische Belastung, Speicherverbrauch, Kosten, Sensorbestückung oder Leistungsabfall unter längerer Dauerlast aus. Solche Punkte müssten für den jeweiligen Betrieb separat geprüft werden. [1]
Die berichteten Flüge in vier realen Umgebungen sind ein Hinweis auf praktische Tests, aber kein Beleg für Zuverlässigkeit in beliebigen Einsatzgebieten. Unternehmen sollten die Ergebnisse daher nicht ohne eigene Validierung auf Inspektion, Außendienst oder andere konkrete Aufgaben übertragen. Diese Schlussfolgerung folgt aus dem begrenzten Umfang der berichteten Evaluation und den in der Fachübersicht beschriebenen Problemen bei Simulationsübertragung und Vergleichbarkeit. [1][2]
Für eine belastbare Bewertung wären mindestens der vollständige Versuchsaufbau, die genaue Erfolgsdefinition, die Zahl der Testflüge und Ergebnisse je Umgebung wichtig. Hinzu kommen Angaben zu Fehler- und Sicherheitsfällen sowie ein Vergleich mit etablierten Navigationssystemen unter identischen Bedingungen. Die verfügbare Paper-Seite macht diese Details nicht zugänglich; offen bleibt daher, wie weit sich die angekündigte Kombination aus Wahrnehmung, Sprachverständnis und Flugwegplanung bereits über den Demonstrationsrahmen hinaus einsetzen lässt. [1]
Quellen
- [1] Paper page - OpenFlyV2: An onboard vision-language-action model for aerial perception and navigation — https://huggingface.co/papers/2610.39287 (abgerufen am 2026-10-30)
- [2] Vision-Language Navigation for Aerial Robots: Towards the Era of Large Language Models — https://arxiv.org/html/2604.07705v1 (abgerufen am 2026-10-30)
- [5] ICLR Poster AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild — https://iclr.cc/virtual/2026/poster/10011229 (abgerufen am 2026-10-30)
//Nächster Artikel
Bild & Video
AB-Attention zielt auf präzisere Beschleunigung von Video-DiffusionAB-Attention soll den Rechenaufwand von Video-Diffusion-Transformern durch gewichtete Blockauswahl senken – bei hoher Sparsität und geringerem Qualitätsverlust.

// Artikel teilen
Mehr zu Bild- & Video-KI
Alle Bild & Video-News- WeVisCut setzt auf eine trainierte 9B-Policy für lange Videos
WeVisCut trainiert eine 9B-Policy für die Produktion langer Videos. Die Autoren berichten von mehr als 130.000 Trainingsbeispielen und geringerem Tokenbedarf.
- OmniShowcase ergänzt Video-KI um rekonstruierte 3D-Geometrie
OmniShowcase kombiniert vier Referenzbilder mit rekonstruierten Oberflächennormalen, um Video-KI bei stabilen Ansichten über 360 Grad zu unterstützen.
- DTCA verfeinert das Reinforcement Learning für Diffusions-Sprachmodelle
DTCA verteilt RL-Lernsignale in Diffusions-Sprachmodellen auf einzelne Tokens. Ein Preprint meldet Zugewinne bei Mathe-Benchmarks, lässt aber Fragen offen.
- ThinkWorld nutzt Weltvorhersagen, um Roboterlernen mit menschlichen Videos zu verbinden
ThinkWorld nutzt Dynamik-Ketten und menschliche Videos fürs Roboterlernen. Die Autoren berichten über Benchmarks und Tests an realen Robotern. [S2][S5]
// Dranbleiben
Mindverse News folgen
Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.
Recherchieren Sie KI-News wie diese selbst — mit Mindverse Studio.
7 Tage kostenlos testen — ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.