Feinabstimmung von Flow-basierten Vision-Language-Action Modellen mittels Online Reinforcement Learning

Online-RL-Feinabstimmung für Flow-basierte Vision-Language-Action Modelle: Einblicke in π_RL

Die Entwicklung von künstlicher Intelligenz, die komplexe Aufgaben in dynamischen Umgebungen ausführen kann, rückt zunehmend in den Mittelpunkt der Forschung. Insbesondere Vision-Language-Action (VLA)-Modelle, die in der Lage sind, visuelle und sprachliche Informationen zu interpretieren und darauf basierend Aktionen auszuführen, stellen einen vielversprechenden Fortschritt dar. Die Feinabstimmung dieser Modelle, um ihre Leistung und Anpassungsfähigkeit zu optimieren, ist jedoch eine anhaltende Herausforderung. Ein aktueller Forschungsansatz widmet sich dieser Problematik durch die Integration von Online Reinforcement Learning (RL) in sogenannte Flow-basierte VLA-Modelle.

Die Herausforderung der Feinabstimmung von VLA-Modellen

VLA-Modelle, wie beispielsweise π_0 und π_0.5, die auf "Flow-Matching"-Techniken basieren, zeigen bereits beeindruckende Fähigkeiten in der Interpretation multimodaler Eingaben und der Ausführung von Aufgaben. Dennoch stellt die Anwendung von Reinforcement Learning im großen Maßstab eine signifikante Hürde dar. Der Kern des Problems liegt in der oft

intraktablen Log-Likelihood-Schätzung

von Aktionen während des iterativen Denoising-Prozesses, der für Flow-basierte Modelle charakteristisch ist. Dies erschwert die direkte Anwendung traditioneller RL-Algorithmen, die auf genauen Wahrscheinlichkeitsberechnungen basieren.

π_RL: Ein Open-Source-Framework für verbesserte VLA-Modelle

Ein kürzlich vorgestelltes Open-Source-Framework namens π_RL adressiert diese Herausforderung. Es ermöglicht die Feinabstimmung von Flow-basierten VLA-Modellen in parallelen Simulationsumgebungen durch die Implementierung von zwei neuartigen RL-Algorithmen:

• Flow-Noise: Dieser Algorithmus modelliert den Denoising-Prozess als ein diskretes Markov Decision Process (MDP). Durch die Einführung eines lernfähigen Rausch-Netzwerks wird eine exakte Log-Likelihood-Berechnung für Aktionen ermöglicht.
• Flow-SDE: Dieser Algorithmus integriert den Denoising-Prozess direkt in die Agenten-Umwelt-Interaktion. Er formuliert ein zweischichtiges MDP und nutzt eine Transformation von gewöhnlichen Differentialgleichungen (ODE) in stochastische Differentialgleichungen (SDE), um eine effiziente RL-Exploration zu ermöglichen.

Methodische Ansätze im Detail

Flow-Noise Methodik

Die Flow-Noise Methodik integriert eine lernbare Rauschkomponente in den Denoising-Prozess, um die Stochastizität zu erhöhen und die Log-Likelihood-Berechnung zu ermöglichen. Der Denoising-Prozess wird als eine Abfolge von diskreten Schritten betrachtet, in denen das System von einem Aktionszustand zum nächsten übergeht. Diese Übergänge werden als isotrope Gaußsche Verteilungen modelliert, deren Mittelwert und Varianz durch das VLA-Modell und das Rausch-Netzwerk bestimmt werden. Die genaue Log-Likelihood der ausgeführten Aktion kann aus der gemeinsamen Log-Likelihood der gesamten Denoising-Sequenz abgeleitet werden, was die Anwendung von Policy-Gradient-Methoden erlaubt.

Flow-SDE Methodik

Flow-SDE erweitert die stochastische Exploration, indem es den deterministischen ODE-Denoising-Prozess in eine SDE umwandelt, während die marginalen Verteilungen erhalten bleiben. Dies führt zu einer Formulierung des Problems als zweischichtiges MDP:

• Inneres MDP: Repräsentiert den Denoising-Prozess.
• Äußeres MDP: Beschreibt die Interaktion mit der Umgebung.

Die Log-Likelihood ist aufgrund der Gaußschen Übergänge direkt berechenbar. Um das Training zu beschleunigen, wird eine

hybride ODE-SDE-Sampling-Strategie

verwendet, bei der in jedem Umgebungsschritt ein einzelner Denoising-Schritt zufällig für einen stochastischen SDE-Übergang ausgewählt wird, während die anderen Schritte deterministisch als ODE-Übergänge erfolgen.

Optimierung der Policy

Beide Algorithmen, Flow-Noise und Flow-SDE, nutzen den

Proximal Policy Optimization (PPO)

-Algorithmus zur Policy-Optimierung. PPO optimiert eine abgeschnittene Surrogatfunktion und verwendet die Generalized Advantage Estimation (GAE) für die Berechnung der Vorteilsschätzungen. Eine Besonderheit ist das

Action Chunking

, bei dem eine Sequenz von zukünftigen Aktionen als ein einziger Makro-Schritt behandelt wird, um die Effizienz zu steigern. Für die Wertschätzung wird eine gemeinsame Actor-Critic-Architektur eingesetzt.

Empirische Ergebnisse und Leistungsbewertung

Die Leistungsfähigkeit von π_RL wurde auf den etablierten Benchmarks LIBERO und ManiSkill evaluiert. Die Ergebnisse zeigen eine signifikante Überlegenheit gegenüber Baselines, die lediglich Supervised Fine-Tuning (SFT) verwendeten.

• LIBERO Benchmark: Flow-Noise konnte die Erfolgsrate von π_0 von 57,6 % auf 97,6 % steigern (bei Few-shot SFT) und die von π_0.5 von 77,1 % auf 98,3 %. Besonders hervorzuheben ist die Verbesserung von π_0.5 bei One-shot SFT auf LIBERO-Long von 43,9 % auf 94,0 %.
• ManiSkill Benchmark: π_RL demonstrierte skalierbares Multitask-Lernen. Bei 4.352 Pick-and-Place-Aufgaben verbesserte sich π_0 von 41,6 % auf 85,7 % und π_0.5 von 40,0 % auf 84,8 %, was die Fähigkeit des Frameworks unter heterogener Simulation unterstreicht.

Ein Vergleich der beiden Methoden ergab, dass Flow-Noise Flow-SDE geringfügig übertraf, was auf sein lernfähiges Rauschen und das effiziente einschichtige MDP zurückgeführt werden kann. Flow-SDE bot hingegen schnellere Update-Zeiten aufgrund seines hybriden ODE-SDE-Rollouts. Ablationsstudien bestätigten, dass PPO anderen Algorithmen wie GRPO überlegen war und dass eine an das VLM angehängte Critic-Funktion sowie eine vierlagige MLP-Struktur bessere Leistungen erbrachten. Die Analyse von Hyperparametern zeigte zudem Trade-offs zwischen Rauschlevel, Denoising-Schritten und der Größe der Aktions-Chunks hinsichtlich Trainingsstabilität und Leistung.

Einschränkungen und zukünftige Forschungsrichtungen

Trotz der vielversprechenden Ergebnisse bestehen weiterhin Forschungsfelder. Dazu gehören die Verbesserung der Rauschinjektionsstrategien zur besseren Erhaltung von Aktionsverteilungen, die weitere Beschleunigung des Trainings durch fortgeschrittene gemischte ODE-SDE-Rollouts, die Steigerung der Generalisierungsfähigkeiten in Out-of-Distribution (OOD)-Szenarien sowie die Durchführung von Experimenten in realen Umgebungen. Diese Weiterentwicklungen könnten die Robustheit und Anwendbarkeit von VLA-Modellen in komplexen Robotik-Aufgaben weiter vorantreiben.

Fazit

Die Entwicklung von π_RL stellt einen wichtigen Schritt in der Feinabstimmung von Flow-basierten Vision-Language-Action Modellen dar. Durch die Bereitstellung innovativer RL-Algorithmen, die die Herausforderungen der Log-Likelihood-Schätzung adressieren, ermöglicht das Framework signifikante Leistungssteigerungen und eine verbesserte Generalisierung. Diese Fortschritte sind von hoher Relevanz für die Entwicklung intelligenterer und anpassungsfähigerer KI-Systeme, die in der Lage sind, komplexe Aufgaben in vielfältigen Umgebungen zu meistern.

Bibliography: - Online RL Fine-tuning for Flow-based Vision-Language-Action Models. ArXiv, 2022. - Daily Papers. Hugging Face, 2025. - Online RL Fine-tuning for Flow-based Vision-Language-Action Models. The Moonlight, 2025. - vision-language-models. alphaXiv, 2025. - Improving Vision-Language-Action Model with Online Reinforcement Learning. The Moonlight, 2025. - Fine-Tuning Vision-Language-Action Models: Optimizing Speed and .... Robotics Conference, 2026. - Reinforcement Fine-Tuning of Flow-Matching Policies for Vision .... ArXiv, 2022. - Paper Notes: Fine-Tuning Large Vision-Language Models as .... It Can Think!, 2024.