Neues Modell UI-Venus-1.5 für die Automatisierung digitaler Interaktionen

Fortschritte bei GUI-Agenten: Eine Analyse von UI-Venus-1.5

Die Automatisierung von Interaktionen in digitalen Benutzeroberflächen (GUI) stellt einen bedeutenden Forschungsbereich in der künstlichen Intelligenz dar. GUI-Agenten versprechen die Fähigkeit, komplexe Aufgaben in verschiedenen digitalen Umgebungen selbstständig auszuführen. Eine aktuelle Entwicklung in diesem Feld ist das Modell UI-Venus-1.5, welches in einem technischen Bericht detailliert beschrieben wird. Dieses Modell positioniert sich als ein vereinheitlichter, End-to-End GUI-Agent, der auf robuste Anwendungen in der realen Welt abzielt.

Die Herausforderung der GUI-Automatisierung

Die Entwicklung effektiver GUI-Agenten ist mit mehreren Herausforderungen verbunden. Dazu gehören die Notwendigkeit einer breiten Generalisierbarkeit über verschiedene Schnittstellen hinweg sowie die Sicherstellung einer konsistent hohen Aufgabenleistung. Traditionelle Ansätze stoßen oft an Grenzen, wenn es darum geht, die Dynamik und Komplexität realer Benutzerinteraktionen abzubilden.

Architektur und Schlüsseltechnologien von UI-Venus-1.5

UI-Venus-1.5 unterscheidet sich von früheren Iterationen durch die Integration von drei zentralen technischen Fortschritten:

• Umfassende Mid-Training-Phase: Diese Phase nutzt eine beeindruckende Menge von 10 Milliarden Tokens aus über 30 Datensätzen. Ziel ist es, ein tiefgreifendes Verständnis der GUI-Semantik zu etablieren. Dies bildet eine robuste Grundlage für die nachfolgenden Lernschritte und ermöglicht es dem Modell, auch weniger gängige Symbole und spezifische App-Funktionen zu interpretieren.
• Online Reinforcement Learning mit Full-Trajectory Rollouts: Durch den Einsatz von Online Reinforcement Learning, das vollständige Trajektorien berücksichtigt, werden die Trainingsziele besser auf die langfristige, dynamische Navigation in großen Umgebungen abgestimmt. Dies trägt dazu bei, die „Reality Gap“ zu überbrücken, also die Diskrepanz zwischen der Leistung in Testumgebungen und der tatsächlichen Anwendung.
• Modellzusammenführung (Model Merging): Ein einzelner, vereinheitlichter GUI-Agent wird durch die Zusammenführung domänenspezifischer Modelle (für Grounding, Web und Mobile) in einem kohärenten Checkpoint konstruiert. Dieser Ansatz reduziert die Komplexität und die Kosten, die oft mit Multi-Agenten-Frameworks verbunden sind.

Modellvarianten und Anwendungsbereiche

Die UI-Venus-1.5-Modellfamilie umfasst verschiedene Varianten, um den unterschiedlichen Anforderungen nachgelagerter Anwendungen gerecht zu werden. Hierzu zählen zwei dichte Varianten (2B und 8B Parameter) sowie eine Mixture-of-Experts-Variante (30B-A3B). Diese Skalierbarkeit ermöglicht den Einsatz in vielfältigen Szenarien, von Ressourcen-limitierten Umgebungen bis hin zu komplexen, hochperformanten Anwendungen.

Leistungsbewertung und Benchmarks

Umfassende Evaluierungen demonstrieren, dass UI-Venus-1.5 in verschiedenen Benchmarks neue Maßstäbe setzt. Beispiele hierfür sind:

• ScreenSpot-Pro: 69,6 %
• VenusBench-GD: 75,0 %
• AndroidWorld: 77,6 %

Diese Ergebnisse übertreffen signifikant die Leistungen früherer Modelle und unterstreichen die Effektivität der eingeführten technischen Neuerungen. Darüber hinaus zeigt UI-Venus-1.5 robuste Navigationsfähigkeiten in einer Vielzahl chinesischer mobiler Anwendungen, wobei Benutzeranweisungen in realen Szenarien effizient ausgeführt werden.

Potenziale für B2B-Anwendungen

Für Unternehmen im B2B-Sektor bietet UI-Venus-1.5 potenziell weitreichende Möglichkeiten. Die Fähigkeit, digitale Interaktionen zu automatisieren, kann in Bereichen wie dem Testen von Software, der Prozessautomatisierung und der Entwicklung von Assistenzsystemen von Nutzen sein. Die verbesserte Robustheit und Generalisierbarkeit des Modells bedeutet, dass es in komplexen und dynamischen Geschäftsumgebungen zuverlässiger eingesetzt werden könnte. Die Vereinheitlichung der Agentenfunktionalität über verschiedene Plattformen hinweg (Web, Mobile) ist ein weiterer Vorteil, der die Implementierung und Wartung solcher Systeme vereinfachen kann.

Ausblick

Die Entwicklung von UI-Venus-1.5 markiert einen Fortschritt in der Forschung und Anwendung von GUI-Agenten. Die Kombination aus einer umfassenden Trainingsstrategie, fortschrittlichem Reinforcement Learning und der intelligenten Modellzusammenführung deutet auf eine vielversprechende Zukunft für die Automatisierung digitaler Interaktionen hin. Die weiteren Entwicklungen in diesem Bereich werden voraussichtlich zu noch leistungsfähigeren und vielseitigeren KI-Agenten führen, die das Potenzial haben, die Art und Weise, wie Unternehmen mit digitalen Schnittstellen interagieren, grundlegend zu verändern.

Die Bereitstellung von Code und Modellen auf Plattformen wie GitHub und Hugging Face erleichtert zudem die Zugänglichkeit und fördert die weitere Forschung und Entwicklung in der Community.

Bibliographie

arXiv:2602.09082. (2026). UI-Venus-1.5 Technical Report. Hugging Face. (2026). Paper page - UI-Venus-1.5 Technical Report. Hugging Face. (2025). inclusionAI/UI-Venus-1.5-30B-A3B. AI Research Roundup. (2026). UI-Venus-1.5: New Unified End-to-End GUI Agents. YouTube. Venus Team. (n.d.). UI-Venus-1.5: Towards Robust Real-World Applications. arXiv:2508.10833. (2025). UI-Venus Technical Report: Building High-performance UI Agents with RFT.