OpenMobile-2 verbessert Smartphone-Agenten – der Vorsprung hat klare Grenzen

Trainingsdaten, automatisierte Kontrolle und ein geschlossenes Modell als Lehrer

Aus der Umgebung erzeugte das Team rund 11.600 Beispielabläufe und mehr als 2.000 Übungsaufgaben mit automatischen Erfolgsprüfungen. Die Daten dienen unterschiedlichen Trainingsphasen: Auf überwachtes Lernen mit Demonstrationen folgt unter anderem ein Reinforcement-Learning-Schritt, der die Ausführung anhand von Aufgaben und Rückmeldungen weiter trainiert. [1][4]

Für die Beispiele nutzten die Forschenden laut Projektberichterstattung Gemini 3.1 Pro als Lehrmodell. OpenMobile-2 macht somit die resultierenden Trainingsressourcen und die Umgebung zugänglich, die Entstehung der Daten ist aber nicht vollständig unabhängig von einem geschlossenen Modell. Für Unternehmen, die Offenheit auch als Frage der Herkunft und Reproduzierbarkeit von Trainingsdaten verstehen, ist diese Einschränkung relevant. [1]

Ein eigens entwickelter Benchmark umfasst 215 Aufgaben, von denen knapp die Hälfte mehrere Apps verbindet. Die Erfolgsprüfung erfolgt nach der Beschreibung der Forschenden nicht durch ein weiteres Sprachmodell, sondern durch Programme, die gespeicherte App-Zustände vor und nach einem Durchlauf vergleichen. Das kann beispielsweise feststellen, ob eine Notiz mit den erwarteten Angaben angelegt wurde. Die Forschenden berichten außerdem, dass sie Überschneidungen zwischen Trainings- und Testaufgaben überprüft und nur geringe Ähnlichkeiten gefunden hätten. [1]

• Die Trainingspipeline kombiniert knapp 12.000 Demonstrationen mit mehr als 2.000 ausführbaren Aufgaben und automatischen Prüfungen. [1][4]
• Gemini 3.1 Pro wurde zur Erzeugung von Beispielen eingesetzt; die offenen Ressourcen sind damit nicht gleichbedeutend mit einer vollständig modellunabhängigen Datenproduktion. [1]
• Die Prüfung anhand gespeicherter App-Zustände macht Aufgabenergebnisse in der Simulation programmatisch überprüfbar. [1]

App-Vielfalt brachte mehr als zusätzliche Beispiele aus wenigen Apps

Eine zentrale Auswertung betrifft nicht primär die Gesamtmenge der Daten, sondern ihre Abdeckung. Das Team hielt das Datenvolumen konstant und erhöhte die Zahl der Apps, aus denen der Agent lernte. In diesem Versuch stieg die Erfolgsrate bei unbekannten Anwendungen von 60,7 auf 67,5 Prozent. Die Forschenden folgern daraus, dass vielfältigere Übungsumgebungen die Übertragung auf nicht trainierte Apps verbessern können. [1]

Das Ergebnis ist für die Entwicklung digitaler Assistenten interessant, weil es einen konkreten Hebel jenseits bloßer Skalierung nahelegt: Unterschiedliche Oberflächen und Abläufe können breitere Funktionskenntnisse vermitteln. Es ist jedoch ein Befund aus der untersuchten Trainingskonfiguration und kein allgemeiner Nachweis, dass mehr App-Abdeckung in jedem Modell oder Anwendungsfeld automatisch zu besseren Ergebnissen führt. [1]

Auch Reinforcement Learning brachte laut Bericht keinen gleichmäßigen Zusatzgewinn. Die Verbesserungen fielen vor allem in Umgebungen auf, die dem Trainingsaufbau ähnelten; auf AndroidWorld sank der Wert des größeren Modells nach dieser Phase demnach leicht von 80,8 auf 79,9 Punkte. Das spricht dafür, Trainingsphasen und Evaluationsumgebungen nicht als austauschbare Bausteine zu behandeln. [1]

Werkzeugaufrufe sparen Schritte – bislang vor allem in der Simulation

Neben der üblichen Bedienung über Bildschirmaktionen untersucht OpenMobile-2 einen Hybridmodus. Dabei kann ein Agent zwischen Tippen und Wischen sowie direkten Funktionen wechseln, die eine App als Werkzeug bereitstellt. In den simulierten Anwendungen umfasst das laut Paper mehr als 300 Werkzeuge in über 50 Apps. Ein Agent könnte etwa eine Suche direkt aufrufen, statt sich durch mehrere Menüs zu bewegen. [1][4]

Der Zugriff allein genügte jedoch nicht: Ohne gezieltes Training nutzten die Modelle die Abkürzungen häufig nicht. Nach dem Training mit Werkzeugaufrufen lösten sie laut den berichteten Versuchen mehr Aufgaben und benötigten weniger Schritte. Die Forschenden berichten von einem Zuwachs von bis zu 10,3 Prozentpunkten bei der Aufgabenerledigung und im Mittel etwa fünf eingesparten Schritten. Sie beobachteten außerdem eine Übertragung auf Werkzeuge, die im Training nicht vorkamen. [1]

Für die praktische Einordnung ist wichtig, dass diese direkten Funktionen Bestandteil der Simulationen sind. Sie sind nicht automatisch Schnittstellen realer Apps. Ein Unternehmen müsste für einen vergleichbaren Produktiveinsatz prüfen, ob es geeignete und autorisierte APIs gibt oder ob die Aufgaben über die grafische Oberfläche ausgeführt werden müssen. Das ist eine Analyse der beschriebenen Architektur, kein Nachweis, dass OpenMobile-2 solche Produktivintegrationen bereits unterstützt. [1][4]

• Hybridmodus verbindet grafische Bedienung mit app-eigenen Funktionen innerhalb der Simulation. [1][4]
• Der Nutzen der Werkzeuge zeigte sich laut Team erst nach gezieltem Training. [1]
• Die Studie belegt keine Verfügbarkeit derselben Schnittstellen in realen Produktiv-Apps. [1]

Ein kleiner Praxistest zeigt Potenzial und typische Fehler

Ein Video-Ersteller berichtet von einem eigenen Versuch mit dem kleineren Neun-Milliarden-Modell in einer simulierten Telefonumgebung. Bei sechs Aufgaben bestand der Agent im reinen GUI-Modus keine; im Hybridmodus löste er zwei. Die insgesamt gezählten Schritte sanken nach seiner Darstellung von 199 auf 82. In einem Beispiel erledigte der Agent einen Aufgabenablauf mit Werkzeugaufrufen in sechs statt 60 Schritten. [3]

Der Versuch illustriert, warum direkte Funktionen bei geeigneten Aufgaben helfen können. Er zeigt zugleich, dass weniger Schritte nicht automatisch korrekte Ergebnisse bedeuten: Der Video-Ersteller beschreibt etwa einen Durchlauf, in dem der Agent die richtige Person für eine Nachricht fand, aber einen falschen Ausgabenbetrag ermittelte. Bei einer komplexeren Aufgabe, die Preisvergleiche, Rechnung und Notiz kombinierte, scheiterten beide Modi. [3]

Die Ergebnisse sind nicht mit der Benchmark-Auswertung gleichzusetzen. Es handelte sich um sechs Aufgaben mit jeweils einem Lauf, nicht um eine Reproduktion des 215-Aufgaben-Benchmarks. Getestet wurde das kleinere Modell; laut dem Ersteller wich sein Setup außerdem in einzelnen Punkten von der Konfiguration der Forschenden ab. Der Versuch ist daher ein begrenzter externer Erfahrungsbericht und kein belastbarer unabhängiger Leistungsnachweis. [3]

Bedeutung für Unternehmen: Evaluierung statt sofortiger Automatisierung

Für Unternehmen liegt der unmittelbare Nutzen des Projekts zunächst in der offenen Forschungs- und Testumgebung. Teams können damit nachvollziehbarer untersuchen, wie ein Agent über mehrere Apps hinweg navigiert, wo er Fehler macht und welchen Einfluss Datenvielfalt oder Werkzeugzugriff haben. Die veröffentlichten Umgebungen und Trainingsressourcen könnten außerdem den Vergleich eigener Ansätze erleichtern. [1][4]

Eine betriebliche Einführung müsste darüber hinaus Fragen beantworten, die die berichteten Ergebnisse nicht abschließend klären: Wie verlässlich arbeitet der Agent bei wechselnden App-Versionen? Wie werden sensible Kontodaten geschützt? Welche Freigaben braucht er vor Zahlungen oder Nachrichten? Und wie lassen sich Fehler erkennen, bevor sie in einem produktiven Konto Folgen haben? Die Quellen belegen hierzu keine Sicherheits- oder Zuverlässigkeitsprüfung für den Unternehmenseinsatz.

Die angemessene Schlussfolgerung lautet daher nicht, dass offene Smartphone-Agenten proprietäre Systeme bereits generell ersetzen. OpenMobile-2 zeigt vielmehr, dass ein offeneres Zusammenspiel aus vielfältigen Simulationen, Trainingsdaten und gezieltem Werkzeuggebrauch starke Benchmarkwerte hervorbringen kann. Für Organisationen ist das ein Grund, die Technologie in abgegrenzten, überprüfbaren Szenarien zu evaluieren – nicht, ihr ohne zusätzliche Tests Zugriff auf kritische mobile Arbeitsabläufe zu geben. [1][3][4]

Quellen

1. [1] OpenMobile-2 proves open-source smartphone agents can rival proprietary models — https://the-decoder.com/?p=41933 (abgerufen am 2026-10-25)
2. [3] OpenMobile-2 Is a CRAZY Open-Source Phone AI - I Tested It on a Fake Phone - YouTube — https://www.youtube.com/watch?v=BNL7y4oxY2g (abgerufen am 2026-10-25)
3. [4] Paper page - OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native Tools — https://huggingface.co/papers/2610.14157 (abgerufen am 2026-10-25)