Mobile GUI-Agenten und das Potenzial des Demonstrationslernens

Mobile GUI-Agenten: LearnAct und das Potenzial von Demonstrationslernen

Die Automatisierung von Aufgaben auf mobilen Geräten mittels GUI-Agenten birgt enormes Potenzial. Die Komplexität und Vielfalt von Apps und Nutzervorlieben stellt diese Agenten jedoch vor große Herausforderungen. Herkömmliche Ansätze, die auf umfangreiche Datensätze für Vortraining oder Feinabstimmung setzen, stoßen angesichts dieser Diversität an ihre Grenzen. Ein vielversprechender Ansatz zur Verbesserung der Fähigkeiten von mobilen GUI-Agenten liegt im Demonstrationslernen, bei dem menschliche Demonstrationen als Grundlage für das Lernen dienen.

LearnGUI und LearnAct: Ein neuer Ansatz

Anstatt auf immer größere Datensätze zu setzen, konzentriert sich das Demonstrationslernen darauf, die Leistung der Agenten in unbekannten Szenarien zu verbessern. In diesem Kontext wurde LearnGUI entwickelt, der erste umfassende Datensatz, der speziell für das Studium des Demonstrationslernens bei mobilen GUI-Agenten konzipiert wurde. LearnGUI umfasst 2.252 Offline-Aufgaben und 101 Online-Aufgaben, jeweils mit hochwertigen menschlichen Demonstrationen.

Ergänzend zu LearnGUI wurde LearnAct entwickelt, ein fortschrittliches Multi-Agenten-Framework, das automatisch Wissen aus Demonstrationen extrahiert, um die Aufgabenerfüllung zu verbessern. Dieses Framework integriert drei spezialisierte Agenten:

DemoParser: Dieser Agent ist für die Extraktion von Wissen aus den menschlichen Demonstrationen zuständig. Er analysiert die durchgeführten Aktionen und identifiziert relevante Informationen.

KnowSeeker: Der KnowSeeker ruft das relevanteste Wissen aus den extrahierten Informationen ab, basierend auf der aktuellen Aufgabe und dem Kontext.

ActExecutor: Der ActExecutor nutzt das vom KnowSeeker bereitgestellte Wissen, um die Aufgabe effizient und unter Berücksichtigung der menschlichen Demonstration auszuführen.

Vielversprechende Ergebnisse

Erste Experimente mit LearnAct und LearnGUI zeigen signifikante Leistungssteigerungen sowohl in Offline- als auch in Online-Bewertungen. In Offline-Tests konnte bereits eine einzige Demonstration die Genauigkeit von Gemini-1.5-Pro von 19,3% auf 51,7% steigern. In Online-Evaluierungen verbesserte das Framework die Erfolgsquote von UI-TARS-7B-SFT von 18,1% auf 32,8%.

Ausblick

Das LearnAct-Framework und der LearnGUI-Benchmark etablieren das Demonstrationslernen als vielversprechende Richtung für die Entwicklung von anpassungsfähigeren, personalisierten und einsatzbereiten mobilen GUI-Agenten. Dieser Ansatz ermöglicht es, die Fähigkeiten von KI-Agenten durch menschliches Wissen zu erweitern, ohne auf riesige, generalisierte Datensätze angewiesen zu sein. Die gezielte Nutzung von Demonstrationen eröffnet neue Möglichkeiten für die Automatisierung komplexer Aufgaben auf mobilen Geräten und ebnet den Weg für eine nahtlosere Interaktion zwischen Mensch und Maschine.

Für Unternehmen wie Mindverse, die sich auf die Entwicklung von KI-Lösungen spezialisiert haben, bieten diese Fortschritte im Bereich der mobilen GUI-Agenten spannende neue Möglichkeiten. Die Entwicklung von maßgeschneiderten Chatbots, Voicebots, KI-Suchmaschinen und Wissenssystemen kann durch die Integration von Demonstrationslernen deutlich verbessert werden. Die Fähigkeit, schnell und effizient auf spezifische Kundenbedürfnisse einzugehen, wird durch diesen Ansatz erheblich erleichtert.

Bibliographie: - https://arxiv.org/abs/2504.13805 - https://arxiv.org/html/2504.13805v1 - https://github.com/showlab/Awesome-GUI-Agent - https://www.aimodels.fyi/authors/arxiv/Yuxiang%20Chai - https://github.com/OSU-NLP-Group/GUI-Agents-Paper-List - https://www.chatpaper.ai/zh/dashboard/paper/e97b17e7-7e81-4c76-ab40-796af87b1ca0 - https://openreview.net/forum?id=QarKTT5brZ - https://huggingface.co/papers - https://www.preprints.org/manuscript/202501.0413/v1 - https://www.breezedeus.com/article/awesome-ui-agents