InfiGUIAgent: Neuer MLLM-basierter Ansatz zur Verbesserung multimodaler GUI-Agenten

InfiGUIAgent: Ein neuer Ansatz für Multimodale GUI-Agenten mit nativer Denkfähigkeit Multimodale große Sprachmodelle (MLLMs) haben das Potenzial, die Automatisierung von Aufgaben auf Computern und Mobilgeräten durch sogenannte GUI-Agenten zu revolutionieren. Diese Agenten interagieren mit grafischen Benutzeroberflächen (GUIs), um Aufgaben basierend auf Benutzeranweisungen auszuführen. Bisherige Ansätze stoßen jedoch auf Herausforderungen, insbesondere bei mehrstufigen Denkvorgängen und der Abhängigkeit von Textbeschreibungen der GUI-Elemente. InfiGUIAgent, ein neuartiger MLLM-basierter GUI-Agent, adressiert diese Herausforderungen durch einen zweistufigen, überwachten Finetuning-Prozess. In der ersten Stufe werden grundlegende Fähigkeiten wie das Verständnis von GUIs und die Verknüpfung von visuellen Elementen mit ihren Funktionen verbessert. Die zweite Stufe integriert hierarchisches Denken und Erwartungs-Reflexions-Denken. Hierbei nutzt InfiGUIAgent synthetische Daten, um native, also von Grund auf vorhandene, Denkfähigkeiten zu entwickeln.

Die zwei Stufen des Trainings im Detail:

Stufe 1: Stärkung der Grundlagen

In dieser Phase liegt der Fokus auf dem Verständnis der GUI-Struktur und der korrekten Interpretation von Benutzeranweisungen. Der Agent lernt, visuelle Elemente zu identifizieren und mit den entsprechenden Aktionen zu verknüpfen. Dies geschieht durch das Training mit Datensätzen, die sowohl GUI-Screenshots als auch dazugehörige Textbeschreibungen enthalten.

Stufe 2: Integration von Denkfähigkeiten

Hierbei wird das hierarchische Denken trainiert, welches dem Agenten ermöglicht, komplexe Aufgaben in kleinere Teilziele zu zerlegen und diese schrittweise zu bearbeiten. Zusätzlich wird das Erwartungs-Reflexions-Denken implementiert. Der Agent lernt, seine Aktionen zu reflektieren und anhand des erwarteten Ergebnisses anzupassen. Synthetisch generierte Daten, die komplexe Interaktionssequenzen simulieren, spielen in dieser Trainingsphase eine entscheidende Rolle. Die Fähigkeit zum nativen Denken ermöglicht es InfiGUIAgent, Aufgaben effizienter und robuster zu erledigen. Durch die Reflexionskomponente kann der Agent auch auf unerwartete Situationen reagieren und seine Strategie anpassen. InfiGUIAgent wurde auf mehreren GUI-Benchmarks getestet und erzielte dort wettbewerbsfähige Ergebnisse. Die Ergebnisse zeigen, dass die Integration von nativen Denkfähigkeiten die Interaktion mit GUIs für Automatisierungsaufgaben deutlich verbessert. Die Entwickler stellen die Ressourcen für InfiGUIAgent auf GitHub zur Verfügung, um die weitere Forschung und Entwicklung in diesem Bereich zu fördern. Der innovative Ansatz von InfiGUIAgent, der auf hierarchischem Denken und Reflexion basiert, trägt maßgeblich zur Weiterentwicklung von intelligenten GUI-Agenten bei und ebnet den Weg für eine effizientere Automatisierung von Aufgaben auf verschiedenen Plattformen. Die Forschungsergebnisse unterstreichen das Potenzial von MLLMs für die Automatisierung von komplexen Aufgaben im Kontext von grafischen Benutzeroberflächen. Bibliographie - Liu, Y. et al. (2025). InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection. arXiv preprint arXiv:2501.04575. - Wang, S. et al. (2024). GUI Agents with Foundation Models: A Comprehensive Survey. arXiv preprint arXiv:2411.04890v1. - Xu, Y. et al. (2024). Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction. arXiv preprint arXiv:2412.04454. - Nguyen, D. et al. (2024). GUI Agents: A Survey. arXiv preprint arXiv:2412.13501v1 - https://github.com/showlab/Awesome-GUI-Agent - https://www.chatpaper.com/chatpaper/zh-CN/paper/96797