OS-Genesis: Neuer interaktionsgetriebener Ansatz zur Erstellung von Trajektorien für KI-Agenten in GUIs

OS-Genesis: Ein neuer Ansatz zur automatisierten Erstellung von Trajektorien für GUI-Agenten

Die Automatisierung von Aufgaben auf grafischen Benutzeroberflächen (GUIs) mittels KI-Agenten ist ein vielversprechendes Forschungsgebiet. Vision-Language Models (VLMs) ermöglichen es diesen Agenten, menschenähnliche Fähigkeiten bei der Steuerung von Computern zu entwickeln. Ein kritischer Engpass besteht jedoch in der Beschaffung qualitativ hochwertiger Trajektoriendaten für das Training dieser Agenten. Herkömmliche Methoden, die auf menschlicher Überwachung oder der Generierung synthetischer Daten durch Ausführung vordefinierter Aufgaben beruhen, sind entweder ressourcenintensiv oder können die Datenqualität nicht garantieren. Zudem leiden diese Methoden unter begrenzter Datenvielfalt und erheblichen Diskrepanzen zwischen synthetischen Daten und realen Umgebungen.

Interaktionsgetriebene Trajektorienerzeugung

Ein Forschungsteam hat nun OS-Genesis vorgestellt, eine neuartige Pipeline zur Synthese von GUI-Agenten-Trajektorien. Im Gegensatz zu herkömmlichen, aufgabengesteuerten Ansätzen verfolgt OS-Genesis einen interaktionsgetriebenen Ansatz. Anstatt sich auf vordefinierte Aufgaben zu verlassen, ermöglicht OS-Genesis den Agenten, zunächst Umgebungen wahrzunehmen und schrittweise Interaktionen durchzuführen. Anschließend werden die beobachteten Zustände und Aktionen retrospektiv in Aufgaben umgewandelt.

Dieser Prozess, bekannt als "Reverse Task Synthesis", ermöglicht die Erstellung aussagekräftiger und ausführbarer Aufgaben, indem er die Lücke zwischen abstrakten Anweisungen und der Dynamik von GUIs schließt. Ein Trajektorien-Belohnungsmodell stellt sicher, dass die generierten Trajektorien von hoher Qualität sind und effektiv genutzt werden können.

Überblick über die OS-Genesis Pipeline

Die OS-Genesis Pipeline beginnt mit einer modellfreien, interaktionsgetriebenen Durchquerung von Online-Umgebungen, z. B. einem Webbrowser. Dabei werden Tripel aus Aktionen und den entsprechenden Screenshots vor und nach der Interaktion erzeugt. Die Reverse Task Synthesis nutzt diese Tripel, um Aufgaben zu generieren. Ausgehend von Low-Level-Instruktionen, die die einzelnen Schritte beschreiben, werden High-Level-Instruktionen abgeleitet, die das Gesamtziel definieren. Diese High-Level-Instruktionen dienen dann als Grundlage für die Sammlung von GUI-Trajektorien.

Experimentelle Ergebnisse und Ausblick

Experimente auf zwei anspruchsvollen Online-Benchmarks, AndroidWorld und WebArena, demonstrieren die Effektivität von OS-Genesis. Die Ergebnisse zeigen, dass OS-Genesis die aufgabengesteuerten Methoden deutlich übertrifft. Dies unterstreicht die hohe Qualität der von OS-Genesis synthetisierten Trajektorien und das Potenzial, allgemeine VLMs in spezialisierte GUI-Agenten zu transformieren.

OS-Genesis stellt einen wichtigen Schritt in Richtung einer effizienten und skalierbaren Generierung von Trainingsdaten für GUI-Agenten dar. Die interaktionsgetriebene Herangehensweise und die Reverse Task Synthesis ermöglichen die Erstellung von vielfältigeren und realitätsnäheren Trajektorien, was zu einer verbesserten Performance der Agenten führt. Zukünftige Forschung könnte sich auf die Erweiterung von OS-Genesis auf komplexere GUI-Umgebungen und die Integration von Benutzerfeedback zur weiteren Verbesserung der Datenqualität konzentrieren.

Bibliographie: Sun, Q., et al. (2024). OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis. arXiv preprint arXiv:2412.19723. Sun, Q. Tweet: https://x.com/qiushi_sun/status/1874807124515344599 OS-Copilot/OS-Genesis GitHub repository: https://github.com/OS-Copilot/OS-Genesis Ivan, M. Tweet: https://x.com/MichelIvan92347/status/1874822944616321424 OS-Copilot/OS-Genesis-8B-AC Hugging Face Model: https://huggingface.co/OS-Copilot/OS-Genesis-8B-AC Smartphones Tweet: https://twitter.com/Smartphones/status/1873718178917822765 ChatPaper Summary: https://www.chatpaper.com/chatpaper/fr/paper/94615 arXiv.org: https://arxiv.org/abs/2412.19723 arXiv.org (HTML Version): https://arxiv.org/html/2412.19723v1