KI für Ihr Unternehmen – Jetzt Demo buchen

AMEX Datenset treibt Innovation in mobilen GUI-Agenten voran

Kategorien:
No items found.
Freigegeben:
July 26, 2024

Artikel jetzt als Podcast anhören

AMEX Dataset: Fortschritte in der Entwicklung von mobilen GUI-Agenten

AMEX: Ein Durchbruch in der Entwicklung von mobilen GUI-Agenten

Die Entwicklung von KI-Agenten hat in den letzten Jahren erheblich an Bedeutung gewonnen, insbesondere im Hinblick auf ihre Fähigkeit, Umgebungen wahrzunehmen, Aufgaben zu verstehen und autonom Ziele zu erreichen. In diesem Kontext spielen mobile Szenarien eine immer wichtigere Rolle. Um die Forschung an KI-Agenten in mobilen Anwendungen voranzutreiben, wurde das Android Multi-annotation Expo Dataset (AMEX) entwickelt. Dieses umfassende, groß angelegte Datenset ist speziell für generalistische mobile GUI-Kontrollagenten konzipiert.

Was ist AMEX?

AMEX steht für Android Multi-annotation Expo Dataset und umfasst über 104.000 hochauflösende Screenshots von 110 beliebten mobilen Anwendungen. Diese Screenshots sind auf mehreren Ebenen annotiert, was dieses Datenset von bestehenden mobilen Geräte-Kontroll-Datensets wie MoTIF und AitW unterscheidet. Die Annotationsstufen umfassen:

  • GUI-Interaktive Elemente-Verankerung
  • Beschreibung von GUI-Bildschirmen und Elemente-Funktionalitäten
  • Komplexe natürliche Sprachinstruktionen

Bedeutung der Annotationsstufen

Durch die mehrschichtige Annotation können mobile GUI-Agenten trainiert und bewertet werden. Das Datenset beinhaltet durchschnittlich 13 Schritte pro Aufgabeninstruktion, wobei jeder Schritt eine Kette von GUI-Aktionen darstellt. Diese detaillierte Perspektive ergänzt die allgemeinen Einstellungen bestehender Datensets und bietet eine tiefere Einsicht in die Funktionsweise mobiler Anwendungen.

Interaktive Elemente-Verankerung

Diese Annotationsebene konzentriert sich darauf, interaktive Elemente auf dem Bildschirm zu identifizieren und zu verankern. Dies ist entscheidend, da es den Agenten ermöglicht, genau zu wissen, welche Elemente auf dem Bildschirm anklickbar oder anderweitig interaktiv sind.

Beschreibung von Bildschirmen und Elemente-Funktionalitäten

Eine weitere Ebene der Annotation beschreibt die Funktionalität der Bildschirme und ihrer Elemente. Diese Beschreibungen helfen den Agenten, die Absicht und den Zweck der verschiedenen GUI-Komponenten besser zu verstehen.

Komplexe natürliche Sprachinstruktionen

Die dritte Annotationsebene umfasst komplexe natürliche Sprachinstruktionen, die aus durchschnittlich 13 Schritten bestehen. Jeder dieser Schritte wird durch eine Kette von GUI-Aktionen dargestellt. Diese Anweisungen sind besonders nützlich, um die Fähigkeit der Agenten zu testen, Aufgaben in einer menschenähnlichen Weise zu verstehen und auszuführen.

Entwicklung und Vergleich von Basismodellen

Im Rahmen der Entwicklung des AMEX-Datensets wurde auch ein Basismodell namens SPHINX Agent entwickelt. Dieses Modell wurde hinsichtlich seiner Leistungsfähigkeit im Vergleich zu anderen, auf verschiedenen Datensets trainierten, state-of-the-art Agenten bewertet. Die Ergebnisse dieser Vergleiche helfen, die Effektivität und Effizienz des Datensets sowie die Leistungsfähigkeit der entwickelten Modelle zu messen.

Offene Forschungsressourcen

Um die Forschung weiter zu fördern, wurden das Datenset, die Modelle und die relevanten Bewertungstools als Open Source zur Verfügung gestellt. Dies ermöglicht Forschern und Entwicklern weltweit, auf die Ressourcen zuzugreifen, ihre eigenen Experimente durchzuführen und zur Weiterentwicklung des Feldes beizutragen.

Ausblick

Die Einführung des AMEX-Datensets markiert einen wichtigen Schritt in der Entwicklung von KI-Agenten für mobile Anwendungen. Mit seinen detaillierten und mehrschichtigen Annotationen bietet es eine wertvolle Ressource für die Ausbildung und Bewertung von Agenten, die in der Lage sind, komplexe Aufgaben zu verstehen und auszuführen. Die Open-Source-Verfügbarkeit des Datensets und der Modelle wird zweifellos die Forschung und Entwicklung in diesem Bereich vorantreiben.

Fazit

Das Android Multi-annotation Expo Dataset (AMEX) stellt einen bedeutenden Fortschritt in der Entwicklung von KI-Agenten für mobile Szenarien dar. Durch seine umfassenden, mehrschichtigen Annotationen und die Verfügbarkeit als Open Source bietet es eine solide Grundlage für zukünftige Forschung und Entwicklung. Die Vergleichsstudien mit dem SPHINX Agent zeigen das Potenzial und die Vielseitigkeit des Datensets, was es zu einem unverzichtbaren Werkzeug für die Weiterentwicklung von mobilen GUI-Agenten macht.

Bibliografie

- AK. @_akhaliq. AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents. 26. Juli 2024. - Marco van Hurne. Erfahrungen beim Aufbau von KI-Agenten. LinkedIn. 4. Juli 2024. - TensorFlow. Wie autonome Agenten die Datenexploration unterstützen. YouTube. 7 Monate zuvor. - Activant Research. Towards the AI Agent Ecosystem. September 2023. - Aniket Hingane. Autonomous AI Agents. LinkedIn. 2 Wochen zuvor. - Sean Wu. Demystifying AI Agent: Three Definitions. Medium. 1. Mai 2024.
Was bedeutet das?
Mindverse vs ChatGPT Plus Widget

Warum Mindverse Studio?

Entdecken Sie die Vorteile gegenüber ChatGPT Plus

Sie nutzen bereits ChatGPT Plus? Das ist ein guter Anfang! Aber stellen Sie sich vor, Sie hätten Zugang zu allen führenden KI-Modellen weltweit, könnten mit Ihren eigenen Dokumenten arbeiten und nahtlos im Team kollaborieren.

🚀 Mindverse Studio

Die professionelle KI-Plattform für Unternehmen – leistungsstärker, flexibler und sicherer als ChatGPT Plus. Mit über 50 Modellen, DSGVO-konformer Infrastruktur und tiefgreifender Integration in Unternehmensprozesse.

ChatGPT Plus

❌ Kein strukturierter Dokumentenvergleich

❌ Keine Bearbeitung im Dokumentkontext

❌ Keine Integration von Unternehmenswissen

VS

Mindverse Studio

✅ Gezielter Dokumentenvergleich mit Custom-Prompts

✅ Kontextbewusste Textbearbeitung im Editor

✅ Wissensbasierte Analyse & Zusammenfassungen

📚 Nutzen Sie Ihr internes Wissen – intelligent und sicher

Erstellen Sie leistungsstarke Wissensdatenbanken aus Ihren Unternehmensdokumenten.Mindverse Studio verknüpft diese direkt mit der KI – für präzise, kontextbezogene Antworten auf Basis Ihres spezifischen Know-hows.DSGVO-konform, transparent und jederzeit nachvollziehbar.

ChatGPT Plus

❌ Nur ein Modellanbieter (OpenAI)

❌ Keine Modellauswahl pro Use Case

❌ Keine zentrale Modellsteuerung für Teams

VS

Mindverse Studio

✅ Zugriff auf über 50 verschiedene KI-Modelle

✅ Modellauswahl pro Prompt oder Assistent

✅ Zentrale Steuerung auf Organisationsebene

🧠 Zugang zu allen führenden KI-Modellen – flexibel & anpassbar

OpenAI GPT-4: für kreative Texte und allgemeine Anwendungen
Anthropic Claude: stark in Analyse, Struktur und komplexem Reasoning
Google Gemini: ideal für multimodale Aufgaben (Text, Bild, Code)
Eigene Engines: individuell trainiert auf Ihre Daten und Prozesse

ChatGPT Plus

❌ Keine echte Teamkollaboration

❌ Keine Rechte- oder Rollenverteilung

❌ Keine zentrale Steuerung oder Nachvollziehbarkeit

VS

Mindverse Studio

✅ Teamübergreifende Bearbeitung in Echtzeit

✅ Granulare Rechte- und Freigabeverwaltung

✅ Zentrale Steuerung & Transparenz auf Organisationsebene

👥 Kollaborative KI für Ihr gesamtes Unternehmen

Nutzen Sie Mindverse Studio als zentrale Plattform für abteilungsübergreifende Zusammenarbeit.Teilen Sie Wissen, erstellen Sie gemeinsame Workflows und integrieren Sie KI nahtlos in Ihre täglichen Prozesse – sicher, skalierbar und effizient.Mit granularen Rechten, transparenter Nachvollziehbarkeit und Echtzeit-Kollaboration.

Bereit für den nächsten Schritt?

Sehen Sie Mindverse Studio in Aktion. Buchen Sie eine persönliche 30-minütige Demo.

🎯 Kostenlose Demo buchen

Wie können wir Ihnen heute helfen?

Das Expertenteam von Mindverse freut sich darauf, Ihnen zu helfen.
Herzlichen Dank! Deine Nachricht ist eingegangen!
Oops! Du hast wohl was vergessen, versuche es nochmal.

🚀 Neugierig auf Mindverse Studio?

Lernen Sie in nur 30 Minuten kennen, wie Ihr Team mit KI mehr erreichen kann – live und persönlich.

🚀 Demo jetzt buchen