Wähle deine bevorzugte Option:
für Einzelnutzer
für Teams und Unternehmen
Die Entwicklung von KI-Agenten hat in den letzten Jahren erheblich an Bedeutung gewonnen, insbesondere im Hinblick auf ihre Fähigkeit, Umgebungen wahrzunehmen, Aufgaben zu verstehen und autonom Ziele zu erreichen. In diesem Kontext spielen mobile Szenarien eine immer wichtigere Rolle. Um die Forschung an KI-Agenten in mobilen Anwendungen voranzutreiben, wurde das Android Multi-annotation Expo Dataset (AMEX) entwickelt. Dieses umfassende, groß angelegte Datenset ist speziell für generalistische mobile GUI-Kontrollagenten konzipiert.
AMEX steht für Android Multi-annotation Expo Dataset und umfasst über 104.000 hochauflösende Screenshots von 110 beliebten mobilen Anwendungen. Diese Screenshots sind auf mehreren Ebenen annotiert, was dieses Datenset von bestehenden mobilen Geräte-Kontroll-Datensets wie MoTIF und AitW unterscheidet. Die Annotationsstufen umfassen:
Durch die mehrschichtige Annotation können mobile GUI-Agenten trainiert und bewertet werden. Das Datenset beinhaltet durchschnittlich 13 Schritte pro Aufgabeninstruktion, wobei jeder Schritt eine Kette von GUI-Aktionen darstellt. Diese detaillierte Perspektive ergänzt die allgemeinen Einstellungen bestehender Datensets und bietet eine tiefere Einsicht in die Funktionsweise mobiler Anwendungen.
Diese Annotationsebene konzentriert sich darauf, interaktive Elemente auf dem Bildschirm zu identifizieren und zu verankern. Dies ist entscheidend, da es den Agenten ermöglicht, genau zu wissen, welche Elemente auf dem Bildschirm anklickbar oder anderweitig interaktiv sind.
Eine weitere Ebene der Annotation beschreibt die Funktionalität der Bildschirme und ihrer Elemente. Diese Beschreibungen helfen den Agenten, die Absicht und den Zweck der verschiedenen GUI-Komponenten besser zu verstehen.
Die dritte Annotationsebene umfasst komplexe natürliche Sprachinstruktionen, die aus durchschnittlich 13 Schritten bestehen. Jeder dieser Schritte wird durch eine Kette von GUI-Aktionen dargestellt. Diese Anweisungen sind besonders nützlich, um die Fähigkeit der Agenten zu testen, Aufgaben in einer menschenähnlichen Weise zu verstehen und auszuführen.
Im Rahmen der Entwicklung des AMEX-Datensets wurde auch ein Basismodell namens SPHINX Agent entwickelt. Dieses Modell wurde hinsichtlich seiner Leistungsfähigkeit im Vergleich zu anderen, auf verschiedenen Datensets trainierten, state-of-the-art Agenten bewertet. Die Ergebnisse dieser Vergleiche helfen, die Effektivität und Effizienz des Datensets sowie die Leistungsfähigkeit der entwickelten Modelle zu messen.
Um die Forschung weiter zu fördern, wurden das Datenset, die Modelle und die relevanten Bewertungstools als Open Source zur Verfügung gestellt. Dies ermöglicht Forschern und Entwicklern weltweit, auf die Ressourcen zuzugreifen, ihre eigenen Experimente durchzuführen und zur Weiterentwicklung des Feldes beizutragen.
Die Einführung des AMEX-Datensets markiert einen wichtigen Schritt in der Entwicklung von KI-Agenten für mobile Anwendungen. Mit seinen detaillierten und mehrschichtigen Annotationen bietet es eine wertvolle Ressource für die Ausbildung und Bewertung von Agenten, die in der Lage sind, komplexe Aufgaben zu verstehen und auszuführen. Die Open-Source-Verfügbarkeit des Datensets und der Modelle wird zweifellos die Forschung und Entwicklung in diesem Bereich vorantreiben.
Das Android Multi-annotation Expo Dataset (AMEX) stellt einen bedeutenden Fortschritt in der Entwicklung von KI-Agenten für mobile Szenarien dar. Durch seine umfassenden, mehrschichtigen Annotationen und die Verfügbarkeit als Open Source bietet es eine solide Grundlage für zukünftige Forschung und Entwicklung. Die Vergleichsstudien mit dem SPHINX Agent zeigen das Potenzial und die Vielseitigkeit des Datensets, was es zu einem unverzichtbaren Werkzeug für die Weiterentwicklung von mobilen GUI-Agenten macht.
Entdecken Sie die Vorteile gegenüber ChatGPT Plus
Sie nutzen bereits ChatGPT Plus? Das ist ein guter Anfang! Aber stellen Sie sich vor, Sie hätten Zugang zu allen führenden KI-Modellen weltweit, könnten mit Ihren eigenen Dokumenten arbeiten und nahtlos im Team kollaborieren.
Die professionelle KI-Plattform für Unternehmen – leistungsstärker, flexibler und sicherer als ChatGPT Plus. Mit über 50 Modellen, DSGVO-konformer Infrastruktur und tiefgreifender Integration in Unternehmensprozesse.
❌ Kein strukturierter Dokumentenvergleich
❌ Keine Bearbeitung im Dokumentkontext
❌ Keine Integration von Unternehmenswissen
✅ Gezielter Dokumentenvergleich mit Custom-Prompts
✅ Kontextbewusste Textbearbeitung im Editor
✅ Wissensbasierte Analyse & Zusammenfassungen
Erstellen Sie leistungsstarke Wissensdatenbanken aus Ihren Unternehmensdokumenten.Mindverse Studio verknüpft diese direkt mit der KI – für präzise, kontextbezogene Antworten auf Basis Ihres spezifischen Know-hows.DSGVO-konform, transparent und jederzeit nachvollziehbar.
❌ Nur ein Modellanbieter (OpenAI)
❌ Keine Modellauswahl pro Use Case
❌ Keine zentrale Modellsteuerung für Teams
✅ Zugriff auf über 50 verschiedene KI-Modelle
✅ Modellauswahl pro Prompt oder Assistent
✅ Zentrale Steuerung auf Organisationsebene
❌ Keine echte Teamkollaboration
❌ Keine Rechte- oder Rollenverteilung
❌ Keine zentrale Steuerung oder Nachvollziehbarkeit
✅ Teamübergreifende Bearbeitung in Echtzeit
✅ Granulare Rechte- und Freigabeverwaltung
✅ Zentrale Steuerung & Transparenz auf Organisationsebene
Nutzen Sie Mindverse Studio als zentrale Plattform für abteilungsübergreifende Zusammenarbeit.Teilen Sie Wissen, erstellen Sie gemeinsame Workflows und integrieren Sie KI nahtlos in Ihre täglichen Prozesse – sicher, skalierbar und effizient.Mit granularen Rechten, transparenter Nachvollziehbarkeit und Echtzeit-Kollaboration.
Sehen Sie Mindverse Studio in Aktion. Buchen Sie eine persönliche 30-minütige Demo.
🎯 Kostenlose Demo buchenLernen Sie in nur 30 Minuten kennen, wie Ihr Team mit KI mehr erreichen kann – live und persönlich.
🚀 Demo jetzt buchen