Apples KI-System Ferret-UI 2: Steuerung von Apps über Plattformgrenzen hinweg

Apples neuestes KI-System, Ferret-UI 2, ist in der Lage, Apps auf iPhones, iPads, Android-Geräten, Webbrowsern und Apple TV zu erkennen und zu steuern. Damit eröffnet das Unternehmen neue Möglichkeiten für die Interaktion mit Technologie.

Überragende Erkennungsgenauigkeit und verbesserte Leistung

In Tests zur Erkennung von UI-Elementen erreichte Ferret-UI 2 eine Genauigkeit von 89,73 Prozent und übertraf damit GPT-4o (77,73 Prozent) deutlich. Auch im Vergleich zum Vorgängersystem zeigt Ferret-UI 2 erhebliche Verbesserungen bei grundlegenden Aufgaben wie Text- und Schaltflächenerkennung sowie bei komplexeren Vorgängen.

Apple testete das System mit verschiedenen Sprachmodellen. Die besten Ergebnisse lieferte Llama-3, aber auch das kleinere Gemma-2B zeigte eine gute Leistung.

Nutzerabsicht verstehen statt Klick-Koordinaten

Anstatt sich auf spezifische Klick-Koordinaten zu verlassen, zielt Ferret-UI 2 darauf ab, die Nutzerabsicht zu verstehen. Bei einer Anweisung wie "Bitte Eingabe bestätigen" kann das System die entsprechende Schaltfläche identifizieren, ohne dass präzise Positionsdaten erforderlich sind. Das Forschungsteam von Apple nutzte die visuellen Fähigkeiten von GPT-4o, um hochwertige Trainingsdaten zu generieren, die dem System helfen, die räumliche Beziehung von UI-Elementen zueinander besser zu verstehen.

Adaptive Architektur für plattformübergreifende Kompatibilität

Ferret-UI 2 verwendet eine adaptive Architektur, die UI-Elemente plattformübergreifend erkennt. Ein Algorithmus gleicht die Bildauflösung und die Verarbeitungsanforderungen für jede Plattform automatisch an. Laut den Forschern ist dieser Ansatz "sowohl informationsspeichernd als auch effizient für die lokale Kodierung".

Starke Leistung, aber Herausforderungen bei der Domänenübertragung

Tests haben gezeigt, dass Ferret-UI 2 eine starke plattformübergreifende Leistung bietet. Modelle, die mit iPhone-Daten trainiert wurden, erreichten eine Genauigkeit von 68 Prozent auf iPads und 71 Prozent auf Android-Geräten. Schwierigkeiten bereitete dem System jedoch der Übergang zwischen Mobilgeräten und Fernseh- oder Web-Oberflächen, was die Forscher auf Unterschiede im Bildschirmlayout zurückführen.

Wachsende Bedeutung von KI-Systemen zur UI-Steuerung

Apples Arbeit fällt mit den Bemühungen anderer Unternehmen zusammen, eigene KI-Systeme zum Verständnis von Benutzeroberflächen voranzutreiben. Anthropic hat kürzlich ein aktualisiertes Claude 3.5 Sonnet mit UI-Interaktion veröffentlicht, während Microsoft zu diesem Zweck OmniParser veröffentlicht hat, ein Open-Source-Tool, das Bildschirminhalte in strukturierte Daten umwandelt.

Potenzial für eine neue Ära der Sprachsteuerung

Apple hat kürzlich auch CAMPHOR vorgestellt, ein Framework, das spezialisierte KI-Agenten verwendet, die von einem Master-Reasoning-Agenten koordiniert werden, um komplexe Aufgaben zu bewältigen. In Kombination mit Ferret-UI 2 könnte diese Technologie Sprachassistenten wie Siri in die Lage versetzen, komplexe Aufgaben zu analysieren und auszuführen - wie z. B. das Finden und Buchen eines bestimmten Restaurants -, die das Navigieren in Apps oder im Internet nur mit Sprachbefehlen erfordern.

Fazit: Ein Schritt in Richtung agentische KI

Mit Ferret-UI 2 präsentiert Apple ein KI-System, das Bildschirminhalte auf verschiedenen Plattformen erkennt und mit Benutzeroberflächen interagieren kann. Solche Systeme gelten als Grundlage für agentische KI, die selbstständig Aufgaben für den Nutzer erledigen kann. Ein wichtiger Aspekt der Forschung ist die Übertragbarkeit zwischen Systemen, die innerhalb einer Domäne (iPhone zu Android-Handy) gut funktioniert, während die Übertragbarkeit zwischen Domänen (Mobilgerät zu AppleTV) noch verbessert werden muss. Anstelle von umständlichen Klickanweisungen mit Koordinaten soll Ferret-UI 2 natürlichsprachliche Befehle wie "Bitte Eingabe bestätigen" verstehen und die passende Schaltfläche selbstständig finden.

Quellen

- Heise.de: Frettchen voraus: Apple-KI "Ferret-UI" will bei App-Bedienung helfen - AppleInsider.com: Apple's new AI model could help Siri see how iOS apps work - DigitalTrends.com: Here’s how Apple could change your iPhone forever - Apple.com: Introducing Apple Intelligence for iPhone, iPad, and Mac - Apple.com: Apple Intelligence comes to iPhone, iPad, and Mac starting next month - BBC.com: Apple brings ChatGPT to iPhones in AI overhaul - Apple.com: Apple Intelligence