Apples Ferret-UI 2: Fortschritte in der plattformübergreifenden App-Steuerung durch KI

Adaptive Architektur für plattformübergreifende Kompatibilität

Ferret-UI 2 verwendet eine adaptive Architektur, die UI-Elemente plattformübergreifend erkennt. Ein Algorithmus gleicht die Bildauflösung und die Verarbeitungsanforderungen für jede Plattform automatisch an. Laut den Forschern ist dieser Ansatz "sowohl informationsspeichernd als auch effizient für die lokale Kodierung".

Starke Leistung, aber Herausforderungen bei der Domänenübertragung

Tests haben gezeigt, dass Ferret-UI 2 eine starke plattformübergreifende Leistung bietet. Modelle, die mit iPhone-Daten trainiert wurden, erreichten eine Genauigkeit von 68 Prozent auf iPads und 71 Prozent auf Android-Geräten. Schwierigkeiten bereitete dem System jedoch der Übergang zwischen Mobilgeräten und Fernseh- oder Web-Oberflächen, was die Forscher auf Unterschiede im Bildschirmlayout zurückführen.

Wachsende Bedeutung von KI-Systemen zur UI-Steuerung

Apples Arbeit fällt mit den Bemühungen anderer Unternehmen zusammen, eigene KI-Systeme zum Verständnis von Benutzeroberflächen voranzutreiben. Anthropic hat kürzlich ein aktualisiertes Claude 3.5 Sonnet mit UI-Interaktion veröffentlicht, während Microsoft zu diesem Zweck OmniParser veröffentlicht hat, ein Open-Source-Tool, das Bildschirminhalte in strukturierte Daten umwandelt.

Potenzial für eine neue Ära der Sprachsteuerung

Apple hat kürzlich auch CAMPHOR vorgestellt, ein Framework, das spezialisierte KI-Agenten verwendet, die von einem Master-Reasoning-Agenten koordiniert werden, um komplexe Aufgaben zu bewältigen. In Kombination mit Ferret-UI 2 könnte diese Technologie Sprachassistenten wie Siri in die Lage versetzen, komplexe Aufgaben zu analysieren und auszuführen - wie z. B. das Finden und Buchen eines bestimmten Restaurants -, die das Navigieren in Apps oder im Internet nur mit Sprachbefehlen erfordern.

Fazit: Ein Schritt in Richtung agentische KI

Mit Ferret-UI 2 präsentiert Apple ein KI-System, das Bildschirminhalte auf verschiedenen Plattformen erkennt und mit Benutzeroberflächen interagieren kann. Solche Systeme gelten als Grundlage für agentische KI, die selbstständig Aufgaben für den Nutzer erledigen kann. Ein wichtiger Aspekt der Forschung ist die Übertragbarkeit zwischen Systemen, die innerhalb einer Domäne (iPhone zu Android-Handy) gut funktioniert, während die Übertragbarkeit zwischen Domänen (Mobilgerät zu AppleTV) noch verbessert werden muss. Anstelle von umständlichen Klickanweisungen mit Koordinaten soll Ferret-UI 2 natürlichsprachliche Befehle wie "Bitte Eingabe bestätigen" verstehen und die passende Schaltfläche selbstständig finden.

Quellen

1. Heise.de: Frettchen voraus: Apple-KI "Ferret-UI" will bei App-Bedienung helfen
2. AppleInsider.com: Apple's new AI model could help Siri see how iOS apps work
3. DigitalTrends.com: Here’s how Apple could change your iPhone forever
4. Apple.com: Introducing Apple Intelligence for iPhone, iPad, and Mac
5. Apple.com: Apple Intelligence comes to iPhone, iPad, and Mac starting next month
6. BBC.com: Apple brings ChatGPT to iPhones in AI overhaul
7. Apple.com: Apple Intelligence