OPPO stellt X-OmniClaw vor: Ein innovativer KI-Agent für Android mit lokalem Fokus

OPPO präsentiert X-OmniClaw: Ein Edge-nativer KI-Agent für Android mit multimodalen Fähigkeiten

Im Bereich der mobilen künstlichen Intelligenz (KI) hat das Multi-X Team von OPPO einen bedeutenden Schritt unternommen. Es hat X-OmniClaw, einen Edge-nativen KI-Agenten für Android, als Open-Source-Lösung veröffentlicht. Diese Entwicklung markiert eine Abkehr von traditionellen Cloud-zentrierten Ansätzen, da X-OmniClaw direkt auf dem physischen Gerät arbeitet und Kamera, Bildschirm sowie Stimme des Nutzers integriert, um Aufgaben effizient und ohne Umwege über Cloud-Instanzen zu erledigen.

Edge-Native Architektur: Lokale Verarbeitung statt Cloud-Virtualisierung

Der technische Bericht von OPPOs KI-Zentrum hebt den grundlegenden Unterschied zwischen X-OmniClaw und bestehenden Cloud-basierten Plattformen wie RedFinger, Alibabas Wuying oder Tencent Cloud Phone hervor. Während diese Dienste Agenten in virtualisierten Android-Instanzen in Rechenzentren betreiben, was den Zugriff auf lokale Sensoren, Kameras oder private Daten einschränkt, verfolgt X-OmniClaw einen entgegengesetzten Ansatz. Die Kernlogik für Wahrnehmung, Steuerung und App-Interaktion ist direkt auf dem Android-Gerät angesiedelt. Cloud-basierte Sprachmodelle werden lediglich als „Treibstoff“ für komplexere Schlussfolgerungen herangezogen, wenn dies erforderlich ist. Dies ermöglicht eine robustere Interaktion mit der realen Welt und den lokalen Daten des Nutzers.

Multimodale Wahrnehmung: Kamera, Bildschirm und Stimme in einer Pipeline

X-OmniClaw bündelt drei Wahrnehmungskanäle – Kamera, Bildschirm und Stimme – in einer einzigen Pipeline. Ein Vision-Language-Modell (VLM) interpretiert zunächst die Szene zusammen mit der Anfrage des Nutzers, bevor eine Aktion ausgelöst wird. Das System kombiniert Text-, Sprach-, Kamera- und Bildschirmsignale, gleicht diese zeitlich ab und leitet eine strukturierte Absicht an das Sprachmodell weiter. Ein Beispiel hierfür ist, wenn ein Nutzer die Kamera auf ein Produkt richtet und fragt: „Wie viel kostet das bei Taobao?“. Das System erkennt das Produkt, beispielsweise ein Evian-Spray, und formuliert die Anfrage intern um in „Der Nutzer möchte den Preis von Evian-Spray bei Taobao wissen“, bevor es die Suche und Interaktion in der entsprechenden App startet.

Omni Memory: Die Galerie als durchsuchbares Gedächtnis

Für eine langfristige Gedächtnisfunktion wandelt X-OmniClaw lokale Daten in semantische Einträge um. Während Ruhezeiten werden Fotos aus der Galerie in kompakte Beschreibungen von Objekten, Szenen und Ereignissen verarbeitet und in einer Markdown-Datei gespeichert. Dieser Prozess beinhaltet eine Filterung sensibler Inhalte, bevor die Daten gesichert werden. Der Bericht betont die Absicht, zukünftig die semantische Bildzusammenfassung direkt auf dem Gerät durchzuführen, um zu gewährleisten, dass Rohbilder das Telefon niemals verlassen. Dies unterstreicht das Engagement für den Datenschutz der Nutzer.

Omni Action: Geklonte Aktionen für effiziente Interaktion

Anstatt jede Aktion von Grund auf neu zu planen, kopiert X-OmniClaw das Nutzerverhalten und speichert es als wiederverwendbare Fähigkeiten. Das System extrahiert den vollständigen Startbefehl für eine App-Seite und springt beim nächsten Mal direkt über einen Deeplink dorthin, anstatt den ursprünglichen Tipppfad zu wiederholen. Sollte dies fehlschlagen, greift das System auf schrittweise einfachere Startmethoden zurück. Um anklickbare Elemente zu erkennen, kombiniert X-OmniClaw strukturelle XML-Daten mit einem Grounding-Modell und Texterkennung. Dies ist besonders hilfreich in werbelastigen oder visuell unübersichtlichen Oberflächen, wo XML allein keine präzise Klickposition liefern kann.

Anwendungsbeispiele: Von Preisabfragen bis zur automatisierten Videoerstellung

Die Fähigkeiten von X-OmniClaw werden in verschiedenen Szenarien demonstriert:

• Preisabfragen per Kamera: Ein Nutzer richtet die Kamera auf ein Produkt und fragt nach dem Preis. Der Agent öffnet die Einkaufs-App, scrollt durch die Ergebnisse, erstellt Screenshots und liest Preise sowie Verkaufszahlen mithilfe eines Vision-Language-Modells aus.
• Interaktive Unterstützung: Als „ScreenAvatar“ fungiert X-OmniClaw als digitales Pendant, das Aufgaben auf dem Bildschirm im Auftrag des Nutzers erledigt, wie beispielsweise das schrittweise Lösen von Übungsaufgaben.
• Automatisierte Videoerstellung: Auf Anfrage des Nutzers, beispielsweise zur Erstellung eines Videos aus Papageienfotos, durchsucht der Agent die zusammengefasste Galerie-Erinnerung nach passenden Fotos und leitet diese an eine Videobearbeitungs-App weiter, um automatisch ein Video zu erstellen.
• Direktzugriff auf App-Seiten: Nutzer können den Pfad zu einer tief verschachtelten Rabattseite einmal klonen. Beim nächsten Mal genügt ein Sprachbefehl, um diese spezifische Unterseite direkt zu öffnen, selbst wenn die App keine öffentlichen Deeplinks anbietet.

Zukunftsperspektiven und Open-Source-Beitrag

Das Projekt baut auf der Open-Source-Codebasis von HermesApp auf und positioniert sich zwischen OpenClaw, das stärker auf PCs ausgerichtet ist, und dem auf emergenten Fähigkeiten basierenden Hermes Agent von Nous Research. OPPOs Entscheidung, X-OmniClaw als Open-Source zu veröffentlichen, signalisiert einen Wettbewerbsdruck im Bereich des multimodalen Agentendesigns und könnte die Entwicklung von KI-Agenten auf Android-Geräten maßgeblich beeinflussen. Die kontinuierliche Weiterentwicklung zielt darauf ab, die Effizienz, den Datenschutz und die Benutzerfreundlichkeit weiter zu verbessern, unter anderem durch Mechanismen zur Selbstentwicklung, dynamische Speicherverwaltung und eine optimierte Synergie zwischen Gerät und Cloud.

Dieser Schritt von OPPO könnte die Tür für eine neue Generation von mobilen KI-Agenten öffnen, die Leistungsfähigkeit mit einem starken Fokus auf den Datenschutz der Nutzer verbinden, indem sie die Datenverarbeitung so weit wie möglich auf dem Gerät selbst durchführen.

Bibliographie

- OPPO-Mente-Lab/X-OmniClaw: an edge-native Multimodal ... - GitHub. (2026, April 15). https://github.com/OPPO-Mente-Lab/X-OmniClaw - A Unified Mobile Agent for Multimodal Understanding and Interaction. (2026, May). https://arxiv.org/html/2605.05765v1 - Oppo open-sources Android AI agent X-OmniClaw that uses your camera, screen, and voice without leaving the phone. (2026, May 17). The Decoder. https://the-decoder.com/oppo-open-sources-android-ai-agent-x-omniclaw-that-uses-your-camera-screen-and-voice-without-leaving-the-phone/ - [Literature Review] X-OmniClaw Technical Report: A Unified Mobile Agent for Multimodal Understanding and Interaction. (n.d.). Themoonlight.io. https://www.themoonlight.io/en/review/x-omniclaw-technical-report-a-unified-mobile-agent-for-multimodal-understanding-and-interaction - X-OmniClaw Technical Report: A Unified Mobile Agent for Multimodal Understanding and Interaction | Cool Papers - Immersive Paper Discovery. (2026, May 7). Papers.cool. https://papers.cool/arxiv/2605.05765 - 카메라 들이대고 "이거 얼마야?" 물으면 폰이 알아서 타오바오를 연다, 오포(OPPO)가 공개한 엣지 AI 에이전트 - AI매터스. (2026, May 11). AI매터스. https://aimatters.co.kr/news-report/41889/ - Paper page - X-OmniClaw Technical Report: A Unified Mobile Agent for Multimodal Understanding and Interaction. (n.d.). Hugging Face. https://huggingface.co/papers/2605.05765 - [5/17 09:00] Oppo X-OmniClaw o… – AI News Flash - Apple Podcasts. (2026, May 17). Apple Podcasts. https://podcasts.apple.com/us/podcast/5-17-09-00-oppo-x-omniclaw-open-source-android-ai-agent/id1873892136?i=1000768237110&l=vi - Oppo open-sources Android AI agent X-OmniClaw that ... - Modelwire. (2026, May 17). Themodelwire.com. https://themodelwire.com/article/oppo-open-sources-android-ai-agent-x-omniclaw-that-uses-your-camera-screen-and-v-01KRTEJJTC554EBH368KM2G8E2 - Oppo’s X‑OmniClaw scrolls, captures & reads in‑app prices. Want .... (2026, May 17). Instagram. https://www.instagram.com/p/DYb1UonjooU/