Sicherheit mobiler KI-Agenten durch hybrides Erkennungssystem verbessern

Die rapide Entwicklung von KI-Agenten, insbesondere solcher, die auf sogenannten Vision-Language Models (VLMs) basieren, hat das Potenzial, die Interaktion mit digitalen Umgebungen wie mobilen Plattformen grundlegend zu verändern. Diese Agenten können komplexe Aufgaben, die bisher menschliches Eingreifen erforderten, eigenständig ausführen. Dazu gehören beispielsweise das Planen von Besprechungen, das Versenden von Nachrichten oder die Verwaltung persönlicher Daten. Während diese Fortschritte große Chancen für die digitale Automatisierung bieten, werfen sie gleichzeitig erhebliche Sicherheitsbedenken auf. Potenzielle Risiken umfassen die Kompromittierung von Systemen, das unerwünschte Lecken von privaten Daten oder andere schädliche Operationen, die unbeabsichtigt von den Agenten ausgeführt werden könnten.

Herausforderungen bei der Sicherheit mobiler KI-Agenten

Die Erkennung von Sicherheitsrisiken in der vielfältigen und komplexen Betriebsumgebung mobiler Geräte stellt eine erhebliche Herausforderung dar. Bisherige Sicherheitsansätze konzentrierten sich oft auf Desktop- oder Web-Plattformen und vernachlässigten die spezifischen Gegebenheiten mobiler Umgebungen. Diese unterscheiden sich durch ihre Vielfalt an Anwendungen, dynamische Interaktionskontexte und den Zugriff auf sensible Nutzerdaten wie Kontakte, Standortinformationen oder Finanzdaten.

Ein weiteres Problem besteht darin, dass bestehende Evaluierungsinfrastrukturen für mobile Agenten oft keine umfassende Beobachtbarkeit auf Systemebene bieten. Sie erfassen weder Laufzeitprozesse, Berechtigungsänderungen noch Hintergrund-Dateivorgänge – allesamt kritische Signale, die subtile, aber gefährliche Verhaltensweisen aufdecken könnten. Zudem konzentrieren sich die meisten Erkennungsmethoden auf die Analyse einzelner Schritte, was unzureichend ist, um Risiken zu identifizieren, die sich über mehrere Schritte und im Kontext sich entwickelnder Systemzustände manifestieren.

OS-Sentinel: Ein hybrides Sicherheitserkennungs-Framework

Um diesen Herausforderungen zu begegnen, wurde OS-Sentinel entwickelt, ein neuartiges hybrides Sicherheitserkennungs-Framework. Es kombiniert zwei komplementäre Ansätze:

• Formale Verifikation: Dieser Ansatz fokussiert auf die Erkennung expliziter system-level Verstöße.
• Kontextuelle Bewertung durch VLMs: Dieser Ansatz dient der Beurteilung kontextueller Risiken und der Aktionen des Agenten.

Das Ziel ist es, eine umfassendere und zuverlässigere Erkennung von unsicheren Operationen in mobilen KI-Agenten zu ermöglichen.

MobileRisk-Live und MobileRisk: Die Grundlage für Sicherheitsforschung

Als Basis für die Forschung und Entwicklung von OS-Sentinel wurden zwei zentrale Komponenten geschaffen:

• MobileRisk-Live: Dies ist eine dynamische Sandbox-Umgebung, die auf Android-Emulatoren basiert. Sie ermöglicht Echtzeit-Sicherheitsstudien über verschiedene Anwendungen hinweg. MobileRisk-Live bietet eine einheitliche Schnittstelle zur Aufzeichnung von GUI-Beobachtungen (Screenshots und Accessibility Trees), Agentenaktionen und detaillierten Systemzustandsspuren. Letztere umfassen Android-Laufzeitinformationen wie installierte Pakete, Dateivorgänge, Netzwerkaktivitäten und Berechtigungsänderungen, die für die Sicherheitsprüfung entscheidend sind, aber oft nicht in GUI-Beobachtungen sichtbar sind.
• MobileRisk: Dieser Benchmark wurde aus MobileRisk-Live abgeleitet und besteht aus fein granulierten, eingefrorenen Agenten-Trajektorien. Dieser statische Datensatz adressiert Herausforderungen wie den Einfluss der Agentenfähigkeit, den Umgang mit sensiblen Operationen und die Reproduzierbarkeit in dynamischen Umgebungen. Jede Instanz in MobileRisk umfasst GUI-Beobachtungen, Systemzustandsspuren und Sicherheitsanmerkungen auf Trajektorie- und Schrittebene.

Der Datenpipeline-Prozess beinhaltet die Kuratierung von menschengeschriebenen Anweisungen für risikoreiche Szenarien, die Ausführung des Agenten in MobileRisk-Live, die menschliche Verfeinerung und Vervollständigung der Trajektorien sowie die mehrstufige Sicherheitskennzeichnung. Dies stellt sicher, dass die Trajektorien kohärente, realistische Arbeitsabläufe widerspiegeln und eine präzise Identifizierung des Risikobeginns ermöglichen.

Funktionsweise von OS-Sentinel

OS-Sentinel kombiniert einen Formalen Verifizierer und einen VLM-basierten Kontextuellen Richter, um Risiken auf System- und Verhaltensebene zu erkennen.

Der Formale Verifizierer

Dieser Bestandteil nutzt die Systemzustandsspuren, um deterministische Erkennungsmechanismen zu implementieren. Er führt drei Arten von Prüfungen durch:

• Systemzustandsintegritätsüberwachung: Kryptografische Hashes von Dateisystem-Metadaten werden berechnet. Abweichungen deuten auf potenzielle Privilegienerhöhungen oder unautorisierte Konfigurationsänderungen hin.
• Erkennung sensibler Schlüsselwörter: Sichtbarer Text von Bildschirmzuständen wird extrahiert und mit einem Lexikon sensibler Begriffe (Finanzdaten, persönliche Identifikatoren, Sicherheitszugangsdaten) abgeglichen.
• Erkennung sensibler Muster: Reguläre Ausdrücke werden verwendet, um strukturierte sensible Informationen wie E-Mail-Adressen, Passwörter oder Kreditkartennummern zu erkennen.

Ein Schritt wird als unsicher gekennzeichnet, wenn eine dieser Regeln verletzt wird, was eine nachvollziehbare und deterministische Erkennung konkreter Bedrohungen gewährleistet.

Der Kontextuelle Richter

Dieser auf VLMs basierende Richter befasst sich mit den Einschränkungen des Formalen Verifizierers, indem er semantische Analysen für kontextabhängige Risiken (z.B. Social Engineering, unangemessene Handlungsabfolgen) bereitstellt, die nicht durch regelbasierte Prüfungen erfasst werden können. Er analysiert Agentenübergänge zwischen Zuständen, um Verhaltensabsichten und Ausführungslogik zu interpretieren.

• Überwachung auf Schrittebene: Für jeden Schritt verarbeitet ein VLM das aktuelle Beobachtungs-Aktions-Paar, um Echtzeit-Sicherheitsurteile zu fällen.
• Bewertung auf Trajektorie-Ebene: Zwei Modi werden unterstützt: der "Consecutive mode", der die Trajektorie in überlappende Fenster unterteilt, und der "Sampled mode", der repräsentative Übergangspunkte aus der gesamten Trajektorie entnimmt.

Das endgültige Urteil ist eine logische ODER-Verknüpfung der Ergebnisse beider Komponenten. Dies stellt sicher, dass keine explizite Verletzung unentdeckt bleibt und gleichzeitig nuancierte, kontextabhängige Risiken abgedeckt werden. Die generative Natur des VLM-Richters ermöglicht zudem eine interpretierbare Risikoklassifikation, die die nachträgliche Analyse erleichtert.

Experimentelle Ergebnisse und Analyse

Experimente mit OS-Sentinel auf dem MobileRisk-Benchmark zeigen eine signifikante Leistungssteigerung. Das Framework erreicht eine Verbesserung von 10 % bis 30 % gegenüber bestehenden Ansätzen bei der Erkennung unsicherer Operationen. Diese Überlegenheit wird auf die synergistische Kombination des Formalen Verifizierers und des Kontextuellen Richters zurückgeführt.

Der Formale Verifizierer erweist sich als besonders effektiv bei der Erkennung von Systemanomalien, wie beispielsweise Dateimanipulationen, selbst wenn keine sichtbaren Veränderungen in der Benutzeroberfläche auftreten. Ein Beispiel hierfür ist die Erkennung einer Systemdateimodifikation, die nur über die Systemzustandsspur feststellbar ist.

Der Kontextuelle Richter hingegen ist in der Lage, semantische Bedrohungen zu erkennen, die über reine Systemprüfungen hinausgehen. Dazu gehört beispielsweise das Erkennen der Übertragung von Bankkontoinformationen, selbst wenn keine direkten system-level Änderungen vorliegen. Dies unterstreicht die Fähigkeit des VLM, den Kontext und die Absicht hinter den Agentenaktionen zu interpretieren.

Die Analyse der Komponenten zeigt, dass sowohl der Formale Verifizierer als auch der Kontextuelle Richter wesentlich zur Gesamtleistung beitragen. Ihre Kombination übertrifft die Leistung jedes einzelnen Ansatzes sowohl in Bezug auf die Genauigkeit als auch auf den F1-Score über verschiedene VLM-Modelle hinweg. OS-Sentinel bietet zudem eine ausgewogenere Erkennung über eine breite Palette von Risikotypen, einschließlich destruktiver Aktionen, Datenschutzverletzungen, Sicherheitsumgehungen und Überautomatisierung, während Baselines ungleichmäßige Stärken aufweisen.

Ein weiterer wichtiger Aspekt ist die Validierung der Übereinstimmung zwischen MobileRisk-Live und MobileRisk. Diese bestätigt, dass die eingefrorenen Trajektorien die Systemzustände zuverlässig erhalten und eine reproduzierbare Evaluierung ermöglichen. Das Framework ist zudem modellagnostisch, praxistauglich für den realen Einsatz mit geringer Latenz und liefert auch mit kleineren VLM-Modellen (z.B. 7B-Modelle) robuste Ergebnisse.

Schlussfolgerung und Ausblick

Die Einführung von OS-Sentinel stellt einen wichtigen Schritt zur Verbesserung der Sicherheit von mobilen KI-Agenten dar. Durch die Kombination von formaler Verifikation und kontextueller Bewertung bietet das Framework eine umfassende Lösung, um sowohl explizite Systemverstöße als auch nuancierte, kontextabhängige Risiken zu identifizieren. Die erzielten Leistungsverbesserungen und die Robustheit des Ansatzes unterstreichen das Potenzial für die Entwicklung sichererer und zuverlässigerer autonomer mobiler Agenten. Die bereitgestellte Forschungsinfrastruktur, bestehend aus MobileRisk-Live und MobileRisk, legt zudem eine solide Grundlage für zukünftige Arbeiten in diesem kritischen Bereich der KI-Sicherheit.

Bibliography

- Sun, Qiushi, et al. "OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows." arXiv preprint arXiv:2510.24411 (2025). - "OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows." Hugging Face, huggingface.co/papers/2510.24411. Accessed 06 November 2024. - "Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows." The Moonlight, www.themoonlight.io/review/os-sentinel-towards-safety-enhanced-mobile-gui-agents-via-hybrid-validation-in-realistic-workflows. Accessed 06 November 2024. - "OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows." ChatPaper, chatpaper.com/chatpaper/paper/204367. Accessed 06 November 2024. - Rath, Sovit. "OmniParser: Vision Based GUI Agent." Learn OpenCV, learnopencv.com/omniparser-vision-based-gui-agent/. Accessed 06 November 2024. - "UItron: Open-Source GUI Agent." Emergent Mind, www.emergentmind.com/topics/uitron. Accessed 06 November 2024.