Neue Agentenarchitektur Surfer 2 revolutioniert plattformübergreifende Computerinteraktion

Die Evolution künstlicher Intelligenz schreitet mit bemerkenswerter Geschwindigkeit voran, und ein Bereich, der zunehmend an Bedeutung gewinnt, sind autonome Agenten, die in der Lage sind, Computer über verschiedene Plattformen hinweg zu steuern. Eine aktuelle Entwicklung in diesem Feld ist die Einführung von Surfer 2, einer neuen Agenten-Architektur, die darauf abzielt, die Grenzen der plattformübergreifenden Computerbedienung zu erweitern. Dieses System, das rein auf visuellen Beobachtungen basiert, verspricht, eine neue Ära der Interaktion zwischen Mensch und Maschine einzuleiten.

Die Herausforderung plattformübergreifender Agenten

Die Entwicklung von Agenten, die in der Lage sind, in Web-, Desktop- und mobilen Umgebungen zu generalisieren, stellt eine erhebliche Herausforderung dar. Bisherige Systeme waren oft auf umgebungsspezifische Schnittstellen angewiesen, was ihre plattformübergreifende Einsetzbarkeit einschränkte. Der Ansatz von Surfer 2 adressiert diese Limitationen, indem er eine einheitliche Architektur bereitstellt, die sich ausschliesslich auf visuelle Eingaben stützt. Dies ermöglicht eine menschenähnlichere Interaktion mit grafischen Benutzeroberflächen (GUIs) und eine breitere Anwendbarkeit.

Die Architektur von Surfer 2

Surfer 2 ist eine hochentwickelte Architektur, die strategische Planung und taktische Ausführung voneinander trennt. Das System besteht aus mehreren Schlüsselkomponenten, die zusammenarbeiten, um komplexe Aufgaben zu bewältigen:

• Orchestrator: Diese Komponente fungiert als übergeordneter Planer und Koordinator. Sie zerlegt komplexe Benutzerziele in überprüfbare Unteraufgaben und delegiert deren Ausführung an den Navigator. Bei Bedarf kann der Orchestrator auch die Planung anpassen oder neu starten, um auf unerwartete Situationen zu reagieren.
• Navigator: Der Navigator ist für die tatsächliche Ausführung der Aktionen auf der Benutzeroberfläche zuständig. Er nimmt visuelle Informationen (Screenshots) wahr, bewertet den Fortschritt und generiert eine Abfolge von Aktionen. Diese Aktionen werden dann durch den Localizer in präzise Bildschirmkoordinaten übersetzt.
• Localizer: Der Localizer ist eine entscheidende Komponente, die die Lücke zwischen textuellen Elementbeschreibungen (vom Navigator bereitgestellt) und exakten Bildschirmkoordinaten schliesst. Er übersetzt Beschreibungen wie "blauer Absenden-Button" in klickbare (x,y)-Koordinaten, was für eine zuverlässige GUI-Interaktion unerlässlich ist. Surfer 2 nutzt hierfür spezialisierte Modelle wie Holo1.5.
• Validator: Der Validator agiert als Verifizierungsmodul und überprüft systematisch den Abschluss der Aufgabe und die Qualität der Antwort. Er analysiert die Ausführungshistorie, vorgeschlagene Antworten und aktuelle Screenshots, um den Erfolg der Aufgabe zu beurteilen. Dies dient als wichtige Schutzmassnahme gegen voreilige oder ungenaue Antworten.

Dieses modulare Design ermöglicht es Surfer 2, flexibel auf unterschiedliche Aufgabenkomplexitäten zu reagieren. Für einfache Aufgaben kann der Orchestrator umgangen und der Navigator direkt aufgerufen werden, während komplexe, mehrphasige Aufgaben die volle Orchestrator-Funktionalität erfordern.

Leistung und Benchmarks

Die Leistungsfähigkeit von Surfer 2 wurde in vier wichtigen Benchmarks umfassend evaluiert, die Web-, Desktop- und mobile Umgebungen abdecken. Die Ergebnisse zeigen durchweg überlegene Leistungen im Vergleich zu früheren Systemen, und dies ohne aufgabenspezifische Feinabstimmung:

Web-Umgebungen

• WebVoyager: Surfer 2 erreichte eine Erfolgsquote von 97,1 %, was eine Verbesserung gegenüber dem vorherigen Spitzenwert von 93,9 % darstellt. Bei mehreren Versuchen (pass@10) erreichte das System sogar 100 % Erfolgsquote.
• WebArena: Hier erzielte Surfer 2 eine Erfolgsquote von 69,6 % (pass@1), was ebenfalls einen neuen Bestwert darstellt. Bei zehn Versuchen stieg die Leistung auf 84,9 %, was darauf hindeutet, dass die meisten verbleibenden Fehler eher auf lokale Erkundungsfallen als auf systematische Denkfehler zurückzuführen sind.

Desktop-Umgebungen

• OSWorld (Foundation E2E GUI Kategorie): In dieser Kategorie, die die Steuerung einer vollständigen Desktop-Umgebung unter Ubuntu mit menschenähnlicher Interaktion bewertet, erreichte Surfer 2 eine Erfolgsquote von 60,1 % (pass@1). Mit mehreren Versuchen (pass@10) übertraf das System sogar die menschliche Leistung von 72,4 % und erreichte 77,0 %.

Mobile Umgebungen

• AndroidWorld: Surfer 2 erreichte eine Erfolgsquote von 87,1 % bei der Steuerung eines Android-Geräts und der Nutzung von 20 realen Anwendungen. Dies übertrifft frühere visuell-basierte Ansätze und liegt über der menschlichen Basislinie von 80,0 %. Die Leistung variierte je nach Schwierigkeitsgrad, erreichte aber bei einfachen Aufgaben nahezu 98,4 %.

Das System demonstrierte in diesen Tests seine Fähigkeit, komplexe, plattformübergreifende Workflows effektiv zu steuern. Es wurde festgestellt, dass die Qualität des Localizers, insbesondere die Verwendung von Holo1.5 Modellen, einen signifikanten Einfluss auf die Gesamtleistung hatte.

Herausforderungen und zukünftige Perspektiven

Trotz der beeindruckenden Erfolge weist die praktische Anwendung von Agenten wie Surfer 2 noch Herausforderungen auf. Die Betriebskosten für komplexe Aufgaben können beträchtlich sein, insbesondere bei der Nutzung von Frontier-Modellen. Auch die Stochastizität der Modellausgaben erfordert oft kostspielige Multi-Sampling-Strategien, um eine hohe Zuverlässigkeit zu gewährleisten. Fehlerquoten bei der Lokalisierung von UI-Elementen und Kontextfensterbeschränkungen bei sehr langen Aufgaben stellen ebenfalls Hürden dar.

Der Weg nach vorn beinhaltet die Entwicklung kleinerer, spezialisierter Modelle, die eine vergleichbare oder sogar überlegene Leistung zu einem Bruchteil der aktuellen Kosten erbringen können. Dies zielt darauf ab, eine Pareto-Optimalität in Bezug auf Kosteneffizienz zu erreichen und KI-Agenten breiter zugänglich zu machen.

Die Ergebnisse von Surfer 2 unterstreichen, dass eine sorgfältige Orchestrierung und Systemgestaltung von entscheidender Bedeutung sind, um die Fähigkeiten der zugrunde liegenden Modelle zu maximieren. Die Fähigkeit, allgemeingültige Computerkontrolle durch rein visuelle Interaktion zu ermöglichen, weist auf das Potenzial für eine nächste Generation von Vision-Language-Modellen hin, die die Effizienz weiter steigern könnten.

Die kontinuierliche Forschung in diesem Bereich verspricht, die Grenzen der KI-Fähigkeiten weiter zu verschieben und die Interaktion mit digitalen Umgebungen grundlegend zu verändern. Die Entwicklung von Agenten, die nicht nur wissen, sondern auch handeln können, ist ein zentrales Ziel, das mit Architekturen wie Surfer 2 zunehmend greifbar wird.

Bibliography: - Andreux, M. et al. (2025). Surfer 2: The Next Generation of Cross-Platform Computer Use Agents. arXiv:2510.19949. - Andreux, M. et al. (2025). Surfer-H Meets Holo1: Cost-Efficient Web Agent Powered by Open Weights. arXiv:2506.02865. - H Company. (2025). H Blog - Surfer 2. Verfügbar unter: https://www.hcompany.ai/blog/surfer-2 - H Company. (2025). Surfer H. Verfügbar unter: https://www.hcompany.ai/surfer-h - TheMoonlight.io. (2025). [Literature Review] Surfer 2: The Next Generation of Cross-Platform Computer Use Agents. Verfügbar unter: https://www.themoonlight.io/en/review/surfer-2-the-next-generation-of-cross-platform-computer-use-agents - AI Research Roundup. (2025). Surfer 2: Cross‑Platform Computer Use Agent - YouTube. Verfügbar unter: https://www.youtube.com/watch?v=DGyoOXDHVSs