Gemini 2.5 Computer Use: Neue Impulse für die KI-gestützte Interaktion im Web

Googles Gemini 2.5 Computer Use: KI navigiert und interagiert im Browser

Google hat mit dem Gemini 2.5 Computer Use Modell eine signifikante Weiterentwicklung im Bereich der Künstlichen Intelligenz vorgestellt. Dieses spezialisierte KI-Modell wurde entwickelt, um Web-Interfaces und Anwendungen so zu nutzen, wie es ein Mensch tun würde. Es integriert fortgeschrittene visuelle und logische Fähigkeiten aus dem bereits etablierten Gemini 2.5 Pro Modell, um eine effiziente und menschenähnliche Interaktion mit digitalen Oberflächen zu ermöglichen.

Die Funktionsweise und Fähigkeiten des Modells

Die Kerninnovation von Gemini 2.5 Computer Use liegt in seiner Fähigkeit, digitale Umgebungen durch eine Kombination aus visueller Analyse und agentischen Operationen zu verstehen und zu manipulieren. Wenn dem Modell eine Aufgabe gestellt wird, analysiert es diese zunächst und generiert eine erste Reaktion, die typischerweise in einem Funktionsaufruf resultiert. Dieser Aufruf löst eine Aktion aus, wie beispielsweise das Klicken auf ein Element oder das Eingeben von Text.

Um das User Interface (UI) zu interpretieren, erstellt das Modell einen Screenshot der aktuellen Ansicht. Basierend auf diesem visuellen Input und einer Historie der zuvor ausgeführten Aktionen trifft das Modell Entscheidungen über die nächsten Schritte. Dieser iterative Prozess, bestehend aus Screenshot-Analyse, Aktionsgenerierung und Ausführung, wird fortgesetzt, bis die ursprüngliche Aufgabe erfolgreich abgeschlossen ist oder ein Fehler auftritt.

Zu den spezifischen Funktionen, die Gemini 2.5 Computer Use ausführen kann, gehören:

• Ausfüllen von Formularen
• Scrollen durch Webseiten
• Navigieren und Klicken auf Links oder Schaltflächen
• Interaktion mit interaktiven Elementen wie Dropdown-Menüs und Filtern
• Bedienung hinter Anmeldesystemen

Diese agentischen Fähigkeiten, die bereits in einer nicht spezialisierten Version der Gemini API verfügbar waren, wurden im neuen Modell erheblich verbessert, um eine präzisere und zuverlässigere Interaktion mit komplexen Schnittstellen zu gewährleisten.

Anwendungsbereiche und Zielgruppen

Google positioniert Gemini 2.5 Computer Use primär für die Nutzung in Webbrowsern, obwohl es auch vielversprechende Leistungen bei der Steuerung mobiler UIs zeigt. Aktuell ist das Modell jedoch noch nicht für die Steuerung auf Betriebssystemebene von Desktop-Anwendungen optimiert.

Die Hauptzielgruppe für dieses Modell sind Entwickler. Sie können Gemini 2.5 Computer Use nutzen, um eigene Software zu testen und Automatisierungslösungen zu entwickeln. Konkrete Anwendungsfälle umfassen:

• UI-Testing: Beschleunigung der Softwareentwicklung durch automatisierte Tests von Benutzeroberflächen.
• Workflow-Automatisierung: Automatisierung von repetitiven oder zeitaufwändigen Online-Aufgaben, wie das Ausfüllen von Anträgen oder das Vergleichen von Produktinformationen über mehrere Tabs hinweg.
• Persönliche Assistenten: Entwicklung von KI-Assistenten, die komplexe Online-Aufgaben im Auftrag des Nutzers erledigen können.

Varianten des Modells unterstützen zudem Funktionen in Googles „AI Mode“ für die KI-gestützte Suche und das „Project Mariner“, Googles Vision eines KI-Agenten.

Sicherheitsaspekte und verantwortungsvolle Entwicklung

Die Einführung von KI-Agenten, die Computer steuern können, bringt naturgemäß auch neue Herausforderungen im Bereich der Sicherheit mit sich. Google betont die Wichtigkeit eines verantwortungsvollen Ansatzes von Anfang an. Es wurden Sicherheitsfunktionen direkt in das Modell integriert, um Risiken wie vorsätzlichen Missbrauch durch Benutzer, unerwartetes Modellverhalten sowie Prompt-Injections und Betrug im Web-Umfeld zu adressieren.

Entwicklern stehen darüber hinaus zusätzliche Sicherheitskontrollen zur Verfügung. Diese ermöglichen es, das Modell daran zu hindern, potenziell risikoreiche oder schädliche Aktionen automatisch auszuführen, wie beispielsweise die Beeinträchtigung der Systemintegrität, die Gefährdung der Sicherheit oder die Umgehung von CAPTCHAs. Ein "Per-step Safety Service" bewertet jede vom Modell vorgeschlagene Aktion, bevor sie ausgeführt wird, und Systemanweisungen erlauben es Entwicklern, das Modell anzuweisen, bei bestimmten kritischen Aktionen eine Benutzerbestätigung einzuholen oder diese zu verweigern.

Verfügbarkeit und Vergleich mit anderen Ansätzen

Gemini 2.5 Computer Use ist über die Gemini API in Google AI Studio und Vertex AI als Vorschau verfügbar. Dies ermöglicht Entwicklern, die neuen Funktionen zu erkunden und Feedback zu geben.

Google ist mit diesem Ansatz nicht allein auf dem Markt. Andere führende KI-Anbieter haben ebenfalls ähnliche Technologien vorgestellt:

• Anthropic: Bietet einen "Computer-Use-Modus" für sein KI-Sprachmodell Claude, der ebenfalls Screenshots zur Auswertung von UIs nutzt.
• OpenAI: Arbeitet mit KI-Agenten wie "Operator" und "ChatGPT Agent", die Bildschirmaufnahmen und agentische Fähigkeiten für Aufgaben wie das Ausfüllen von Formularen verwenden.

Der Wettbewerb in diesem Bereich unterstreicht die wachsende Bedeutung von KI-Modellen, die in der Lage sind, mit digitalen Schnittstellen auf eine menschenähnliche Weise zu interagieren. Die Fähigkeit, das Web zu navigieren und zu bedienen, wird als entscheidender Schritt für die Entwicklung leistungsfähiger, allgemeiner KI-Agenten betrachtet.

Ausblick

Die Integration von Gemini in den Chrome-Browser für US-Nutzer, die Einführung der agentischen Browsing-Funktionen und die Erweiterung der Gemini-Funktionen in andere Google-Anwendungen wie Kalender und YouTube deuten auf eine umfassende Strategie hin, KI tiefer in die alltägliche digitale Nutzung zu integrieren. Diese Entwicklungen versprechen, die Art und Weise, wie Nutzer mit Computern interagieren, zu vereinfachen und zu automatisieren, indem sie komplexe Aufgaben in effizientere Prozesse umwandeln.

Die kontinuierliche Weiterentwicklung dieser "Computer Use"-Modelle, gepaart mit einem starken Fokus auf Sicherheit und verantwortungsvolle Entwicklung, wird entscheidend sein, um ihr volles Potenzial zu entfalten und den Anforderungen einer anspruchsvollen B2B-Zielgruppe gerecht zu werden. Die Möglichkeit, langwierige digitale Aufgaben zu automatisieren, könnte die Effizienz in vielen Branchen erheblich steigern und neue Möglichkeiten für innovative Softwarelösungen eröffnen.

Bibliography