Neues Bug-Bounty-Programm von Google zur Stärkung der KI-Sicherheit

Googles Engagement für KI-Sicherheit: Ein neues Bug-Bounty-Programm

In einer zunehmend von künstlicher Intelligenz geprägten Technologielandschaft rückt die Sicherheit von KI-Systemen verstärkt in den Fokus. Google hat diesen Bedarf erkannt und ein spezialisiertes Bug-Bounty-Programm ins Leben gerufen, das sich ausschließlich auf Schwachstellen in seinen KI-Produkten konzentriert. Diese Initiative baut auf den Erfahrungen eines früheren Programms auf, das KI-Themen in das bestehende "Abuse Vulnerability Reward Program" (VRP) integrierte und bereits beachtliche Erfolge verzeichnete.

Historie und Expansion des VRP für KI

Bereits vor der Einführung des eigenständigen Programms hatte Google sein VRP um KI-Produkte erweitert. In dieser Phase konnten externe Forscher für das Melden von KI-bezogenen Schwachstellen Prämien von über 430.000 US-Dollar erhalten. Dies verdeutlichte nicht nur das wachsende Interesse der Sicherheitsgemeinschaft an diesem Bereich, sondern auch die Notwendigkeit einer fokussierten Herangehensweise, um die komplexen Herausforderungen der KI-Sicherheit zu adressieren.

Die Entscheidung, ein separates Bug-Bounty-Programm für KI zu etablieren, signalisiert eine Vertiefung dieses Engagements. Es ermöglicht Google, die Anforderungen und Belohnungsstrukturen präziser auf die spezifischen Eigenheiten von KI-Systemen zuzuschneiden und damit die Effizienz bei der Entdeckung und Behebung von Fehlern weiter zu steigern.

Qualifizierende Schwachstellen und Prämienstruktur

Das neue Programm definiert klar, welche Arten von Fehlern prämiert werden. Es geht über das einfache "Halluzinieren" einer KI oder das Hervorrufen unerwünschter, aber harmloser Reaktionen hinaus. Stattdessen liegt der Fokus auf Schwachstellen, die reale Sicherheitsrisiken darstellen und zu unerwünschten Aktionen oder Datenkompromittierungen führen können. Beispiele hierfür sind:

• Prompt-Injektionen: Diese müssen unsichtbar für den angegriffenen Nutzer sein und den Status des Kontos oder verbundener Produkte verändern.
• Unautorisierte Kontoänderungen: Fehler, die es einem Angreifer ermöglichen, Konten oder Daten zu manipulieren, um die Sicherheit zu untergraben oder unerwünschte Aktionen auszulösen (z.B. die Steuerung von Smart-Home-Geräten über manipulierte Kalendereinträge).
• Cross-User-Angriffe: Schwachstellen, die es ermöglichen, Daten über verschiedene Nutzerkonten hinweg offenzulegen oder Zugriffskontrollen zu umgehen.

Nicht qualifiziert sind hingegen:

- Jailbreaks oder Umgehungen von Content-Filtern, die lediglich zu unpassenden oder "toxischen" Ausgaben führen, ohne einen direkten Sicherheitsvorfall darzustellen. - KI-Halluzinationen, bei denen die KI falsche Informationen generiert, da diese oft schwer konsistent zu reproduzieren und zu objektivieren sind. - Probleme in Google Cloud-Produkten oder Vertex AI, die über das separate Google Cloud VRP gemeldet werden sollten.

Die Prämien für anerkannte Berichte bewegen sich typischerweise zwischen 500 und 20.000 US-Dollar, abhängig von Schweregrad und Auswirkungen der Schwachstelle. Für besonders neuartige Angriffswege oder originelle Forschung kann ein "Neuheitsbonus" von bis zu 10.000 US-Dollar gewährt werden, wodurch die maximale Auszahlung für einen einzelnen, bahnbrechenden Fehlerbericht bis zu 30.000 US-Dollar erreichen kann.

Betroffene Produkte und die Bedeutung für B2B-Anwendungen

Das Programm konzentriert sich auf die Flaggschiff-KI-Produkte von Google, die eine breite Palette von Endnutzern und Unternehmenskunden betreffen:

• Gemini: Googles KI-Modell, das in verschiedenen Anwendungen integriert ist.
• Google-Suche: Insbesondere generative Funktionen, die KI-gestützt sind.
• AI Studio: Entwicklertools für KI-Anwendungen.
• Workspace-Anwendungen: KI-gesteuerte Funktionen in Gmail, Drive und anderen Produktivitätstools.

Für Mindverse-Kunden, die auf KI-Lösungen für Content-Erstellung, Bildgenerierung, Forschung und weitere Geschäftsprozesse setzen, ist die Sicherheit dieser Basistechnologien von entscheidender Bedeutung. Schwachstellen in grundlegenden KI-Systemen können weitreichende Auswirkungen auf die Integrität von Daten, die Zuverlässigkeit von generierten Inhalten und die Sicherheit von Betriebsabläufen haben. Die Investition Googles in ein solches Bug-Bounty-Programm trägt somit indirekt zur Stärkung des Vertrauens in die gesamte KI-Infrastruktur bei, auf der auch spezialisierte Tools wie Mindverse aufbauen.

CodeMender: Ein proaktiver Ansatz zur Code-Sicherheit

Ergänzend zum Bug-Bounty-Programm hat Googles DeepMind einen KI-Agenten namens "CodeMender" vorgestellt. Dieser Agent soll anfälligen Code proaktiv identifizieren und patchen. Laut Google hat CodeMender in den letzten sechs Monaten bereits 72 Sicherheitskorrekturen in Open-Source-Projekte eingebracht, darunter auch in sehr umfangreiche Codebasen. Die Fähigkeit von CodeMender, bestehenden Code umzuschreiben, um sicherere Datenstrukturen und APIs zu verwenden, stellt einen wichtigen Schritt in Richtung automatisierter Code-Sicherheit dar und ergänzt die reaktive Natur von Bug-Bounty-Programmen um eine proaktive Komponente.

Fazit und Ausblick

Das neue KI-Bug-Bounty-Programm von Google ist ein klares Zeichen für die wachsende Bedeutung der Sicherheit im Bereich der künstlichen Intelligenz. Durch die Einbeziehung einer globalen Gemeinschaft von Sicherheitsforschern als "Frühwarnsystem" und die Bereitstellung attraktiver Prämien beschleunigt Google den Prozess der Identifizierung und Behebung kritischer Schwachstellen. Dies ist ein entscheidender Faktor für die Akzeptanz und das Vertrauen in KI-Technologien, insbesondere im B2B-Sektor, wo Datensicherheit und Systemintegrität oberste Priorität haben. Die parallel dazu entwickelten proaktiven Tools wie CodeMender verdeutlichen, dass der Kampf um sichere KI-Systeme auf mehreren Ebenen geführt wird – reaktiv durch Belohnungsprogramme und proaktiv durch intelligente Automatisierung.

Bibliographie

- Google Security Blog. (2024, März). Vulnerability Reward Program 2023 Year in Review. Verfügbar unter: https://security.googleblog.com/2024/03/vulnerability-reward-program-2023-year.html - Google Security Blog. (2024, Juni). Virtual Escape, Real Reward: Introducing our new V8CTF. Verfügbar unter: https://security.googleblog.com/2024/06/virtual-escape-real-reward-introducing.html - Google Security Blog. (2023, Oktober). Google’s reward criteria for reporting vulnerabilities in open source software. Verfügbar unter: https://security.googleblog.com/2023/10/googles-reward-criteria-for-reporting.html - Google Bug Hunters. (n.d.). Announcing Google’s new AI Vulnerability Reward Program. Verfügbar unter: https://bughunters.google.com/blog/6116887259840512/announcing-google-s-new-ai-vulnerability-reward-program - Google Bug Hunters. (n.d.). AI Vulnerability Reward Program Rules. Verfügbar unter: https://bughunters.google.com/about/rules/google-friends/5222232590712832/ai-vulnerability-reward-program-rules - DeepMind Blog. (n.d.). Introducing CodeMender: An AI agent for code security. Verfügbar unter: https://deepmind.google/discover/blog/introducing-codemender-an-ai-agent-for-code-security/ - FindArticles. (n.d.). Google Offers Up to $30,000 for AI Bug Reports. Verfügbar unter: https://www.findarticles.com/google-offers-up-to-30000-for-ai-bug-reports/ - 7Defence. (n.d.). Earn up to $30,000! Google Launches Bug Bounty Program for Android App Vulnerabilities. Verfügbar unter: https://7defence.com/earn-up-to-30000-google-launches-bug-bounty-program-for-android-app-vulnerabilities/ - t3n.de. (n.d.). ChatGPT Bug-Bounty-Programm: Bis zu 20.000 Dollar für Fehler. Verfügbar unter: https://t3n.de/news/chatgpt-bug-bounty-programm-20-000-dollar-fehler-1546671/