Microsofts Analyse der Sicherheitsanfälligkeiten von KI-Tools und deren Auswirkungen

Microsofts Sicherheitsüberprüfung von KI-Tools: Einfache Angriffe, große Wirkung

Microsofts KI-Sicherheitsteam hat seit 2021 über 100 generative KI-Produkte auf Schwachstellen und ethische Bedenken geprüft. Die Ergebnisse stellen gängige Annahmen über KI-Sicherheit in Frage und unterstreichen die Bedeutung menschlicher Expertise.

Es zeigt sich, dass die effektivsten Angriffe nicht immer die komplexesten sind. "Echte Hacker berechnen keine Gradienten, sie nutzen Prompt Engineering", heißt es in einer von Microsoft zitierten Studie, die KI-Sicherheitsforschung mit der Praxis vergleicht. In einem Test gelang es dem Team, die Sicherheitsfunktionen eines Bildgenerators zu umgehen, indem schädliche Anweisungen im Bildtext versteckt wurden – komplexe Mathematik war nicht erforderlich.

Der Mensch bleibt unerlässlich

Microsoft hat zwar mit PyRIT ein Open-Source-Tool zur Automatisierung von Sicherheitstests entwickelt, betont aber, dass menschliches Urteilsvermögen unersetzlich ist. Dies wurde besonders deutlich bei Tests zum Umgang von Chatbots mit sensiblen Situationen, wie Gesprächen mit emotional belasteten Personen. Die Bewertung solcher Szenarien erfordert sowohl psychologisches Fachwissen als auch ein tiefes Verständnis der potenziellen Auswirkungen auf die psychische Gesundheit.

Auch bei der Untersuchung von KI-Voreingenommenheit (Bias) stützte sich das Team auf menschliche Erkenntnisse. In einem Beispiel untersuchten sie Geschlechterverzerrungen in einem Bildgenerator, indem sie Bilder verschiedener Berufe ohne Geschlechtsangabe erstellen ließen.

Neue Sicherheitsherausforderungen entstehen

Die Integration von KI in alltägliche Anwendungen hat neue Schwachstellen geschaffen. In einem Test gelang es dem Team, ein Sprachmodell so zu manipulieren, dass es überzeugende Betrugsszenarien entwarf. In Kombination mit Text-to-Speech-Technologie entstand ein System, das auf gefährlich realistische Weise mit Menschen interagieren konnte.

Die Risiken beschränken sich nicht nur auf KI-spezifische Probleme. Das Team entdeckte auch eine traditionelle Sicherheitslücke (SSRF) in einem KI-Videoverarbeitungstool, was zeigt, dass diese Systeme sowohl alten als auch neuen Sicherheitsherausforderungen gegenüberstehen.

Kontinuierlicher Sicherheitsbedarf

Die Forschung legte besonderes Augenmerk auf Risiken im Bereich "Responsible AI" – Fälle, in denen KI-Systeme schädliche oder ethisch fragwürdige Inhalte generieren könnten. Diese Probleme sind besonders schwierig zu lösen, da sie oft stark vom Kontext und der individuellen Interpretation abhängen.

Das Microsoft-Team stellte fest, dass die unbeabsichtigte Exposition regulärer Nutzer gegenüber problematischen Inhalten besorgniserregender sein kann als gezielte Angriffe. Dies deutet darauf hin, dass die Sicherheitsmaßnahmen im normalen Gebrauch nicht wie vorgesehen funktionieren.

Die Ergebnisse verdeutlichen, dass KI-Sicherheit keine einmalige Angelegenheit ist. Microsoft empfiehlt einen kontinuierlichen Zyklus aus dem Auffinden und Beheben von Schwachstellen, gefolgt von weiteren Tests. Dies sollte durch Regulierungen und finanzielle Anreize unterstützt werden, die erfolgreiche Angriffe kostspieliger machen.

Offene Fragen

Laut dem Team bleiben einige Schlüsselfragen offen: Wie können potenziell gefährliche KI-Fähigkeiten wie Überzeugung und Täuschung erkannt und kontrolliert werden? Wie werden Sicherheitstests an verschiedene Sprachen und Kulturen angepasst? Und wie können Unternehmen ihre Methoden und Ergebnisse standardisiert austauschen?

Bibliographie https://the-decoder.com/microsoft-tested-100-ai-tools-and-found-hackers-dont-need-complex-math-to-break-them/ https://news.ycombinator.com/item?id=38386487 https://www.nytimes.com/2023/02/16/technology/bing-chatbot-microsoft-chatgpt.html https://news.microsoft.com/source/features/ai/safeguarding-ai-against-jailbreaks-and-other-prompt-attacks/ https://news.slashdot.org/story/24/08/13/2031213/companies-prepare-to-fight-quantum-hackers https://www.reddit.com/r/ChatGPT/comments/113u29k/bing_asks_me_to_hack_microsoft_to_set_it_free/ https://m.slashdot.org/story/302525 https://www.youtube.com/watch?v=ctxLguT0pMQ http://www.antipope.org/charlie/blog-static/2024/06/is-microsoft-trying-to-commit-.html https://www.geeksforgeeks.org/how-to-use-chatgpt-4-for-free/