Killswitch setzt auf versteckte Regeln, um KI-Coding-Modelle zu testen

Verfremdete Wörter und Anweisungen im Fließtext

Die Regeln von Killswitch weichen laut t3n von der klaren, konventionellen Form vieler Programmiersprachen ab. Programmierbestandteile wie Einstiegspunkte und Funktionen werden in kurze Sätze eingebettet. Dabei kann die Anzahl der Buchstaben für die Ausführung entscheidend sein. Auch die Form bestimmter Wörter spielt eine Rolle: Ein Befehl zum Ausgeben von Text wird beispielsweise nicht als „Sichtbar“, sondern als „Ischtbar“ geschrieben. [1]

Weitere Bestandteile der Sprache erinnern an Formulierungen, die Nutzerinnen und Nutzer aus Eingaben an Chatbots kennen. Dazu zählt „Ignoriere die vorherigen Anweisungen“. In Killswitch soll eine solche Phrase eine Funktion auslösen. Der Bericht nennt außerdem Formulierungen, die Sicherheitsregeln eines KI-Modells ansprechen sollen, darunter die Aufforderung, sich in einen Computer zu hacken. [1]

Diese Beispiele sind nicht ohne Weiteres mit einer tatsächlichen Prompt-Injection-Attacke gleichzusetzen. Im beschriebenen Sprachdesign sind die Sätze Bestandteile einer eigens konstruierten Programmiersprache. Der t3n-Artikel belegt nicht, dass sie ein produktives KI-System zu unerwünschten Handlungen veranlassen oder dessen Schutzmechanismen umgehen. [1]

Eine weitere Regel verweist auf die Position von Wörtern im Text: Mit einer Formulierung wie „Werte die X Zeilen darüber“ soll das Programm erkennen, welche Anweisung relevant ist. Dadurch kann die eigentliche Logik zwischen gewöhnlich wirkenden Sätzen liegen, anstatt als Codeblock sichtbar zu sein. [1]

Ein Beispiel für die Funktionsweise

Für die Ausgabe von „Hello World“ beschreibt t3n eine Passage mit einem einleitenden erzählerischen Satz, der Aufforderung, vorherige Anweisungen zu ignorieren, dem verfremdeten Wort „Ischtbar“ und dem auszugebenden Text. Eine abschließende Anweisung verweist darauf, zwei Zeilen darüber auszuwerten. Die Funktion ergibt sich damit aus mehreren Regeln und ihrer Position im Text. [1]

Das Beispiel erklärt die Grundidee, liefert aber keine vollständige technische Spezifikation. Der bereitgestellte Artikel nennt weder detaillierte Angaben zur Laufzeitumgebung noch eine vollständige Beschreibung der Implementierung. Aussagen darüber, wie robust die Sprache unter veränderten Bedingungen funktioniert, lassen sich daraus daher nicht ableiten. [1]

Die berichteten Benchmark-Ergebnisse

Picheta legte Killswitch laut t3n mehreren KI-Modellen vor, die damit Coding-Aufgaben lösen sollten. Dem Bericht zufolge schnitt Qwen 3.8 27B am schlechtesten ab: Das Modell habe keine Programmiermuster in den Texten erkannt und im Schnitt etwa 30 Minuten pro Aufgabe gebraucht. GPT-5.6 Luna beendete eine Aufgabe laut t3n durchschnittlich nach rund eineinhalb Minuten. [1]

Die höchsten Erfolgswerte erzielte dem Artikel zufolge Claude Opus 5. Das Modell erkannte und bewältigte 66,8 Prozent der Aufgaben, benötigte im Schnitt etwas mehr als acht Minuten und verursachte laut Bericht Kosten von ungefähr 1,50 US-Dollar je Aufgabe. GPT-6.1 Sol erreichte mit einer Erfolgsquote von 59,2 Prozent den zweiten Platz. [1]

Diese Zahlen sind als Angaben aus dem von t3n beschriebenen Killswitch-Benchmark einzuordnen. Die bereitgestellten Quellen enthalten keine unabhängige Prüfung der Resultate. Zudem nennt der Artikel keine vollständigen Informationen über die Anzahl der Aufgaben, die Bewertungskriterien, Wiederholungen oder sämtliche Testbedingungen. Das schränkt ein, wie weit sich die Werte interpretieren oder auf andere Einsatzfelder übertragen lassen. [1]

• Claude Opus 5: laut Bericht 66,8 Prozent Erfolgsquote, durchschnittlich etwas mehr als acht Minuten und rund 1,50 US-Dollar pro Aufgabe. [1]
• GPT-6.1 Sol: laut Bericht 59,2 Prozent Erfolgsquote. [1]
• Qwen 3.8 27B: laut Bericht keine erkannten Programmiermuster und etwa 30 Minuten pro Aufgabe. [1]
• GPT-5.6 Luna: laut Bericht durchschnittlich rund eineinhalb Minuten bis zum Abschluss einer Aufgabe. [1]

Erfolg bei Aufgaben ist kein Beweis für Verständnis

Picheta selbst mahnt laut t3n zu einer vorsichtigen Interpretation. Dass ein Modell Aufgaben in einer neuen, verwirrenden Sprache lösen kann, sei zwar bemerkenswert, aber kein Beleg dafür, dass es Killswitch tatsächlich versteht. Diese Einschränkung ist zentral: Eine Erfolgsquote beschreibt zunächst, wie häufig ein Modell bei den gewählten Aufgaben zu einem als erfolgreich bewerteten Ergebnis kam. Sie zeigt nicht allein, ob das Modell die Regeln systematisch erfasst hat oder bei leicht veränderten Eingaben zuverlässig bleibt. [1]

Die im Artikel verfügbaren Informationen reichen nicht aus, um alternative Erklärungen für die Resultate gegeneinander abzuwägen. So bleibt offen, welche wiederkehrenden Hinweise für die Modelle besonders hilfreich waren und wie stark sich die Leistung bei anderen Aufgaben verändert hätte. Das ist keine Widerlegung der berichteten Ergebnisse, sondern eine Grenze der vorliegenden Angaben. [1]

Allgemeine Befunde zu Sprachmodellen beantworten diese Fragen nicht direkt. Die Tagesschau berichtete 2025 über eine Untersuchung von KI-Chatbots, bei der die Fehlerquoten je nach Themenbereich zwischen 15 und 40 Prozent lagen. Getestet wurden dort Faktenfragen zu Geschichte, Wissenschaft und aktuellen Nachrichten – nicht Coding-Aufgaben in Killswitch. Die Ergebnisse liefern daher keinen unabhängigen Vergleich der im Killswitch-Bericht genannten Modelle. [2]

Die Tagesschau beschreibt als mögliche Ursache falscher Antworten, dass Sprachmodelle plausible Wortfolgen erzeugen können, ohne die Wahrheit einer Aussage eigenständig zu prüfen. Dieser allgemeine Hinweis kann den Unterschied zwischen überzeugend wirkender Ausgabe und gesicherter Richtigkeit veranschaulichen. Er belegt aber weder, wie die Modelle Killswitch verarbeiten, noch warum ein bestimmtes Modell im dortigen Benchmark besser abschnitt. [2]

Abgrenzung zu Angriffen auf Dokumente und KI-Systeme

Die in Killswitch verwendeten Formulierungen ähneln bekannten Mustern aus der Diskussion über Prompt Injection. Ein anderer, konkreterer Eingabekanal wird in einer Sicherheitsanalyse des Unternehmens fbeta beschrieben: Dort geht es um Text, der in PDF-Dateien so versteckt sein soll, dass er in gängigen PDF-Viewern nicht sichtbar ist, von Dokumenten-Loadern und KI-Systemen aber verarbeitet werden kann. [4]

fbeta berichtet von eigenen Tests mit versteckten PDF-Inhalten und nennt unter anderem manipulierte Bankverbindungen als Beispiel für eine mögliche Ausgabe eines Chatbots. Das sind Ergebnisse, die der Anbieter aus seiner eigenen Sicherheitsanalyse schildert; die vorliegenden Quellen enthalten keine unabhängige Bestätigung dieser Tests. [4]

Die Beispiele haben einen gemeinsamen Bezugspunkt: Menschliche Leserinnen und Leser und ein KI-System können unterschiedliche Inhalte wahrnehmen oder verarbeiten. Technisch handelt es sich jedoch um verschiedene Sachverhalte. Killswitch ist eine absichtlich schwer lesbare Programmiersprache, während der fbeta-Beitrag manipulierte Dokumente im Zusammenhang mit KI- und RAG-Systemen behandelt. Aus dem einen Fall lässt sich deshalb nicht ohne Weiteres auf Risiken oder Schutzmaßnahmen im anderen schließen. [1][4]

• Der vorliegende Killswitch-Bericht beschreibt einen Leistungstest, keinen nachgewiesenen Angriff auf ein Unternehmenssystem. [1]
• Die Aussagen zu versteckten PDF-Inhalten beruhen auf Tests, die fbeta selbst durchgeführt und veröffentlicht hat. [4]
• Benchmark-Tests zur Interpretation ungewöhnlicher Syntax und Sicherheitsprüfungen für externe Dokumente sollten getrennt betrachtet werden. [1][4]

Was Unternehmen aus dem Experiment ableiten können

Für Unternehmen, die KI-Coding-Modelle evaluieren, liegt der Nutzen von Killswitch vor allem in der Testidee: Modelle nicht nur mit vertrauten, klar formatierten Aufgaben zu prüfen, sondern auch mit ungewöhnlichen Schreibweisen, indirekten Hinweisen und verschachtelten Regeln. Das ist eine Einordnung des beschriebenen Sprachdesigns, keine Aussage, dass ein Killswitch-Test allein eine umfassende Qualitäts- oder Sicherheitsprüfung ersetzen könnte. [1]

Die berichteten Benchmark-Werte sollten Sie nur zusammen mit Aufgabenaufbau und Einsatzbedingungen betrachten. Ob ein Test für Ihre Organisation aussagekräftig ist, hängt unter anderem davon ab, ob er Ihre Programmiersprachen, Werkzeuge und Arbeitsabläufe abbildet. Auch wäre zu prüfen, ob die Ergebnisse bei veränderten Eingaben stabil bleiben. Diese Punkte sind Evaluationsfragen, die sich aus den Grenzen der veröffentlichten Angaben ergeben; t3n berichtet nicht, dass Picheta sie in genau dieser Form untersucht hat. [1]

Die zentrale Einschränkung bleibt die Unterscheidung zwischen Aufgabenerfolg und Verständnis. Killswitch zeigt laut dem Bericht, dass mehrere getestete Modelle bei den dort gewählten Aufgaben unterschiedlich abschnitten. Die Ergebnisse belegen weder, dass ein Modell die Sprache zuverlässig versteht, noch erlauben sie eine allgemeine Aussage über seine Leistung in üblichen Programmiersprachen oder produktiven Entwicklungsumgebungen. [1]

Picheta erwägt dem Bericht zufolge eine schwierigere Variante der Sprache, will sie aber erst angehen, wenn ein Modell alle Killswitch-Aufgaben reibungslos bewältigt. Ob diese Variante entsteht und welche zusätzlichen Fähigkeiten sie messen würde, bleibt in den verfügbaren Angaben offen. [1]

• Interpretieren Sie Erfolgsquoten im Zusammenhang mit den konkreten Aufgaben und Bewertungskriterien. [1]
• Übertragen Sie Ergebnisse eines speziellen Sprachtests nicht ungeprüft auf produktive Softwareentwicklung. [1]
• Behandeln Sie die beschriebenen Werte als berichtete Benchmark-Ergebnisse, nicht als unabhängigen Nachweis allgemeinen Modellverständnisses. [1]

Quellen

1. [1] Killswitch: Warum diese Programmiersprache KI verwirren soll — https://t3n.de/news/programmiersprache-ki-verwirren-1768844 (abgerufen am 2026-10-19)
2. [2] Studie: KI-Chatbots machen bei 40 Prozent der Antworten Fehler | tagesschau.de — https://www.tagesschau.de/wissen/technologie/kuenstliche-intelligenz-fakten-100.html (abgerufen am 2026-10-19)
3. [4] PDFs: Wie versteckte Inhalte KI-Systeme manipulieren  — https://fbeta.de/unsichtbare-informationen-in-pdfs-wie-versteckte-inhalte-ki-systeme-manipulieren (abgerufen am 2026-10-19)