KI-Prognosen in der Polizeiarbeit können historische Verzerrungen verstärken

Auch die Zielgröße entscheidet über das Ergebnis

Verzerrungen entstehen nicht allein durch die Auswahl der Trainingsdaten. Auch die Frage, was ein System eigentlich vorhersagen soll, kann das Ergebnis prägen. Die BBC führt dazu eine Studie aus dem Gesundheitswesen von 2019 an: Ein System sollte bestimmen, welche Patientinnen und Patienten zusätzliche Unterstützung erhalten sollten, und nutzte dafür die erwarteten Versorgungskosten als Maß für den Bedarf. Da für schwarze Patientinnen und Patienten bei vergleichbarem Krankheitszustand zuvor weniger ausgegeben worden war, wurden sie dadurch benachteiligt. [1]

Als die Forschenden stattdessen den Krankheitszustand vorhersagen ließen, sei die Verzerrung laut BBC weitgehend verschwunden. Der Anteil schwarzer Patientinnen und Patienten, die für zusätzliche Hilfe ausgewählt worden wären, hätte sich demnach von etwa 18 auf 47 Prozent erhöht. Das Beispiel stammt aus dem Gesundheitswesen und belegt nicht unmittelbar einen bestimmten Effekt in der Polizeiarbeit. Es zeigt jedoch, dass ein technisch korrekt berechneter Zielwert ungeeignet sein kann, wenn er nur indirekt das misst, worauf eine Entscheidung eigentlich abzielen soll. [1]

Auf die Polizeiarbeit übertragen heißt das als Analyse: Eine Behörde sollte prüfen, ob ein System tatsächliche Gefahren oder lediglich bereits dokumentierte Polizeikontakte, Kontrollen und Festnahmen abbildet. Wird ein historischer Kontaktwert als Risiko interpretiert, können frühere Einsatzentscheidungen in eine neue Einstufung eingehen. Das Risiko hängt somit sowohl von der Datenherkunft als auch von der gewählten Zielgröße ab. [1] [2]

Der Streitpunkt: unvermeidlicher Bias oder prüfbares Risiko?

Die Einschätzungen der im BBC-Beitrag zitierten Forschenden unterscheiden sich in der Gewichtung. Carolyn McKay von der University of Sydney fordert menschliche Aufsicht und eine Prüfung der von Polizeibehörden verwendeten Daten. Sie warnt, dass Systeme auf bereits verzerrten Informationen aufbauen und so selbstverstärkende Muster erzeugen können. [1]

Dimitrios Kollias von der Queen Mary University of London hält die Analogie einer aus alten Karten kopierenden KI nur begrenzt für treffend: Moderne Systeme würden Trainingsbeispiele nicht einfach abrufen, sondern könnten Informationen neu kombinieren. Gerade mit wachsender Fähigkeit zu eigenständigen Entscheidungen müsse ihr Verhalten jedoch sicher, verlässlich und unter wirksamer menschlicher Kontrolle bleiben. Kollias bezeichnet Verzerrungen durch mangelhafte Daten als wichtiges Problem, hält sie aber nicht für zwangsläufig. Als mögliche Gegenmaßnahmen nennt er Tests auf unfaire Ergebnisse, bessere Daten und Zielgrößen sowie Schutzvorkehrungen. [1]

Auch ein Wechsel von personenbezogenen zu ortsbezogenen Vorhersagen löst die Frage nicht automatisch. McKay gibt im BBC-Beitrag zu bedenken, dass Gebiete weiterhin mit ihren Bewohnerinnen und Bewohnern verbunden und übermäßig überwacht oder marginalisiert sein können. Der Fokus auf Straßen statt auf Namen kann demnach zu wenig ändern, wenn die geografischen Markierungen aus jahrelanger Vernachlässigung und intensiver Polizeiarbeit hervorgegangen sind. [1]

Die unterschiedlichen Positionen führen zu einer sachlichen Unterscheidung: Es gibt einen plausiblen und dokumentierten Mechanismus, über den verzerrte Daten in Prognosen und weitere Einsätze eingehen können. Daraus folgt nicht, dass jede KI-Anwendung diskriminierend wirkt oder dass jede technische Gegenmaßnahme wirkungslos wäre. Entscheidend ist, ob ein konkretes System mit geeigneten Daten und Zielen arbeitet und ob seine tatsächlichen Folgen unabhängig überprüft werden. [1] [2]

Wirksamkeit und Kontrolle bleiben offene Fragen

Die Debatte betrifft nicht nur Fairness, sondern auch den Nachweis des Nutzens. Das Brennan Center erklärt, dass unabhängige Untersuchungen zur Wirksamkeit neuer Datenfusionssysteme für die öffentliche Sicherheit rar seien; ob diese Werkzeuge messbar zur Sicherheit beitragen, sei offen. Zugleich verweist es auf frühere prädiktive Programme, bei denen Audits Ungenauigkeiten oder Fehlgebrauch dokumentiert hätten und manche Polizeibehörden die Nutzung daraufhin eingestellt hätten. [2]

Die NAACP fordert in einem eigenen Positionspapier eine Regulierung prädiktiver Polizeisysteme und verweist auf die Gefahr unverhältnismäßiger Überwachung schwarzer Gemeinschaften. Das Papier beruft sich unter anderem auf einen Brief von US-Senatoren, dem zufolge solche Technologien Kriminalität nicht verringerten und die Ungleichbehandlung verstärkten. Diese politische Einschätzung ist von der Aussage des Brennan Center zu unterscheiden, wonach der messbare Sicherheitsbeitrag neuer Datenplattformen bislang offen ist; die vorliegenden Texte belegen keine einheitliche unabhängige Bewertung aller Systeme. [3] [2]

Auch Europol beschreibt in der Zusammenfassung seines Berichts zu KI und Polizeiarbeit Datenverzerrung, Fairness, Datenschutz, Rechenschaftspflicht, Menschenrechte und Diskriminierung als relevante Fragen. Die Seite ordnet diese Themen in den europäischen Regulierungsrahmen ein, liefert in der bereitgestellten Zusammenfassung jedoch keine detaillierten Ergebnisse zu einzelnen Polizeisystemen. [4]

Was eine belastbare Prüfung umfassen sollte

Für den operativen Einsatz reicht es nicht, dass ein Anbieter technische Schutzmaßnahmen oder eine höhere Vorhersageleistung verspricht. Das Brennan Center hebt hervor, dass viele Datenfusionssysteme wenig transparent seien und unabhängige Wirksamkeitsnachweise fehlten. McKay fordert im BBC-Beitrag eine unabhängige Prüfung der verwendeten Daten; Kollias nennt Tests auf unfaire Ergebnisse, verbesserte Daten und menschliche Kontrolle als mögliche Schutzmaßnahmen. [1] [2]

Daraus lässt sich für Beschaffung und Governance eine begrenzte, aber praktische Prüflogik ableiten: Behörden sollten nachvollziehen können, aus welchen Quellen Daten stammen, wie ihre Entstehung geprüft wurde, welches Ergebnis das Modell optimiert und wie die Ausgabe in konkrete Einsatzentscheidungen einfließt. Zudem sollte eine Evaluation prüfen, ob die räumlichen oder personenbezogenen Schwerpunkte nach Einführung des Systems zunehmen. Diese Punkte sind eine Analyse der in den Quellen benannten Risiken, keine dort veröffentlichte verbindliche Prüfnorm. [1] [2]

Menschliche Aufsicht bedeutet dabei mehr als eine formale Freigabe eines automatisch erzeugten Hinweises. Wenn Ergebnisse ohne Kontext oder Erklärung ausgegeben werden, besteht nach Einschätzung des Brennan Center die Gefahr, dass Beamtinnen und Beamte falschen oder irreführenden Schlussfolgerungen folgen. Eine wirksame Kontrolle muss daher auch die Möglichkeit einschließen, eine Empfehlung anhand zusätzlicher Informationen zurückzuweisen und den Grund für die Entscheidung zu dokumentieren. [2]

Schließlich ist auch mehr Kontext nicht automatisch eine Lösung. Im BBC-Beitrag wird vorgeschlagen, bei der Einschätzung eines Gebiets neben Kriminalitätsdaten etwa Vernachlässigung oder fehlende öffentliche Dienste zu berücksichtigen. McKay warnt jedoch, dass ortsbezogene Systeme Bewohnerinnen und Bewohner weiterhin treffen können, wenn die Gebiete übermäßig überwacht oder marginalisiert bleiben. Eine Kontextanreicherung sollte deshalb nicht mit dem Nachweis gleichgesetzt werden, dass eine Anwendung fair ist. [1]

Bedeutung für Behörden und Anbieter

Für öffentliche Auftraggeber liegt die zentrale Herausforderung darin, technische Leistungsversprechen von nachgewiesenem Nutzen und kontrollierbaren Folgen zu trennen. Die Quellen beschreiben Risiken durch verzerrte Ausgangsdaten, unklare Zielgrößen, mangelnde Transparenz und Rückkopplungen; zugleich sehen sie Möglichkeiten, Systeme zu testen und Schutzmaßnahmen einzubauen. Ob diese Maßnahmen im Einzelfall ausreichen, muss anhand des konkreten Einsatzes beurteilt werden. [1] [2]

Für Anbieter bedeutet das analytisch, dass Datenherkunft, Grenzen der Modellinterpretation und Verfahren zur Prüfung möglicher Ungleichbehandlung für die Beschaffung relevant sind. Für Behörden ist entscheidend, nicht nur die Genauigkeit einer Prognose im technischen Sinn zu betrachten, sondern auch, wie sie eingesetzt wird und welche Daten durch die darauf folgenden Maßnahmen entstehen. Andernfalls kann eine scheinbar präzise Vorhersage einen Kreislauf stabilisieren, dessen Ausgangspunkt eine verzerrte polizeiliche Beobachtung war. [1] [2]

Die Forschungslage im bereitgestellten Material begründet daher weder ein pauschales Urteil gegen jede KI in der Polizeiarbeit noch die Annahme, technische Verbesserungen lösten das Problem von selbst. Sie stützt vielmehr eine engere Schlussfolgerung: Wo KI auf historisch geprägte Polizeidaten zugreift und ihre Ausgaben Einsätze beeinflussen, sind unabhängige Prüfung, nachvollziehbare Daten und wirksame menschliche Kontrolle Voraussetzungen für eine verantwortbare Bewertung. [1] [2] [4]

Quellen

1. [1] AI in policing risks deepening discrimination, research warns — https://www.bbc.com/news/articles/ckpdg4pl7pgvo (abgerufen am 2026-10-25)
2. [2] The Dangers of Unregulated AI in Policing | Brennan Center for Justice — https://www.brennancenter.org/our-work/research-reports/dangers-unregulated-ai-policing (abgerufen am 2026-10-25)
3. [3] Artificial Intelligence in Predictive Policing Issue Brief | NAACP — https://naacp.org/resources/artificial-intelligence-predictive-policing-issue-brief (abgerufen am 2026-10-25)
4. [4] AI and policing - The benefits and challenges of artificial intelligence for law enforcement | Europol — https://www.europol.europa.eu/publication-events/main-reports/ai-and-policing (abgerufen am 2026-10-25)