Änderungen in der Zugriffsregelung für KI-Crawler ab September 2023

Die Landschaft der Web-Crawler und die Art und Weise, wie künstliche Intelligenz (KI) auf Webinhalte zugreift, unterliegen einem signifikanten Wandel. Insbesondere die jüngsten Ankündigungen von Cloudflare signalisieren eine neue Ära, in der AI-Agent-Crawler zukünftig explizite Genehmigungen benötigen könnten, um auf bestimmte Webressourcen zuzugreifen. Diese Entwicklung hat weitreichende Implikationen für Unternehmen, die auf Webdaten für ihre KI-Modelle angewiesen sind, sowie für Webseitenbetreiber, die ihre Inhalte schützen und monetarisieren möchten.

Die Neudefinition des Zugriffs: Cloudflares Kategorisierung

Am 1. Juli kündigte Cloudflare eine grundlegende Änderung in der Handhabung von KI-Bots an. Bisher gab es eine einfache Option zum Blockieren von KI-Bots. Diese wurde nun durch eine differenziertere Kategorisierung ersetzt, die ab dem 15. September standardmäßig wirksam wird. Diese Kategorisierung unterteilt Bots in drei Haupttypen:

Search-Bots

Diese Bots sind darauf ausgelegt, Webseiten zu indexieren, um später Fragen dazu zu beantworten. Sie sind traditionell für Suchmaschinen wie Google von entscheidender Bedeutung und werden weiterhin standardmäßig zugelassen bleiben.

Agent-Bots

Hierbei handelt es sich um automatisierte Systeme, die in Echtzeit im Auftrag eines Benutzers agieren. Beispiele hierfür sind der Fetch-Bot von ChatGPT und browsergesteuerte Agenten. Diese Bots rufen Seiten ab, um sofortige Antworten zu liefern.

Training-Bots

Diese Crawler ziehen Inhalte von Webseiten, um KI-Modelle zu trainieren und deren Gewichte zu aktualisieren. Sie sammeln große Mengen an Daten, um die Fähigkeiten der KI zu verbessern.

Die neuen Kontrollen wurden am 1. Juli für alle Cloudflare-Kunden, einschließlich des kostenlosen Tarifs, aktiviert. Ab dem 15. September ändern sich die Standardeinstellungen: Training- und Agent-Bots werden auf Seiten, die Werbung anzeigen, standardmäßig blockiert, während Search-Bots weiterhin zugelassen sind. Diese neuen Standardeinstellungen gelten für neu onboardende Domains, neue Websites bestehender Kunden und alle bestehenden Kunden mit kostenlosen Tarifen.

Warum werbefinanzierte Seiten betroffen sind

Die Logik hinter Cloudflares Entscheidung ist, dass Werbung auf einer Seite ein Indiz dafür ist, dass diese Seite für menschliche Besucher konzipiert wurde. Ein Search-Crawler, der einen Leser zurückschickt, generiert Traffic und potenzielle Einnahmen. Ein Bot, der die Seite liest und die Antwort an jemand anderen weitergibt, generiert jedoch keinen direkten Wert für den Publisher. Dies führt zu einer Asymmetrie im Werttransfer, die Cloudflare korrigieren möchte.

Ad-unterstützte Seiten sind oft genau die Ressourcen, die KI-Agenten benötigen, da dort aktuelle Nachrichten, Bewertungen, Preisinformationen und Produktdetails zu finden sind. Ein Block auf diesen Seiten könnte dazu führen, dass Unternehmensagenten entweder schweigen oder Antworten auf der Grundlage von unvollständigen oder veralteten Daten liefern.

Die Google-Komplikation

Eine besondere Herausforderung stellt Googlebot dar, der sowohl für Such- als auch für Trainingszwecke in einem einzigen Bot crawlt. Unter den restriktivsten Regeln würde eine Website, die Training-Bots blockiert, auch Googlebot blockieren und damit ihre Sichtbarkeit in der Google-Suche beeinträchtigen. Cloudflare-CEO Matthew Prince äußerte die Hoffnung, dass diese Änderungen "gemischte Crawler dazu ermutigen werden, die Suchfunktion von der Agenten- und Trainingsnutzung zu trennen". Dies deutet darauf hin, dass der Druck auf Anbieter wie Google, ihre Crawler zu differenzieren, ein beabsichtigter Nebeneffekt ist.

Handlungsbedarf für Unternehmen und Webseitenbetreiber

Für Unternehmen, die KI-Agenten einsetzen, ist es entscheidend, proaktiv zu handeln. Zunächst sollte ermittelt werden, welche ihrer Cloudflare-Konten als Agent-Klasse eingestuft werden. Die Klassifizierung erfolgt verhaltensbasiert, nicht durch eine explizite Opt-in-Option. Ein Forschungsagent, der in Echtzeit browsed, fällt unter diese Kategorie, unabhängig davon, wie sein Betreiber ihn bezeichnet.

Es ist zu erwarten, dass es eher zu einer verminderten Datenabdeckung als zu einem vollständigen Ausfall kommt, da der Block nur werbefinanzierte Seiten betrifft und andere Inhalte weiterhin zugänglich lässt. Der Weg zur Lösung liegt hier im geregelten Zugang, nicht in der Manipulation von User-Agent-Strings.

Webseitenbetreiber haben ebenfalls eine Aufgabenliste abzuarbeiten:

- Überprüfen Sie zuerst Ihren Cloudflare-Tarif, da bestehende Kunden mit kostenlosem Tarif automatisch auf die neuen Standardeinstellungen umgestellt werden. - Entscheiden Sie, ob das Blockieren von Training-Bots die potenziellen Kosten wert ist, da dies auch Googlebot und damit Ihre Suchsichtbarkeit beeinträchtigen könnte.

Die Ökonomie des Crawlings: Pay Per Crawl wird Pay Per Use

Ein vielversprechender Ansatz zur Lösung des Wertproblems ist die Entwicklung von "Pay Per Use"-Modellen. Unternehmen wie Ceramic.ai vergüten Publisher, wenn deren Inhalte in KI-Suchergebnissen erscheinen, und You.com zahlt, wenn ein Agent auf Premium-Inhalte zugreift. Cloudflare gibt an, dass über die Hälfte des KI-Crawler-Traffics darauf entfällt, Seiten erneut abzurufen, die sich nicht geändert haben. Dies weist auf eine Ineffizienz hin, die durch eine monetäre Bewertung behoben werden könnte.

Diese Entwicklung markiert die erste Runde in einem umfassenderen Kampf um die Monetarisierung von Inhalten im Zeitalter der KI. Die Antwort könnte in einer fairen Vergütung liegen, anstatt in undurchdringlichen Barrieren.

Herausforderungen der Taxonomie

Eine Schwäche der neuen Klassifizierung liegt in der Selbstdeklaration. "Search", "Agent" und "Training" sind Verhaltensweisen, die KI-Unternehmen ihren eigenen Bots zuschreiben. Ein Unternehmen, das nicht möchte, dass sein Trainingslauf als Training eingestuft wird, hat einen offensichtlichen Anreiz, dies zu umgehen. Die Ankündigung von Cloudflare erklärt nicht, wie dies verhindert werden soll.

Der Zugang zum offenen Web war dreißig Jahre lang frei und unbegrenzt. Nun wird die Rechnung detailliert aufgeschlüsselt. Agentenentwickler, die ihren Zugang vor September klären, stehen vor einem lösbaren Problem. Diejenigen, die erst durch eine 403-Fehlermeldung davon erfahren, müssen ihre Systeme unter Zeitdruck anpassen.

Diese Veränderungen stellen eine wichtige Entwicklung im Bereich der Web-Interaktion und der KI-Nutzung dar. Sie erfordern von allen Beteiligten eine sorgfältige Analyse und Anpassung ihrer Strategien, um die Vorteile der KI weiterhin nutzen zu können, während gleichzeitig die Rechte der Inhalteanbieter gewahrt bleiben.

Bibliographie

- AIPulse4U. (2026, 13. Juli). AI agent crawlers now need permission. Here's how to get it [Video]. YouTube. - Chudi.dev. (2026, 28. Mai). Cloudflare Will Block AI Crawlers by Default on September 15: What Site Owners Need to Do Now. - Harvey, G. (2026, 6. Juli). Cloudflare draws an AI bot line. The Neuron Daily. - Is My Brand in AI. (2026, 14. Juni). How to Allow AI Crawlers to Access Your Site (robots.txt Guide). - Kaur, D. (2026, 13. Juli). AI agent crawlers now need permission. Here’s how to get it. Artificial Intelligence News. - Physical AI News. (2026, 13. Juli). AI agent crawlers now need permission. Here’s how to get it. - prodSens.live. (2026, 13. Juli). AI agent crawlers now need permission. Here’s how to get it. - The Business Economic. (2026, 13. Juli). AI agent crawlers now need permission. Here’s how to get it. - Winzheng. (2026, 13. Juli). AI agent crawlers now need permission. Here’s how to get it. - Wiszniewski, P. (2026, 6. Juli). AI Crawlers & robots.txt — Access Control (2026). Wiszniewsky.