Die Einstellung gegen KI-Training soll bei Cloudflare nach dessen Ankündigung auch darüber entscheiden, ob Googlebot eine Website noch abrufen darf.

Erst kostenlos reinschnuppern, dann entscheiden

Bevor du dich für eine Weiterbildung entscheidest, sieh dir kostenlos an, wie sie läuft, fünf Lektionen plus Live-Demo, ohne Verpflichtung. Passt es, ist der Digitalisierungsmanager bei bewilligtem Bildungsgutschein für dich kostenlos.

Kostenlos reinschnuppern

Der Schnupperkurs ist gratis. Ob die Weiterbildung über den Bildungsgutschein gefördert wird, entscheidet die Agentur für Arbeit im Einzelfall.

Search, Agent, Training

In einem Blogbeitrag vom 1. Juli 2026 hat Cloudflare beschrieben, wie das Unternehmen automatisierten KI-Verkehr künftig einordnen will. Unter Search fällt nach dieser Einteilung alles, was Inhalte sammelt oder indexiert, um später Fragen dazu zu beantworten. Website-Betreiber sollen dafür laut Cloudflare Verweis-Besuche oder einen anderen Ausgleich erwarten können. Agent steht für automatisiertes Verhalten, das meist in Echtzeit im Auftrag einer Person etwas erledigt; als Beispiele nennt Cloudflare Chat-Abrufbots wie ChatGPT-User und Browser-Agenten. Training meint einen Crawler, der Inhalte nimmt, um ein Modell zu trainieren oder feinabzustimmen.

Die neuen Einstellungen gelten laut Cloudflare für alle Kunden, auch im kostenlosen Tarif.

Was zum 15. September gelten sollte

Den Stichtag beschreiben Blog und Pressemitteilung vom selben Tag unterschiedlich. Im Blog heißt es, für alle neu zu Cloudflare kommenden Domains würden ab dem 15. September Training und Agent auf Seiten, die Werbung anzeigen, standardmäßig blockiert, Search bleibe standardmäßig erlaubt. Die Pressemitteilung nennt als Kreis neue Kunden und neue Websites bestehender Kunden. Und sie geht weiter: Dieselben Änderungen sollten auch bei allen bestehenden Kunden im kostenlosen Tarif vorgenommen werden, die ihre Einstellungen bis zum 15. September nicht geändert haben.

Ein älteres Konto im kostenlosen Tarif, an dem nie jemand etwas eingestellt hat, wäre also nach der Pressemitteilung erfasst, nach dem Blogbeitrag nicht ausdrücklich.

Ändern lassen sich die Einstellungen laut Cloudflare jederzeit im Dashboard. Was am Stichtag tatsächlich passiert ist, bleibt offen. Cloudflare hatte in der Pressemitteilung angekündigt, die neuen Standardwerte in den zwei Monaten nach dem 1. Juli mit Tests und Rückmeldungen zu finalisieren. Eine gesonderte Bestätigung, dass die Umstellung am 15. September genau so umgesetzt wurde, haben wir bis zum 16. September in Cloudflares Entwickler-Änderungsprotokoll nicht gefunden. Dieser Artikel beschreibt deshalb, was Cloudflare angekündigt hat.

Googlebot zählt für Cloudflare als Mehrzweck-Crawler

Heikel wird die Ankündigung bei Crawlern, die mehrere Zwecke verbinden. Laut Blogbeitrag wollte Cloudflare solche Crawler ab dem 15. September nach allen ihren Verhaltensweisen behandeln, namentlich wenn sie Search und Training verbinden, und jeweils die strengste zutreffende Regel anwenden. Googlebot, Applebot und BingBot nennt Cloudflare ausdrücklich als solche Mehrzweck-Crawler. Sie werden nach der Ankündigung bei Kunden blockiert, die Training blockieren, gleich ob über die neuen Optionen oder über den älteren Dienst „Block AI bots“. Die Pressemitteilung formuliert es etwas anders: Mehrzweck-Crawler, die Website-Betreibern keine Wahl zwischen Search, Agent und Training lassen, würden auf allen Seiten mit Werbung blockiert. Bis zum 15. September sollten Kunden laut Blog in den Sicherheitseinstellungen festlegen können, dass sich an Training-Crawlern mit zusätzlichem Suchzweck nichts ändert.

Was das für die Google-Suche bedeuten kann, ordnet Search Engine Journal in einem Beitrag vom 2. Juli 2026 ein. Eine Sperre bei Cloudflare wirkt demnach auf Netzebene und ist schwerer zu umgehen als eine Zeile in der robots.txt. Verliert Googlebot den Zugang, wird die Website weniger gut gecrawlt, und das kann laut SEJ mit der Zeit die Sichtbarkeit in den Suchergebnissen beeinträchtigen. Die Regel für kombinierte Crawler trifft laut SEJ vor allem Websites, die früher „Block AI bots“ eingeschaltet und seitdem nichts angepasst haben.

Das ist die Einordnung eines Fachmediums. Von Google oder Cloudflare stammt sie nicht, und eine gemessene Wirkung beschreibt keine der Quellen.

Wo sich nachsehen lässt

Die folgenden Prüfschritte sind unsere eigene Empfehlung. Cloudflare und Google haben sie so nicht veröffentlicht.

Wer die ersten beiden Antworten nicht kennt, fragt aus unserer Sicht am besten dort nach, wo die Website eingerichtet wurde, bei der Agentur oder bei dem, der das Cloudflare-Konto angelegt hat.

Unsere Einschätzung

Die Abwägung ist echt. Wer nicht möchte, dass die eigenen Inhalte ins Training eines Modells fließen, hat dafür gute Gründe. Nur hängt an dieser Entscheidung nach Cloudflares Ankündigung mehr als das Training. Wer aber von Besuchern aus der Google-Suche lebt, sollte eine Sperre gegen Training aus unserer Sicht nicht ungeprüft stehen lassen.

Der Fall, um den es aus unserer Sicht geht, ist unauffällig. Eine Agentur oder ein Bekannter hat die Firmenwebsite eingerichtet, irgendwann wurde aus Vorsicht „Block AI bots“ eingeschaltet, und seitdem hat niemand aus dem Betrieb ins Cloudflare-Konto geschaut. Den Kern davon, eine früher gesetzte Sperre ohne spätere Anpassung, nennt auch Search Engine Journal als den Fall, den die Regel für kombinierte Crawler vor allem trifft. Ob eine solche Website nach dem 15. September tatsächlich weniger gut gecrawlt wird, zeigt am ehesten der Blick in die Search Console.

Die Entscheidung, welche Nutzungsart gesperrt wird, gehört aus unserer Sicht in dieselbe Überlegung wie die Frage, wie Betriebe in KI-Antworten überhaupt sichtbar werden.

Solange Cloudflare die Umsetzung nicht gesondert bestätigt, bleibt der 15. September ein angekündigter Stichtag. Was im eigenen Konto eingestellt ist, lässt sich unabhängig davon jederzeit klären.

Quellen

Die genannten Angaben stützen sich auf folgende öffentlich zugängliche Quellen (Stand der Recherche: 16. September 2026):

Häufige Fragen

Was hat Cloudflare am 1. Juli 2026 zu KI-Crawlern angekündigt?

Cloudflare will KI-Verkehr in drei Nutzungsarten ordnen: Search für das Sammeln und Indexieren von Inhalten, um später Fragen dazu zu beantworten, Agent für automatisierte Abrufe im Auftrag einer Person und Training für Crawler, die Inhalte zum Trainieren oder Feinabstimmen von Modellen nehmen. Die neuen Einstellungen gelten laut Cloudflare für alle Kunden, auch im kostenlosen Tarif. Für den 15. September 2026 hatte Cloudflare neue Standardwerte angekündigt.

Warum kann eine Sperre gegen KI-Training auch Googlebot treffen?

Laut Cloudflare-Blog sollten Crawler, die mehrere Zwecke wie Search und Training verbinden, ab dem 15. September nach der strengsten zutreffenden Regel behandelt werden. Googlebot, Applebot und BingBot nennt Cloudflare ausdrücklich als solche Mehrzweck-Crawler, die bei Kunden blockiert werden, die Training blockieren, auch über den älteren Dienst „Block AI bots“. Search Engine Journal ordnet ein, dass ein verlorener Zugang für Googlebot mit der Zeit die Sichtbarkeit in den Suchergebnissen beeinträchtigen kann.

Ist die Umstellung zum 15. September bestätigt?

Eine gesonderte Bestätigung, dass die Umstellung genau so umgesetzt wurde, haben wir bis zum 16. September 2026 in Cloudflares Entwickler-Änderungsprotokoll nicht gefunden. Cloudflare hatte angekündigt, die Standardwerte in den zwei Monaten nach dem 1. Juli mit Tests und Rückmeldungen zu finalisieren. Blog und Pressemitteilung beschreiben den Kreis der Betroffenen zudem unterschiedlich: Der Blog nennt neue Domains, die Pressemitteilung zusätzlich bestehende Kunden im kostenlosen Tarif, die ihre Einstellungen bis zum Stichtag nicht geändert haben.

Was sollte ein Betrieb mit Website jetzt prüfen?

Aus unserer Sicht, ob die Website über Cloudflare läuft, ob dort Training blockiert ist, ob die Seiten Werbung zeigen und ob Googlebot die Seiten laut Google Search Console weiter abrufen kann. Das ist eine eigene Empfehlung, Cloudflare hat sie so nicht veröffentlicht. Die Einstellungen lassen sich laut Cloudflare jederzeit im Dashboard ändern.

Wer im Betrieb weiß, welche Crawler die eigene Website gerade abweist?

Im kostenlosen KI-Schnupperkurs zeigen wir in fünf Lektionen, wie kleine und mittlere Firmen KI im Alltag einsetzen. Tiefer und praxisnah geht es im Vollkurs Digitalisierungsmanager, DEKRA-zertifiziert und förderfähig über den Bildungsgutschein.

Zuletzt aktualisiert: 16. September 2026. Stand der Recherche: 16. September 2026.