Cloudflare schafft Abhilfe beim Spannungsfeld zwischen Suche und KI-Training

Ab heute stehen neue Steuerungsoptionen und empfohlene Einstellungen zur Verfügung, mit denen Publisher und Unternehmen eigenständig festlegen können, wie ihre Inhalte für Suchdienste, KI-Training und KI-Agenten verwendet werden. Bedeutende Crawler, die für mehrere Zwecke eingesetzt werden („Mixed-Use Crawler“) unterstützen diese Vorgaben bereits oder arbeiten an entsprechenden Kontrollmechanismen.

SAN FRANCISCO (Kalifornien), 15. September 2026 — Cloudflare, Inc. (NYSE: NET), der führende Anbieter im Bereich Connectivity Cloud, gab heute die Einführung einer neuen „Accountable“-Kennzeichnung für KI-Crawling bekannt. Gleichzeitig führte Cloudflare „Disallow AI Training“ ein, eine Einstellung, mit der jede Website die Nutzung ihrer Inhalte für das KI-Training untersagen kann, ohne dadurch aus den Suchergebnissen zu verschwinden. Vor elf Wochen erklärte Cloudflare, Websitebetreiber hätten ein Recht auf echte Kontrolle darüber, wie KI ihre Inhalte nutzt, und legte fest, welche Voraussetzungen Crawler-Betreiber erfüllen müssen, um weiterhin Zugriff zu erhalten. Apple, Google und Microsoft sind nun als „Accountable“ gekennzeichnet und haben nachgewiesen, dass sie diese Kriterien erfüllen, oder konkrete Zeitpläne für deren Erfüllung vorgelegt. Andere Mehrzweck-Crawler werden blockiert, sobald Websitebetreiber „Block Training“ einschalten.

Fast dreißig Jahre lang war die Vereinbarung zwischen Crawlern und Websitebetreibern einfach: Sie crawlen die Website und bringen im Gegenzug Besucher. KI hat diese Spielregeln verändert. Mixed-Use-Crawler – also Crawler, die Inhalte sowohl für einen Suchindex als auch für das KI-Training erfassen – machen inzwischen 36,6 % des verifizierten Crawler-Traffics im Cloudflare-Netzwerk aus und bilden damit die mit Abstand größte Kategorie. Die meisten Websitebetreiber möchten weiterhin gefunden werden: Weniger als 1 % blockieren Suchmaschinen-Crawler, während 17 % das KI-Training einschränken. Bis heute bedeutete die Ablehnung des Trainings zugleich, auch auf das Such-Crawling dieser Crawler verzichten zu müssen.

„So machen wir das Internet besser: Wir bewahren die Offenheit, die Suchmaschinen so wertvoll macht, und geben zugleich den Menschen und Unternehmen hinter dem Web echte Kontrolle darüber, wie ihre Arbeit genutzt wird“, sagte Matthew Prince, Mitgründer und CEO von Cloudflare. „Wir freuen uns darauf, den kooperativen Austausch mit Unternehmen wie Apple, Google und Microsoft fortzusetzen und gemeinsam ein gesundes Ökosystem zu schaffen.“

Mixed-Use-Crawler waren die schwierigste Frage im Zusammenhang mit KI-Training. Nun rücken KI-Zusammenfassungen („AI Overviews“) in den Mittelpunkt: Jeder von Cloudflare als „Accountable“ eingestufte Betreiber muss Websitebetreibern ermöglichen, ihre Inhalte von KI-Zusammenfassungen auszuschließen. Aktuell handelt es sich dabei um eine binäre Entscheidung, die bei jedem Betreiber separat eingestellt wird. Das Ziel von Cloudflare ist es, Websitebetreibern bis Anfang nächsten Jahres eine zentrale Möglichkeit zu geben, den Umfang der einbezogenen Inhalte selbst zu bestimmen.

Neue Steuerungsoptionen, neue Empfehlungen

Cloudflare ersetzt die Option „Block AI Bots“ durch drei separate Kontrollmöglichkeiten: für Suchdienste, für KI-Training und für KI-Agenten. Neue Websites auf Cloudflare sehen künftig Empfehlungen für Einstellungen, die an ihr jeweiliges Geschäftsmodell angepasst sind:

• Seiten, die Werbung enthalten: Suchmaschinen-Crawling ist aktiviert, KI-Training ist nicht erlaubt, und KI-Agenten werden auf werbetragenden Seiten blockiert.
• Alle anderen Seiten: Suche, KI-Training und KI-Agenten sind alle erlaubt, entsprechend der Art und Weise, wie die meisten nicht werbegestützten Websites bereits betrieben werden.

Cloudflare löst zudem die Funktion „Managed Robots.txt“ durch „Bot Preference Sync“ ab. Websitebetreiber können damit ihre Präferenzen für das Crawling einmalig festlegen, und diese werden anschließend automatisch für alle unterstützten Crawler übernommen. Kunden können ihre Einstellungen und Präferenzen jederzeit einfach anpassen.

Verantwortungsvolles KI-Crawling („Accountable“)

Cloudflare hat klare Kriterien für verantwortungsvolles und transparentes KI-Crawling festgelegt, einschließlich für Mixed-Use-Crawler. Betreiber müssen vier Anforderungen entweder bereits erfüllen oder sich verpflichten, sie innerhalb eines festgelegten Zeitrahmens zu erfüllen:

• Websitebetreibern eine eindeutige Option bieten, KI-Training über robots.txt oder einen vergleichbaren Standard abzulehnen
• Websitebetreibern ermöglichen, der Verwendung ihrer Inhalte in KI-generierten Suchzusammenfassungen zu widersprechen
• Websitebetreibern auf URL-Ebene Transparenz darüber bieten, wie ihre Inhalte für Suche und Training genutzt werden
• Öffentlich bestätigen, dass sich ein Ausschluss vom KI-Training nicht auf das Ranking einer Website in der herkömmlichen Suche auswirkt

Apple, Google und Microsoft haben nachgewiesen, dass sie diese Kriterien erfüllen. Google bietet beispielsweise mit Google-Extended eine Steuerungsmöglichkeit, die es Websites erlaubt, KI-Training abzulehnen, ohne zugleich auf die Aufnahme in die Suche zu verzichten, und kündigte Anfang dieses Jahres neue Tools an, die Websitebetreibern helfen sollen, mit KI-Funktionen in der Suche umzugehen. Andere führende KI-Unternehmen verwenden getrennte Crawler für Suche und Training. Dadurch kann Cloudflare deren Trainings-Crawler blockieren, ohne die Suchfunktion zu beeinträchtigen, weshalb Cloudflare die betreffenden Crawler ebenfalls als „Accountable“ einstuft. Die vollständige Liste der qualifizierten Betreiber veröffentlicht Cloudflare auf Cloudflare Radar.

Cloudflare beteiligt sich außerdem aktiv an der Arbeit an offenen Standards innerhalb der Internet Engineering Task Force (IETF), darunter „ai-prefs“, eine derzeit entwickelte Spezifikation, mit der jede Website ihre Präferenzen für den KI-Zugriff in standardisierter und übertragbarer Form ausdrücken könnte. Die heute eingeführten Kontrollmöglichkeiten sind darauf ausgelegt, mit diesen entstehenden Standards zusammenzuarbeiten.

Weitere Informationen zum Ansatz von Cloudflare für KI und die Kontrolle über Inhalte finden Sie in den folgenden Ressourcen:

• Blog: Beides ist möglich: Auffindbar bleiben und gleichzeitig KI-Training untersagen
• Blog: Ein Jahr nach dem Content Independence Day: Aufbau des Geschäftsmodells für ein agentenbasiertes Internet

Über Cloudflare

Cloudflare, Inc. (NYSE: NET) ist der führende Anbieter im Bereich Connectivity Cloud. Mit Cloudflare können Unternehmen ihre Mitarbeitenden, Anwendungen und Netzwerke noch besser schützen, deren Performance steigern und gleichzeitig Komplexität und Kosten verringern. Die Connectivity Cloud von Cloudflare bietet die umfassendste Plattform für cloudnative Produkte und Entwicklertools auf dem Markt. Damit kann sich jedes Unternehmen die für die Arbeit, die Produktentwicklung und schnellere Geschäftserfolge erforderliche Kontrolle verschaffen.

Aufbauend auf einem der größten und am stärksten verflochtenen Netzwerke der Welt schirmt Cloudflare Kunden täglich vor Milliarden von Online-Bedrohungen ab. Millionen von Organisationen vertrauen auf Cloudflare – von den größten Konzernen über kleine und mittelständische Betriebe sowie Existenzgründerinnen und -gründer bis hin zu gemeinnützigen Einrichtungen, Hilfsorganisationen und Behörden auf der ganzen Welt.Weitere Informationen zur Connectivity Cloud von Cloudflare finden Sie untercloudflare.com/connectivity-cloud. Bei radar.cloudflare.com können Sie sich über die neuesten Trends und Erkenntnisse zum Thema Internet informieren.

Cloudflare folgen: Blog | X | LinkedIn | Facebook | Instagram

Zukunftsgerichtete Aussagen

Diese Pressemitteilung enthält zukunftsgerichtete Aussagen im Sinne von Abschnitt 27A des „Securities Act of 1933“ der Vereinigten Staaten in seiner geänderten Fassung und Abschnitt 21E des „Securities Exchange Act of 1934“ der Vereinigten Staaten in seiner geänderten Fassung, die mit erheblichen Risiken und Unsicherheiten behaftet sind. In einigen Fällen lassen sich zukunftsgerichtete Aussagen daran erkennen, dass sie Wörter wie „können“, „werden“, „sollten“, „erwarten“, „erkunden“, „planen“, „voraussehen“, „könnten“, „beabsichtigen“, „anstreben“, „prognostizieren“, „erwägen“, „glauben“, „schätzen“, „vorhersagen“, „potenziell“ oder „fortsetzen“ oder die Verneinung dieser Wörter oder ähnliche Begriffe oder Ausdrücke enthalten, die sich auf unsere Erwartungen, Strategien, Pläne oder Absichten beziehen. Allerdings enthalten nicht alle zukunftsgerichteten Aussagen diese Signalwörter. Unter zukunftsgerichteten Aussagen, die in dieser Pressemitteilung direkt oder indirekt getätigt werden, sind unter anderem Aussagen über die Funktionen und Wirksamkeit von Disallow AI Training, Bot Preference Sync und anderen Produkten und Technologien von Cloudflare, über die Vorteile, die Cloudflare-Kunden aus der Nutzung von Disallow AI Training, Bot Preference Sync sowie anderen Produkten und Technologien von Cloudflare ziehen können, über den Zeitpunkt, zu dem Disallow AI Training, Bot Preference Sync oder damit verbundene Funktionen allgemein für aktuelle und potenzielle Kunden von Cloudflare verfügbar sein werden, über die technologische Entwicklung, die zukünftige Betriebstätigkeit, das Wachstum, die Initiativen oder Strategien von Cloudflare sowie Äußerungen unseres CEO und anderer zu verstehen. Die tatsächlichen Ergebnisse können erheblich von denjenigen abweichen, die in den zukunftsgerichteten Aussagen direkt oder indirekt angegeben wurden, was auf eine Reihe von Faktoren zurückzuführen ist – unter anderem auf die Risiken, die in den von Cloudflare bei der US-Börsenaufsicht SEC (Securities and Exchange Commission) eingereichten Unterlagen aufgeführt sind, einschließlich des Cloudflare-Quartalsberichts auf Formblatt 10-Q für den am 30. Juni 2026 endenden Berichtszeitraum, der am 6. August 2026 eingereicht wurde, sowie anderer Unterlagen, die Cloudflare von Zeit zu Zeit bei der SEC einreichen kann.

Die in dieser Pressemitteilung getätigten zukunftsgerichteten Aussagen beziehen sich nur auf Ereignisse bis zu dem Datum, an dem sie gemacht wurden. Sofern nicht gesetzlich vorgeschrieben, übernimmt Cloudflare keine Verpflichtung, die in dieser Pressemitteilung getätigten zukunftsgerichteten Aussagen nachträglich zu aktualisieren, damit sie Ereignisse, Umstände, neue Informationen oder unvorhergesehene Ereignisse, die nach dem Veröffentlichungsdatum dieser Pressemitteilung auftreten, berücksichtigen. Es ist möglich, dass sich die dargelegten Pläne, Absichten oder Annahmen in den von Cloudflare getätigten zukunftsgerichteten Aussagen nicht realisieren, weshalb Sie sich nicht vorbehaltlos auf die zukunftsgerichteten Aussagen von Cloudflare verlassen sollten.

© 2026 Cloudflare, Inc. Alle Rechte vorbehalten. Cloudflare, das Cloudflare-Logo und weitere Cloudflare-Marken sind Marken und/oder eingetragene Marken von Cloudflare, Inc. in den USA und anderen Rechtsräumen. Alle anderen hier genannten Marken und Namen können Marken ihrer jeweiligen Eigentümer sein.