„KI-Crawler“ sind Programme, mit denen Anbieter von KI-Systemen Websites automatisch abrufen und auslesen. Einfacher gesagt: Sie liefern den Stoff, aus dem KI-Antworten entstehen. Drei Arten lassen sich unterscheiden.
Die erste sammelt Inhalte für das Training neuer Sprachmodelle, etwa GPTBot von OpenAI oder ClaudeBot von Anthropic. Die zweite baut einen Suchindex für KI-Antworten auf, etwa OAI-SearchBot. Die dritte sind Abrufe, die jemand im Chat auslöst, etwa ChatGPT-User.
Über die robots.txt legen Websitebetreiber fest, welche Crawler zugreifen dürfen. Für Abrufe im Auftrag einzelner Nutzer gilt sie nach Angaben von OpenAI und Perplexity allerdings nicht zwingend.
Wer pauschal alle KI-Crawler aussperrt, schützt seine Inhalte vor dem Training, riskiert aber, auch aus ChatGPT und anderen KI-Suchen zu verschwinden. Manche Sperre entsteht ohne bewusste Entscheidung, etwa durch Voreinstellungen beim Dienstleister Cloudflare.
Seit Mitte September 2026 trifft dort die Einstellung „Block“ sogar den Googlebot, über den auch Googles AI Overviews laufen. Wer nur das Training ausschließen will, wählt „Disallow AI Training“ statt „Block“. Ein Blick in robots.txt und Cloudflare-Einstellungen gehört deshalb zu den ersten Schritten der Generative Engine Optimization, noch vor Ergänzungen wie der llms.txt.
Generative Engine Optimization
Gefunden werden, wenn Kunden KI fragen
Wir analysieren, ob und wie ChatGPT, Perplexity und Googles KI-Antworten euer Unternehmen nennen, und setzen die passenden Maßnahmen um.