Ratgeber KI-Crawler und robots.txt: was Onlineshops zulassen und blockieren sollten
KI-Crawler und robots.txt: was Onlineshops zulassen und blockieren sollten
Die KI-Crawler von OpenAI, Google, Microsoft, Perplexity, Anthropic, Apple und Meta, was jeder tut, und eine robots.txt für Shops, die etwa GPTBot blockiert.
- KI-Firmen betreiben drei Arten von Bots: Such-Crawler, die Seiten in Antworten bringen, Trainings-Crawler und Fetcher, die eine Seite aufrufen, wenn jemand danach fragt.
- Wer GPTBot oder ClaudeBot blockiert, verschwindet dadurch allein nicht aus den Suchantworten von ChatGPT oder Claude; dafür sind OAI-SearchBot und Claude-SearchBot zuständig.
- Google-Extended und Applebot-Extended sind Steuer-Token, keine Crawler; sie zu blockieren ändert nichts an der Google Suche oder an Apples Suchergebnissen.
- Fetcher, die auf Anfrage von Nutzern handeln, etwa ChatGPT-User, Perplexity-User und meta-externalfetcher, halten sich unter Umständen nicht an die robots.txt.
- Ein Shop, der gefunden werden will, lässt die Such- und Shopping-Crawler zu und entscheidet über das Training getrennt.
Drei Arten von KI-Bots#
KI-Firmen, die das Web lesen, schicken eine Mischung aus drei Arten von Besuchern los, und für jede brauchst du eine eigene Entscheidung in der robots.txt.
| Art | Was sie tut | Beispiele |
|---|---|---|
| Such-Crawler | Indexiert Seiten, damit ein Assistent sie in Antworten zeigen und verlinken kann | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer |
| Trainings-Crawler oder Token | Sammelt Inhalte für das Training von Modellen oder steuert, ob gecrawlte Inhalte dafür genutzt werden dürfen | GPTBot, ClaudeBot, CCBot, meta-externalagent, Google-Extended, Applebot-Extended |
| Fetcher auf Nutzeranfrage | Ruft eine einzelne Seite auf, weil jemand den Assistenten darum gebeten hat | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Google-Agent |
Für einen Shop entscheiden die Such-Crawler, ob Produkte in den Antworten von Assistenten auftauchen können. Trainings-Crawler und Token entscheiden, ob deine Seiten beim Training künftiger Modelle helfen dürfen. Fetcher handeln für eine Person, die nach deiner Seite gefragt hat.
Die Crawler nach Anbieter#
| Anbieter | Token | Was er tut | robots.txt |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Zeigt Websites in den Suchfunktionen von ChatGPT | Ausgeschlossene Websites fehlen in Suchantworten, können aber weiter als Navigationslinks erscheinen |
| OpenAI | GPTBot | Crawlt Inhalte, mit denen OpenAI seine Basismodelle trainieren kann | Mit Disallow bleiben Inhalte aus dem Training |
| OpenAI | ChatGPT-User | Ruft Seiten auf, wenn jemand ChatGPT oder einen Custom GPT fragt | Regeln gelten unter Umständen nicht |
Googlebot | Crawlt für die Google Suche | Wird befolgt | |
Storebot-Google | Seine Regeln gelten für alle Shopping-Plattformen von Google | Wird befolgt | |
Google-Extended | Nur Token, kein eigener Crawler; steuert die Nutzung für Gemini-Training und Fundierung | Kein Einfluss auf Aufnahme in die Suche oder Ranking | |
Google-Agent | Lässt Agents auf Google-Infrastruktur im Web navigieren und auf Nutzeranfrage handeln | Vom Nutzer ausgelöst, ignoriert die robots.txt meist | |
| Microsoft | bingbot | Standard-Crawler von Bing | Wird befolgt |
| Perplexity | PerplexityBot | Zeigt und verlinkt Websites in den Ergebnissen von Perplexity; nicht für das Training von Basismodellen | Perplexity bittet darum, ihn zuzulassen |
| Perplexity | Perplexity-User | Ruft Seiten auf, um die Frage einer Person zu beantworten | Wird meist ignoriert |
| Anthropic | Claude-SearchBot | Indexiert Seiten, um Suchergebnisse zu verbessern | Wird befolgt |
| Anthropic | ClaudeBot | Sammelt Inhalte, die für Training genutzt werden können | Wird befolgt; eine Sperre signalisiert, dass künftige Inhalte aus dem Training bleiben sollen |
| Anthropic | Claude-User | Ruft Seiten ab, wenn Nutzer Claude fragen | Wird befolgt; eine Sperre kann die Sichtbarkeit bei Nutzersuchen verringern |
| Apple | Applebot | Suche in Spotlight, Siri und Safari; die Daten können auch Apples Modelle trainieren | Wird befolgt; ohne eigene Applebot-Regeln folgt er deinen Googlebot-Regeln |
| Apple | Applebot-Extended | Nur Token, crawlt nicht; schließt Inhalte vom Training von Apples Modellen aus | Inhalte können weiter in der Suche erscheinen |
| Meta | meta-webindexer | Verbessert die Suchergebnisse von Meta AI | Laut Meta hilft das Zulassen, dich zu zitieren und zu verlinken |
| Meta | meta-externalagent | Trainiert KI-Modelle oder indexiert Inhalte für Produkte | Mit einer Disallow-Regel blockieren |
| Meta | meta-externalfetcher | Ruft Links auf Nutzeranfrage ab | Kann die robots.txt umgehen |
| Common Crawl | CCBot | Baut einen offenen Crawl-Datensatz, den alle auswerten können | Mit Disallow stoppst du das Crawling |
Die gewöhnlichen Crawler von Google halten sich beim automatischen Crawlen immer an die robots.txt. Die vom Nutzer ausgelösten Fetcher wie Google-Agent ignorieren sie dagegen meist, weil jemand den Abruf angefordert hat.
Microsoft hat in seiner Crawler-Liste kein eigenes Token für KI-Training. Die Liste nennt bingbot, AdIdxBot für Anzeigen und Crawler für Vorschauen. Die Nutzung in Copilot steuerst du stattdessen mit Meta-Tags: Laut den Webmaster-Richtlinien von Bing hält NOARCHIVE Inhalte aus Copilot-Antworten und der Fundierung heraus, und NOCACHE beschränkt Copilot auf URL, Titel und Snippet. Meta beschreibt seine Crawler auf der Seite zu Web-Crawlern; Common Crawl dokumentiert CCBot auf seiner CCBot-Seite.
Eine robots.txt für einen Onlineshop#
Dieses Beispiel lässt Such- und Shopping-Crawler den Katalog lesen, hält alle Bots aus Warenkorb, Kasse und Kundenkonto heraus und blockiert das Modelltraining, also auch GPTBot. Northpeak, ein Shop für Outdoor-Ausrüstung, würde die Datei unter https://example.com/robots.txt ablegen. Die erste Gruppe gilt für jeden Bot, der nicht an anderer Stelle genannt ist, darunter Googlebot, Storebot-Google, bingbot, OAI-SearchBot, PerplexityBot, Claude-SearchBot, Applebot und meta-webindexer. Die zweite Gruppe sperrt die Trainings-Crawler und Token. Die Pfade passt du an deinen Shop an.
User-agent: *
Disallow: /warenkorb
Disallow: /kasse
Disallow: /mein-konto
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
Drei Regeln sorgen dafür, dass das funktioniert:
- Ein Crawler folgt nur einer Gruppe. Laut Googles Dokumentation zur robots.txt nutzt ein Crawler die Gruppe mit dem spezifischsten passenden User-Agent und ignoriert die anderen. Ein Bot mit eigener Gruppe liest die
*-Regeln also nicht mit; wiederhole private Pfade dort. - Mehrere User-Agents können sich eine Gruppe teilen. Stehen mehrere
User-agent:-Zeilen vor den Regeln, gelten die Regeln für jeden genannten Bot. - Training zuzulassen ist eine eigene Entscheidung. Dürfen deine Seiten Modelle trainieren, löschst du die zweite Gruppe. OpenAI, Google, Anthropic und Apple dokumentieren ihre Such-Crawler getrennt von ihren Trainings-Crawlern und Token, und Perplexity sagt, dass PerplexityBot nicht für Training genutzt wird.
Willst du die Such-Crawler lieber ausdrücklich nennen, gib jedem eine eigene Gruppe mit denselben Disallow-Zeilen für private Pfade.
Prüfen, bevor du blockierst#
- Abrufe durch das Merchant Center. Ruft Google deine Produktdatei nach Zeitplan ab, dürfen
GooglebotundAdsBot-Googlelaut Google nicht für das Verzeichnis mit der Datei gesperrt sein. - Subdomains zählen einzeln. Anthropic erinnert daran, Regeln für jede Subdomain anzulegen, für die du widersprechen willst.
- Änderungen brauchen Zeit. Laut OpenAI dauern Änderungen bei der Suche etwa 24 Stunden; Meta nennt bis zu 24 Stunden.
- User-Agents lassen sich fälschen. OpenAI veröffentlicht IP-Bereiche für seine Bots, und Bing bietet ein Tool, um Bingbot zu prüfen. Prüfe das, bevor du per IP zulässt oder sperrst.
- Firewalls können Kundschaft aussperren. Eine Bot-Regel in deinem CDN kann verhindern, dass der Cloud-Browser von ChatGPT einen Kauf für jemanden abschließt. Laut OpenAI prüfen Akamai, Cloudflare, HUMAN und Vercel seine signierten Browser-Anfragen automatisch.
Ein gemeinsames Signal gegen KI-Training kommt: Seit dem 30. Oktober 2026 erkennt Anthropic ein maschinenlesbares Signal, mit dem Website-Betreiber „kein KI-Training“ erklären können. Es folgt einem Entwurf der aipref-Arbeitsgruppe der IETF, und Regeln, die ClaudeBot ausdrücklich nennen, haben Vorrang. Google will das gemeinsame Trainingssignal AIPREF Anfang 2027 unterstützen. Bis dahin schließt du das Gemini-Training mit Google-Extended aus.
Wo Central hilft#
Du bestimmst, was hineingeht (dein Shop, deine Dateien oder deine Produktseiten) und auf welchen Kanälen es erscheint; Central AI recherchiert, prüft und schreibt alles dazwischen. Jeder Wert ist mit Quellen belegt, die du prüfen kannst; was die Quellen nicht stützen, wird zurückgehalten. Die ersten 3 Produkte sind kostenlos.
Fragen
Verschwinden meine Produkte aus ChatGPT, wenn ich GPTBot blockiere?
Nicht wegen GPTBot allein. OpenAI behandelt seine Bots unabhängig voneinander: GPTBot betrifft das Modelltraining, OAI-SearchBot entscheidet, ob deine Website in den Suchantworten von ChatGPT erscheint.
Schadet es meinem Google-Ranking, wenn ich Google-Extended blockiere?
Nein. Laut Google hat Google-Extended keinen Einfluss auf die Aufnahme in die Google Suche und ist kein Ranking-Signal. Es steuert, ob deine Inhalte für das Training von Gemini und für die Fundierung von Antworten genutzt werden.
Kann ich mit der robots.txt jeden KI-Besuch stoppen?
Nein. Für Fetcher, die auf Anfrage von Nutzern handeln, etwa ChatGPT-User, Perplexity-User und meta-externalfetcher, gilt die robots.txt laut ihren Betreibern unter Umständen nicht. Anthropic sagt, dass alle seine Bots die robots.txt beachten.
Quellen
- Overview of OpenAI Crawlers · OpenAI developer docs geprüft am 19. November 2026
- Gewöhnliche Crawler von Google · Google-Crawling-Infrastruktur geprüft am 19. November 2026
- Crawlt Anthropic Daten aus dem Web, und wie können Website-Besitzer den Crawler blockieren? · Anthropic geprüft am 19. November 2026
- Perplexity crawlers · Perplexity geprüft am 19. November 2026
- Informationen zu Applebot · Apple geprüft am 19. November 2026