# KI-Crawler und robots.txt: was Onlineshops zulassen und blockieren sollten

> Die KI-Crawler von OpenAI, Google, Microsoft, Perplexity, Anthropic, Apple und Meta, was jeder tut, und eine robots.txt für Shops, die etwa GPTBot blockiert.

Quelle: https://central.to/de/ratgeber/ki-crawler-fuer-onlineshops · Aktualisiert am 2026-11-19 · Veröffentlicht von Central (https://central.to)

## Kurz gesagt

- KI-Firmen betreiben drei Arten von Bots: Such-Crawler, die Seiten in Antworten bringen, Trainings-Crawler und Fetcher, die eine Seite aufrufen, wenn jemand danach fragt.
- Wer GPTBot oder ClaudeBot blockiert, verschwindet dadurch allein nicht aus den Suchantworten von ChatGPT oder Claude; dafür sind OAI-SearchBot und Claude-SearchBot zuständig.
- Google-Extended und Applebot-Extended sind Steuer-Token, keine Crawler; sie zu blockieren ändert nichts an der Google Suche oder an Apples Suchergebnissen.
- Fetcher, die auf Anfrage von Nutzern handeln, etwa ChatGPT-User, Perplexity-User und meta-externalfetcher, halten sich unter Umständen nicht an die robots.txt.
- Ein Shop, der gefunden werden will, lässt die Such- und Shopping-Crawler zu und entscheidet über das Training getrennt.

Kostenloses Tool: [KI-Crawler-Check](https://central.to/de/tools/ki-crawler-pruefen). Prüfe, ob ChatGPT, Perplexity, die KI von Google, Claude und andere KI-Crawler deinen Shop lesen dürfen.

## Drei Arten von KI-Bots

KI-Firmen, die das Web lesen, schicken eine Mischung aus drei Arten von Besuchern los, und für jede brauchst du eine eigene Entscheidung in der robots.txt.

| Art | Was sie tut | Beispiele |
| --- | --- | --- |
| Such-Crawler | Indexiert Seiten, damit ein Assistent sie in Antworten zeigen und verlinken kann | `OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`, `meta-webindexer` |
| Trainings-Crawler oder Token | Sammelt Inhalte für das Training von Modellen oder steuert, ob gecrawlte Inhalte dafür genutzt werden dürfen | `GPTBot`, `ClaudeBot`, `CCBot`, `meta-externalagent`, `Google-Extended`, `Applebot-Extended` |
| Fetcher auf Nutzeranfrage | Ruft eine einzelne Seite auf, weil jemand den Assistenten darum gebeten hat | `ChatGPT-User`, `Claude-User`, `Perplexity-User`, `meta-externalfetcher`, `Google-Agent` |

Für einen Shop entscheiden die Such-Crawler, ob Produkte in den Antworten von Assistenten auftauchen können. Trainings-Crawler und Token entscheiden, ob deine Seiten beim Training künftiger Modelle helfen dürfen. Fetcher handeln für eine Person, die nach deiner Seite gefragt hat.

## Die Crawler nach Anbieter

| Anbieter | Token | Was er tut | robots.txt |
| --- | --- | --- | --- |
| OpenAI | `OAI-SearchBot` | Zeigt Websites in den Suchfunktionen von ChatGPT | Ausgeschlossene Websites fehlen in Suchantworten, können aber weiter als Navigationslinks erscheinen |
| OpenAI | `GPTBot` | Crawlt Inhalte, mit denen OpenAI seine Basismodelle trainieren kann | Mit Disallow bleiben Inhalte aus dem Training |
| OpenAI | `ChatGPT-User` | Ruft Seiten auf, wenn jemand ChatGPT oder einen Custom GPT fragt | Regeln gelten unter Umständen nicht |
| Google | `Googlebot` | Crawlt für die Google Suche | Wird befolgt |
| Google | `Storebot-Google` | Seine Regeln gelten für alle Shopping-Plattformen von Google | Wird befolgt |
| Google | `Google-Extended` | Nur Token, kein eigener Crawler; steuert die Nutzung für Gemini-Training und Fundierung | Kein Einfluss auf Aufnahme in die Suche oder Ranking |
| Google | `Google-Agent` | Lässt Agents auf Google-Infrastruktur im Web navigieren und auf Nutzeranfrage handeln | Vom Nutzer ausgelöst, ignoriert die robots.txt meist |
| Microsoft | `bingbot` | Standard-Crawler von Bing | Wird befolgt |
| Perplexity | `PerplexityBot` | Zeigt und verlinkt Websites in den Ergebnissen von Perplexity; nicht für das Training von Basismodellen | Perplexity bittet darum, ihn zuzulassen |
| Perplexity | `Perplexity-User` | Ruft Seiten auf, um die Frage einer Person zu beantworten | Wird meist ignoriert |
| Anthropic | `Claude-SearchBot` | Indexiert Seiten, um Suchergebnisse zu verbessern | Wird befolgt |
| Anthropic | `ClaudeBot` | Sammelt Inhalte, die für Training genutzt werden können | Wird befolgt; eine Sperre signalisiert, dass künftige Inhalte aus dem Training bleiben sollen |
| Anthropic | `Claude-User` | Ruft Seiten ab, wenn Nutzer Claude fragen | Wird befolgt; eine Sperre kann die Sichtbarkeit bei Nutzersuchen verringern |
| Apple | `Applebot` | Suche in Spotlight, Siri und Safari; die Daten können auch Apples Modelle trainieren | Wird befolgt; ohne eigene Applebot-Regeln folgt er deinen Googlebot-Regeln |
| Apple | `Applebot-Extended` | Nur Token, crawlt nicht; schließt Inhalte vom Training von Apples Modellen aus | Inhalte können weiter in der Suche erscheinen |
| Meta | `meta-webindexer` | Verbessert die Suchergebnisse von Meta AI | Laut Meta hilft das Zulassen, dich zu zitieren und zu verlinken |
| Meta | `meta-externalagent` | Trainiert KI-Modelle oder indexiert Inhalte für Produkte | Mit einer Disallow-Regel blockieren |
| Meta | `meta-externalfetcher` | Ruft Links auf Nutzeranfrage ab | Kann die robots.txt umgehen |
| Common Crawl | `CCBot` | Baut einen offenen Crawl-Datensatz, den alle auswerten können | Mit Disallow stoppst du das Crawling |

Die gewöhnlichen Crawler von Google halten sich beim automatischen Crawlen immer an die robots.txt. Die [vom Nutzer ausgelösten Fetcher](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers?hl=de) wie `Google-Agent` ignorieren sie dagegen meist, weil jemand den Abruf angefordert hat.

Microsoft hat in seiner Crawler-Liste kein eigenes Token für KI-Training. Die [Liste](https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0) nennt `bingbot`, `AdIdxBot` für Anzeigen und Crawler für Vorschauen. Die Nutzung in Copilot steuerst du stattdessen mit Meta-Tags: Laut den [Webmaster-Richtlinien von Bing](https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a) hält `NOARCHIVE` Inhalte aus Copilot-Antworten und der Fundierung heraus, und `NOCACHE` beschränkt Copilot auf URL, Titel und Snippet. Meta beschreibt seine Crawler auf der [Seite zu Web-Crawlern](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers); Common Crawl dokumentiert `CCBot` auf seiner [CCBot-Seite](https://commoncrawl.org/ccbot).

## Eine robots.txt für einen Onlineshop

Dieses Beispiel lässt Such- und Shopping-Crawler den Katalog lesen, hält alle Bots aus Warenkorb, Kasse und Kundenkonto heraus und blockiert das Modelltraining, also auch GPTBot. Northpeak, ein Shop für Outdoor-Ausrüstung, würde die Datei unter `https://example.com/robots.txt` ablegen. Die erste Gruppe gilt für jeden Bot, der nicht an anderer Stelle genannt ist, darunter `Googlebot`, `Storebot-Google`, `bingbot`, `OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`, `Applebot` und `meta-webindexer`. Die zweite Gruppe sperrt die Trainings-Crawler und Token. Die Pfade passt du an deinen Shop an.

```
User-agent: *
Disallow: /warenkorb
Disallow: /kasse
Disallow: /mein-konto

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
```

Drei Regeln sorgen dafür, dass das funktioniert:

1. **Ein Crawler folgt nur einer Gruppe.** Laut [Googles Dokumentation zur robots.txt](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec?hl=de) nutzt ein Crawler die Gruppe mit dem spezifischsten passenden User-Agent und ignoriert die anderen. Ein Bot mit eigener Gruppe liest die `*`-Regeln also nicht mit; wiederhole private Pfade dort.
2. **Mehrere User-Agents können sich eine Gruppe teilen.** Stehen mehrere `User-agent:`-Zeilen vor den Regeln, gelten die Regeln für jeden genannten Bot.
3. **Training zuzulassen ist eine eigene Entscheidung.** Dürfen deine Seiten Modelle trainieren, löschst du die zweite Gruppe. OpenAI, Google, Anthropic und Apple dokumentieren ihre Such-Crawler getrennt von ihren Trainings-Crawlern und Token, und Perplexity sagt, dass PerplexityBot nicht für Training genutzt wird.

Willst du die Such-Crawler lieber ausdrücklich nennen, gib jedem eine eigene Gruppe mit denselben `Disallow`-Zeilen für private Pfade.

## Prüfen, bevor du blockierst

- **Abrufe durch das Merchant Center.** Ruft Google deine Produktdatei nach Zeitplan ab, dürfen `Googlebot` und `AdsBot-Google` laut [Google](https://support.google.com/merchants/answer/1219255?hl=de) nicht für das Verzeichnis mit der Datei gesperrt sein.
- **Subdomains zählen einzeln.** Anthropic erinnert daran, Regeln für jede Subdomain anzulegen, für die du widersprechen willst.
- **Änderungen brauchen Zeit.** Laut OpenAI dauern Änderungen bei der Suche etwa 24 Stunden; Meta nennt bis zu 24 Stunden.
- **User-Agents lassen sich fälschen.** OpenAI veröffentlicht IP-Bereiche für seine Bots, und Bing bietet ein Tool, um Bingbot zu prüfen. Prüfe das, bevor du per IP zulässt oder sperrst.
- **Firewalls können Kundschaft aussperren.** Eine Bot-Regel in deinem CDN kann verhindern, dass der Cloud-Browser von ChatGPT einen Kauf für jemanden abschließt. Laut OpenAI prüfen [Akamai, Cloudflare, HUMAN und Vercel](https://developers.openai.com/commerce/guides/enable-browser-access) seine signierten Browser-Anfragen automatisch.

Ein gemeinsames Signal gegen KI-Training kommt: Seit dem 30. Oktober 2026 erkennt Anthropic ein maschinenlesbares Signal, mit dem Website-Betreiber „kein KI-Training“ erklären können. Es folgt einem Entwurf der aipref-Arbeitsgruppe der IETF, und Regeln, die `ClaudeBot` ausdrücklich nennen, haben Vorrang. Google will das gemeinsame Trainingssignal AIPREF Anfang 2027 unterstützen. Bis dahin schließt du das Gemini-Training mit `Google-Extended` aus.

## Wo Central hilft

Du bestimmst, was hineingeht (dein Shop, deine Dateien oder deine Produktseiten) und auf welchen Kanälen es erscheint; Central AI recherchiert, prüft und schreibt alles dazwischen. Jeder Wert ist mit Quellen belegt, die du prüfen kannst; was die Quellen nicht stützen, wird zurückgehalten. Die ersten 3 Produkte sind kostenlos.

## Fragen

### Verschwinden meine Produkte aus ChatGPT, wenn ich GPTBot blockiere?

Nicht wegen GPTBot allein. OpenAI behandelt seine Bots unabhängig voneinander: GPTBot betrifft das Modelltraining, OAI-SearchBot entscheidet, ob deine Website in den Suchantworten von ChatGPT erscheint.

### Schadet es meinem Google-Ranking, wenn ich Google-Extended blockiere?

Nein. Laut Google hat Google-Extended keinen Einfluss auf die Aufnahme in die Google Suche und ist kein Ranking-Signal. Es steuert, ob deine Inhalte für das Training von Gemini und für die Fundierung von Antworten genutzt werden.

### Kann ich mit der robots.txt jeden KI-Besuch stoppen?

Nein. Für Fetcher, die auf Anfrage von Nutzern handeln, etwa ChatGPT-User, Perplexity-User und meta-externalfetcher, gilt die robots.txt laut ihren Betreibern unter Umständen nicht. Anthropic sagt, dass alle seine Bots die robots.txt beachten.

## Quellen

1. [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots), geprüft am 2026-11-19
2. [Gewöhnliche Crawler von Google](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=de), geprüft am 2026-11-19
3. [Crawlt Anthropic Daten aus dem Web, und wie können Website-Besitzer den Crawler blockieren?](https://support.claude.com/de/articles/8896518-crawlt-anthropic-daten-aus-dem-web-und-wie-konnen-website-besitzer-den-crawler-blockieren), geprüft am 2026-11-19
4. [Perplexity crawlers](https://docs.perplexity.ai/guides/bots), geprüft am 2026-11-19
5. [Informationen zu Applebot](https://support.apple.com/de-de/119829), geprüft am 2026-11-19
