# KI-Crawler-Check

> Prüfe, ob ChatGPT, Perplexity, die KI von Google, Claude und andere KI-Crawler deinen Shop lesen dürfen.

Nutzen: https://central.to/de/tools/ki-crawler-pruefen · Kostenlos · Läuft auf dem Server von Central, ein paar Mal am Tag

Gib deinen Shop ein und sieh, welche KI-Crawler deine robots.txt und deine Seiten hereinlassen, darunter die, über die ChatGPT, Perplexity, Google und Claude Käufern antworten.

## So funktioniert es

- Central liest deine `robots.txt` und die Robots-Angaben der Seite (Meta-Tag und `X-Robots-Tag`-Header), so wie jeder Crawler sie auslegt.
- Geprüft werden 16 Crawler und Steuerungs-Tokens von OpenAI, Google, Microsoft, Perplexity, Anthropic, Apple, Amazon, Meta und Common Crawl, jeweils mit ihrem Zweck. Einen Trainings-Crawler zu sperren ist etwas anderes, als einen Such-Crawler zu sperren.
- Eine kurze Sicherheitsabfrage prüft vorher, dass ein Mensch den Check startet. Nichts wird gespeichert; einige Prüfungen am Tag sind kostenlos.

## Fragen

### Soll ich KI-Crawler blockieren?

Wer Trainings-Crawler sperrt, hält seine Inhalte aus dem Modelltraining heraus. Wer Such- und Shopping-Crawler sperrt, hält seine Produkte aus den Antworten der Assistenten heraus. Viele Shops lassen die Such-Crawler zu und entscheiden über das Training getrennt.

### Wie blockiere ich GPTBot?

Mit zwei Zeilen in der robots.txt: User-agent: GPTBot und darunter Disallow: /. Das sperrt den Trainings-Crawler von OpenAI. OAI-SearchBot, der Seiten für die Suche und die Shopping-Antworten in ChatGPT findet, hat eigene Regeln und bleibt davon unberührt.

### Was ist Google-Extended?

Kein eigener Crawler, sondern ein Token für die robots.txt. Er steuert, ob Google deine Inhalte für das Training und Grounding von Gemini nutzen darf. Die Google-Suche samt Übersichten mit KI und KI-Modus läuft weiter über den Googlebot.
