Kostenlose Tools KI-Crawler-Check
KI-Crawler-Check
Gib deinen Shop ein und sieh, welche KI-Crawler deine robots.txt und deine Seiten hereinlassen, darunter die, über die ChatGPT, Perplexity, Google und Claude Käufern antworten.
So funktioniert es
- Central liest deine
robots.txtund die Robots-Angaben der Seite (Meta-Tag undX-Robots-Tag-Header), so wie jeder Crawler sie auslegt. - Geprüft werden 16 Crawler und Steuerungs-Tokens von OpenAI, Google, Microsoft, Perplexity, Anthropic, Apple, Amazon, Meta und Common Crawl, jeweils mit ihrem Zweck. Einen Trainings-Crawler zu sperren ist etwas anderes, als einen Such-Crawler zu sperren.
- Eine kurze Sicherheitsabfrage prüft vorher, dass ein Mensch den Check startet. Nichts wird gespeichert; einige Prüfungen am Tag sind kostenlos.
Fragen
Soll ich KI-Crawler blockieren?
Wer Trainings-Crawler sperrt, hält seine Inhalte aus dem Modelltraining heraus. Wer Such- und Shopping-Crawler sperrt, hält seine Produkte aus den Antworten der Assistenten heraus. Viele Shops lassen die Such-Crawler zu und entscheiden über das Training getrennt.
Wie blockiere ich GPTBot?
Mit zwei Zeilen in der robots.txt: User-agent: GPTBot und darunter Disallow: /. Das sperrt den Trainings-Crawler von OpenAI. OAI-SearchBot, der Seiten für die Suche und die Shopping-Antworten in ChatGPT findet, hat eigene Regeln und bleibt davon unberührt.
Was ist Google-Extended?
Kein eigener Crawler, sondern ein Token für die robots.txt. Er steuert, ob Google deine Inhalte für das Training und Grounding von Gemini nutzen darf. Die Google-Suche samt Übersichten mit KI und KI-Modus läuft weiter über den Googlebot.
Du bestimmst, was hineingeht und wo es erscheint.
Central AI erledigt alles dazwischen. Deine ersten 3 Produkte sind kostenlos.
- Dein InputDein Shop, deine Dateien oder deine Produktseiten.
- Central AIRecherchiert, prüft und schreibt alles dazwischen. Jeder Wert ist mit Quellen belegt, die du prüfen kannst; was die Quellen nicht stützen, wird zurückgehalten.
- Deine KanäleProduktdaten und Listings für die Kanäle, die du wählst.