Zum Inhalt springen

Kostenlose Tools KI-Crawler-Check

KI-Crawler-Check

Gib deinen Shop ein und sieh, welche KI-Crawler deine robots.txt und deine Seiten hereinlassen, darunter die, über die ChatGPT, Perplexity, Google und Claude Käufern antworten.

Ein paar kostenlose Prüfungen pro Tag

So funktioniert es

  • Central liest deine robots.txt und die Robots-Angaben der Seite (Meta-Tag und X-Robots-Tag-Header), so wie jeder Crawler sie auslegt.
  • Geprüft werden 16 Crawler und Steuerungs-Tokens von OpenAI, Google, Microsoft, Perplexity, Anthropic, Apple, Amazon, Meta und Common Crawl, jeweils mit ihrem Zweck. Einen Trainings-Crawler zu sperren ist etwas anderes, als einen Such-Crawler zu sperren.
  • Eine kurze Sicherheitsabfrage prüft vorher, dass ein Mensch den Check startet. Nichts wird gespeichert; einige Prüfungen am Tag sind kostenlos.

Fragen

Soll ich KI-Crawler blockieren?

Wer Trainings-Crawler sperrt, hält seine Inhalte aus dem Modelltraining heraus. Wer Such- und Shopping-Crawler sperrt, hält seine Produkte aus den Antworten der Assistenten heraus. Viele Shops lassen die Such-Crawler zu und entscheiden über das Training getrennt.

Wie blockiere ich GPTBot?

Mit zwei Zeilen in der robots.txt: User-agent: GPTBot und darunter Disallow: /. Das sperrt den Trainings-Crawler von OpenAI. OAI-SearchBot, der Seiten für die Suche und die Shopping-Antworten in ChatGPT findet, hat eigene Regeln und bleibt davon unberührt.

Was ist Google-Extended?

Kein eigener Crawler, sondern ein Token für die robots.txt. Er steuert, ob Google deine Inhalte für das Training und Grounding von Gemini nutzen darf. Die Google-Suche samt Übersichten mit KI und KI-Modus läuft weiter über den Googlebot.

Du bestimmst, was hineingeht und wo es erscheint.

Central AI erledigt alles dazwischen. Deine ersten 3 Produkte sind kostenlos.

  1. Dein InputDein Shop, deine Dateien oder deine Produktseiten.
  2. Central AIRecherchiert, prüft und schreibt alles dazwischen. Jeder Wert ist mit Quellen belegt, die du prüfen kannst; was die Quellen nicht stützen, wird zurückgehalten.
  3. Deine KanäleProduktdaten und Listings für die Kanäle, die du wählst.