Zum Inhalt springen

Ratgeber KI-Crawler und robots.txt: was Onlineshops zulassen und blockieren sollten

KI-Crawler und robots.txt: was Onlineshops zulassen und blockieren sollten

Die KI-Crawler von OpenAI, Google, Microsoft, Perplexity, Anthropic, Apple und Meta, was jeder tut, und eine robots.txt für Shops, die etwa GPTBot blockiert.

Aktualisiert am 19. November 20265 Min. LesezeitEnglish
Kurz gesagt
  • KI-Firmen betreiben drei Arten von Bots: Such-Crawler, die Seiten in Antworten bringen, Trainings-Crawler und Fetcher, die eine Seite aufrufen, wenn jemand danach fragt.
  • Wer GPTBot oder ClaudeBot blockiert, verschwindet dadurch allein nicht aus den Suchantworten von ChatGPT oder Claude; dafür sind OAI-SearchBot und Claude-SearchBot zuständig.
  • Google-Extended und Applebot-Extended sind Steuer-Token, keine Crawler; sie zu blockieren ändert nichts an der Google Suche oder an Apples Suchergebnissen.
  • Fetcher, die auf Anfrage von Nutzern handeln, etwa ChatGPT-User, Perplexity-User und meta-externalfetcher, halten sich unter Umständen nicht an die robots.txt.
  • Ein Shop, der gefunden werden will, lässt die Such- und Shopping-Crawler zu und entscheidet über das Training getrennt.

Drei Arten von KI-Bots#

KI-Firmen, die das Web lesen, schicken eine Mischung aus drei Arten von Besuchern los, und für jede brauchst du eine eigene Entscheidung in der robots.txt.

ArtWas sie tutBeispiele
Such-CrawlerIndexiert Seiten, damit ein Assistent sie in Antworten zeigen und verlinken kannOAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer
Trainings-Crawler oder TokenSammelt Inhalte für das Training von Modellen oder steuert, ob gecrawlte Inhalte dafür genutzt werden dürfenGPTBot, ClaudeBot, CCBot, meta-externalagent, Google-Extended, Applebot-Extended
Fetcher auf NutzeranfrageRuft eine einzelne Seite auf, weil jemand den Assistenten darum gebeten hatChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Google-Agent

Für einen Shop entscheiden die Such-Crawler, ob Produkte in den Antworten von Assistenten auftauchen können. Trainings-Crawler und Token entscheiden, ob deine Seiten beim Training künftiger Modelle helfen dürfen. Fetcher handeln für eine Person, die nach deiner Seite gefragt hat.

Die Crawler nach Anbieter#

AnbieterTokenWas er tutrobots.txt
OpenAIOAI-SearchBotZeigt Websites in den Suchfunktionen von ChatGPTAusgeschlossene Websites fehlen in Suchantworten, können aber weiter als Navigationslinks erscheinen
OpenAIGPTBotCrawlt Inhalte, mit denen OpenAI seine Basismodelle trainieren kannMit Disallow bleiben Inhalte aus dem Training
OpenAIChatGPT-UserRuft Seiten auf, wenn jemand ChatGPT oder einen Custom GPT fragtRegeln gelten unter Umständen nicht
GoogleGooglebotCrawlt für die Google SucheWird befolgt
GoogleStorebot-GoogleSeine Regeln gelten für alle Shopping-Plattformen von GoogleWird befolgt
GoogleGoogle-ExtendedNur Token, kein eigener Crawler; steuert die Nutzung für Gemini-Training und FundierungKein Einfluss auf Aufnahme in die Suche oder Ranking
GoogleGoogle-AgentLässt Agents auf Google-Infrastruktur im Web navigieren und auf Nutzeranfrage handelnVom Nutzer ausgelöst, ignoriert die robots.txt meist
MicrosoftbingbotStandard-Crawler von BingWird befolgt
PerplexityPerplexityBotZeigt und verlinkt Websites in den Ergebnissen von Perplexity; nicht für das Training von BasismodellenPerplexity bittet darum, ihn zuzulassen
PerplexityPerplexity-UserRuft Seiten auf, um die Frage einer Person zu beantwortenWird meist ignoriert
AnthropicClaude-SearchBotIndexiert Seiten, um Suchergebnisse zu verbessernWird befolgt
AnthropicClaudeBotSammelt Inhalte, die für Training genutzt werden könnenWird befolgt; eine Sperre signalisiert, dass künftige Inhalte aus dem Training bleiben sollen
AnthropicClaude-UserRuft Seiten ab, wenn Nutzer Claude fragenWird befolgt; eine Sperre kann die Sichtbarkeit bei Nutzersuchen verringern
AppleApplebotSuche in Spotlight, Siri und Safari; die Daten können auch Apples Modelle trainierenWird befolgt; ohne eigene Applebot-Regeln folgt er deinen Googlebot-Regeln
AppleApplebot-ExtendedNur Token, crawlt nicht; schließt Inhalte vom Training von Apples Modellen ausInhalte können weiter in der Suche erscheinen
Metameta-webindexerVerbessert die Suchergebnisse von Meta AILaut Meta hilft das Zulassen, dich zu zitieren und zu verlinken
Metameta-externalagentTrainiert KI-Modelle oder indexiert Inhalte für ProdukteMit einer Disallow-Regel blockieren
Metameta-externalfetcherRuft Links auf Nutzeranfrage abKann die robots.txt umgehen
Common CrawlCCBotBaut einen offenen Crawl-Datensatz, den alle auswerten könnenMit Disallow stoppst du das Crawling

Die gewöhnlichen Crawler von Google halten sich beim automatischen Crawlen immer an die robots.txt. Die vom Nutzer ausgelösten Fetcher wie Google-Agent ignorieren sie dagegen meist, weil jemand den Abruf angefordert hat.

Microsoft hat in seiner Crawler-Liste kein eigenes Token für KI-Training. Die Liste nennt bingbot, AdIdxBot für Anzeigen und Crawler für Vorschauen. Die Nutzung in Copilot steuerst du stattdessen mit Meta-Tags: Laut den Webmaster-Richtlinien von Bing hält NOARCHIVE Inhalte aus Copilot-Antworten und der Fundierung heraus, und NOCACHE beschränkt Copilot auf URL, Titel und Snippet. Meta beschreibt seine Crawler auf der Seite zu Web-Crawlern; Common Crawl dokumentiert CCBot auf seiner CCBot-Seite.

Eine robots.txt für einen Onlineshop#

Dieses Beispiel lässt Such- und Shopping-Crawler den Katalog lesen, hält alle Bots aus Warenkorb, Kasse und Kundenkonto heraus und blockiert das Modelltraining, also auch GPTBot. Northpeak, ein Shop für Outdoor-Ausrüstung, würde die Datei unter https://example.com/robots.txt ablegen. Die erste Gruppe gilt für jeden Bot, der nicht an anderer Stelle genannt ist, darunter Googlebot, Storebot-Google, bingbot, OAI-SearchBot, PerplexityBot, Claude-SearchBot, Applebot und meta-webindexer. Die zweite Gruppe sperrt die Trainings-Crawler und Token. Die Pfade passt du an deinen Shop an.

User-agent: *
Disallow: /warenkorb
Disallow: /kasse
Disallow: /mein-konto

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

Drei Regeln sorgen dafür, dass das funktioniert:

  1. Ein Crawler folgt nur einer Gruppe. Laut Googles Dokumentation zur robots.txt nutzt ein Crawler die Gruppe mit dem spezifischsten passenden User-Agent und ignoriert die anderen. Ein Bot mit eigener Gruppe liest die *-Regeln also nicht mit; wiederhole private Pfade dort.
  2. Mehrere User-Agents können sich eine Gruppe teilen. Stehen mehrere User-agent:-Zeilen vor den Regeln, gelten die Regeln für jeden genannten Bot.
  3. Training zuzulassen ist eine eigene Entscheidung. Dürfen deine Seiten Modelle trainieren, löschst du die zweite Gruppe. OpenAI, Google, Anthropic und Apple dokumentieren ihre Such-Crawler getrennt von ihren Trainings-Crawlern und Token, und Perplexity sagt, dass PerplexityBot nicht für Training genutzt wird.

Willst du die Such-Crawler lieber ausdrücklich nennen, gib jedem eine eigene Gruppe mit denselben Disallow-Zeilen für private Pfade.

Prüfen, bevor du blockierst#

  • Abrufe durch das Merchant Center. Ruft Google deine Produktdatei nach Zeitplan ab, dürfen Googlebot und AdsBot-Google laut Google nicht für das Verzeichnis mit der Datei gesperrt sein.
  • Subdomains zählen einzeln. Anthropic erinnert daran, Regeln für jede Subdomain anzulegen, für die du widersprechen willst.
  • Änderungen brauchen Zeit. Laut OpenAI dauern Änderungen bei der Suche etwa 24 Stunden; Meta nennt bis zu 24 Stunden.
  • User-Agents lassen sich fälschen. OpenAI veröffentlicht IP-Bereiche für seine Bots, und Bing bietet ein Tool, um Bingbot zu prüfen. Prüfe das, bevor du per IP zulässt oder sperrst.
  • Firewalls können Kundschaft aussperren. Eine Bot-Regel in deinem CDN kann verhindern, dass der Cloud-Browser von ChatGPT einen Kauf für jemanden abschließt. Laut OpenAI prüfen Akamai, Cloudflare, HUMAN und Vercel seine signierten Browser-Anfragen automatisch.

Ein gemeinsames Signal gegen KI-Training kommt: Seit dem 30. Oktober 2026 erkennt Anthropic ein maschinenlesbares Signal, mit dem Website-Betreiber „kein KI-Training“ erklären können. Es folgt einem Entwurf der aipref-Arbeitsgruppe der IETF, und Regeln, die ClaudeBot ausdrücklich nennen, haben Vorrang. Google will das gemeinsame Trainingssignal AIPREF Anfang 2027 unterstützen. Bis dahin schließt du das Gemini-Training mit Google-Extended aus.

Wo Central hilft#

Du bestimmst, was hineingeht (dein Shop, deine Dateien oder deine Produktseiten) und auf welchen Kanälen es erscheint; Central AI recherchiert, prüft und schreibt alles dazwischen. Jeder Wert ist mit Quellen belegt, die du prüfen kannst; was die Quellen nicht stützen, wird zurückgehalten. Die ersten 3 Produkte sind kostenlos.

Fragen

Verschwinden meine Produkte aus ChatGPT, wenn ich GPTBot blockiere?

Nicht wegen GPTBot allein. OpenAI behandelt seine Bots unabhängig voneinander: GPTBot betrifft das Modelltraining, OAI-SearchBot entscheidet, ob deine Website in den Suchantworten von ChatGPT erscheint.

Schadet es meinem Google-Ranking, wenn ich Google-Extended blockiere?

Nein. Laut Google hat Google-Extended keinen Einfluss auf die Aufnahme in die Google Suche und ist kein Ranking-Signal. Es steuert, ob deine Inhalte für das Training von Gemini und für die Fundierung von Antworten genutzt werden.

Kann ich mit der robots.txt jeden KI-Besuch stoppen?

Nein. Für Fetcher, die auf Anfrage von Nutzern handeln, etwa ChatGPT-User, Perplexity-User und meta-externalfetcher, gilt die robots.txt laut ihren Betreibern unter Umständen nicht. Anthropic sagt, dass alle seine Bots die robots.txt beachten.

Quellen

  1. Overview of OpenAI Crawlers · OpenAI developer docs geprüft am 19. November 2026
  2. Gewöhnliche Crawler von Google · Google-Crawling-Infrastruktur geprüft am 19. November 2026
  3. Crawlt Anthropic Daten aus dem Web, und wie können Website-Besitzer den Crawler blockieren? · Anthropic geprüft am 19. November 2026
  4. Perplexity crawlers · Perplexity geprüft am 19. November 2026
  5. Informationen zu Applebot · Apple geprüft am 19. November 2026

Du bestimmst, was hineingeht und wo es erscheint.

Central AI erledigt alles dazwischen. Deine ersten 3 Produkte sind kostenlos.

  1. Dein InputDein Shop, deine Dateien oder deine Produktseiten.
  2. Central AIRecherchiert, prüft und schreibt alles dazwischen. Jeder Wert ist mit Quellen belegt, die du prüfen kannst; was die Quellen nicht stützen, wird zurückgehalten.
  3. Deine KanäleProduktdaten und Listings für die Kanäle, die du wählst.