Zum Inhalt springen

Glossar KI-Crawler

KI-Crawler: GPTBot, OAI-SearchBot und Google-Extended erklärt

Welche KI-Crawler Onlineshops besuchen, wofür jeder da ist, wie du sie in der robots.txt erlaubst oder blockierst und warum Such- und Trainings-Crawler verschieden sind.

Aktualisiert am 19. November 20261 Min. LesezeitEnglish

Ein KI-Crawler ist ein automatisierter Client, der Webseiten für ein KI-Unternehmen abruft: um Modelle zu trainieren, um Websites in Antworten der KI-Suche zu zeigen oder um eine Seite zu öffnen, nach der ein Nutzer einen Assistenten gefragt hat.

Drei Aufgaben, verschiedene Bots#

KI-Unternehmen rufen Seiten aus verschiedenen Gründen ab, und jeder Zweck hat in der robots.txt einen eigenen Namen.

NameUnternehmenZweck
OAI-SearchBotOpenAIZeigt Websites in den Suchfunktionen von ChatGPT
GPTBotOpenAICrawlt Inhalte, die zum Training von OpenAIs Modellen genutzt werden können
ChatGPT-UserOpenAIBesucht eine Seite, wenn ein Nutzer ChatGPT oder einen Custom GPT fragt; kein automatisches Crawling
OAI-AdsBotOpenAIPrüft Landingpages, die als Anzeigen in ChatGPT eingereicht wurden
Google-ExtendedGoogleSteuert, ob gecrawlte Inhalte für das Training von Gemini-Modellen und für Grounding genutzt werden dürfen

Suche ist nicht Training#

OpenAI behandelt jede Einstellung unabhängig: Du kannst OAI-SearchBot erlauben, damit deine Seiten in der ChatGPT-Suche erscheinen, und GPTBot sperren, damit deine Inhalte nicht ins Training gehen. Eine Website, die OAI-SearchBot ausschließt, erscheint nicht in den Suchantworten von ChatGPT, kann aber noch als Navigationslink auftauchen. Laut OpenAI kann es etwa 24 Stunden dauern, bis eine Änderung an der robots.txt in der Suche greift.

Weil ChatGPT-User im Auftrag eines Nutzers handelt, gelten robots.txt-Regeln laut OpenAI dafür unter Umständen nicht.

Google-Extended ist ein Produkt-Token, kein eigener Crawler: Google crawlt mit seinen üblichen User-Agents und liest die Gruppe Google-Extended in der robots.txt als Steuerung. Laut Google beeinflusst Google-Extended weder die Aufnahme in die Google-Suche noch das Ranking.

Beispiel: GPTBot blockieren, ChatGPT-Suche erlauben#

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Diese Datei erlaubt OAI-SearchBot für die ChatGPT-Suche, signalisiert, dass die Seiten nicht zum Training von OpenAIs Modellen genutzt werden sollen, und nimmt die Inhalte über Google-Extended aus dem Training und Grounding von Gemini heraus.

Mehr dazu im Ratgeber zu KI-Crawlern für Onlineshops.

Fragen

Verschwinden meine Produkte aus der ChatGPT-Suche, wenn ich GPTBot blockiere?

Nein. OpenAI behandelt jede Einstellung getrennt. GPTBot ist für das Modelltraining da; OAI-SearchBot entscheidet, ob eine Website in den Suchantworten von ChatGPT erscheint.

Wirkt sich das Blockieren von Google-Extended auf die Google-Suche aus?

Nein. Laut Google hat Google-Extended keinen Einfluss darauf, ob eine Website in der Google-Suche erscheint, und ist kein Ranking-Signal.

Quellen

  1. Overview of OpenAI Crawlers · OpenAI geprüft am 19. November 2026
  2. List of Google's common crawlers · Google Search Central geprüft am 19. November 2026

Du bestimmst, was hineingeht und wo es erscheint.

Central AI erledigt alles dazwischen. Deine ersten 3 Produkte sind kostenlos.

  1. Dein InputDein Shop, deine Dateien oder deine Produktseiten.
  2. Central AIRecherchiert, prüft und schreibt alles dazwischen. Jeder Wert ist mit Quellen belegt, die du prüfen kannst; was die Quellen nicht stützen, wird zurückgehalten.
  3. Deine KanäleProduktdaten und Listings für die Kanäle, die du wählst.