# KI-Crawler: GPTBot, OAI-SearchBot und Google-Extended erklärt

> Welche KI-Crawler Onlineshops besuchen, wofür jeder da ist, wie du sie in der robots.txt erlaubst oder blockierst und warum Such- und Trainings-Crawler verschieden sind.

Quelle: https://central.to/de/glossar/ki-crawler · Aktualisiert am 2026-11-19 · Veröffentlicht von Central (https://central.to)

**Definition:** Ein KI-Crawler ist ein automatisierter Client, der Webseiten für ein KI-Unternehmen abruft: um Modelle zu trainieren, um Websites in Antworten der KI-Suche zu zeigen oder um eine Seite zu öffnen, nach der ein Nutzer einen Assistenten gefragt hat.

Kostenloses Tool: [KI-Crawler-Check](https://central.to/de/tools/ki-crawler-pruefen). Prüfe, ob ChatGPT, Perplexity, die KI von Google, Claude und andere KI-Crawler deinen Shop lesen dürfen.

## Drei Aufgaben, verschiedene Bots

KI-Unternehmen rufen Seiten aus verschiedenen Gründen ab, und jeder Zweck hat in der `robots.txt` einen eigenen Namen.

| Name | Unternehmen | Zweck |
| --- | --- | --- |
| OAI-SearchBot | OpenAI | Zeigt Websites in den Suchfunktionen von ChatGPT |
| GPTBot | OpenAI | Crawlt Inhalte, die zum Training von OpenAIs Modellen genutzt werden können |
| ChatGPT-User | OpenAI | Besucht eine Seite, wenn ein Nutzer ChatGPT oder einen Custom GPT fragt; kein automatisches Crawling |
| OAI-AdsBot | OpenAI | Prüft Landingpages, die als Anzeigen in ChatGPT eingereicht wurden |
| Google-Extended | Google | Steuert, ob gecrawlte Inhalte für das Training von Gemini-Modellen und für Grounding genutzt werden dürfen |

## Suche ist nicht Training

OpenAI behandelt jede Einstellung unabhängig: Du kannst OAI-SearchBot erlauben, damit deine Seiten in der ChatGPT-Suche erscheinen, und GPTBot sperren, damit deine Inhalte nicht ins Training gehen. Eine Website, die OAI-SearchBot ausschließt, erscheint nicht in den Suchantworten von ChatGPT, kann aber noch als Navigationslink auftauchen. Laut OpenAI kann es etwa 24 Stunden dauern, bis eine Änderung an der robots.txt in der Suche greift.

Weil ChatGPT-User im Auftrag eines Nutzers handelt, gelten robots.txt-Regeln laut OpenAI dafür unter Umständen nicht.

Google-Extended ist ein Produkt-Token, kein eigener Crawler: Google crawlt mit seinen üblichen User-Agents und liest die Gruppe `Google-Extended` in der robots.txt als Steuerung. Laut Google beeinflusst Google-Extended weder die Aufnahme in die Google-Suche noch das Ranking.

## Beispiel: GPTBot blockieren, ChatGPT-Suche erlauben

```
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /
```

Diese Datei erlaubt OAI-SearchBot für die ChatGPT-Suche, signalisiert, dass die Seiten nicht zum Training von OpenAIs Modellen genutzt werden sollen, und nimmt die Inhalte über Google-Extended aus dem Training und Grounding von Gemini heraus.

[Mehr dazu im Ratgeber zu KI-Crawlern für Onlineshops](https://central.to/de/ratgeber/ki-crawler-fuer-onlineshops).

## Fragen

### Verschwinden meine Produkte aus der ChatGPT-Suche, wenn ich GPTBot blockiere?

Nein. OpenAI behandelt jede Einstellung getrennt. GPTBot ist für das Modelltraining da; OAI-SearchBot entscheidet, ob eine Website in den Suchantworten von ChatGPT erscheint.

### Wirkt sich das Blockieren von Google-Extended auf die Google-Suche aus?

Nein. Laut Google hat Google-Extended keinen Einfluss darauf, ob eine Website in der Google-Suche erscheint, und ist kein Ranking-Signal.

## Quellen

1. [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots), geprüft am 2026-11-19
2. [List of Google's common crawlers](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers), geprüft am 2026-11-19
