Auf dieser Seite
Antwort-Bots und Trainings-Bots
| Art | Was er tut | Wenn Sie ihn sperren |
|---|---|---|
| Antwort-Bot | Ruft eine Seite ab, wenn jemand einen KI-Assistenten fragt, damit er Sie zitieren kann | Sie verschwinden aus den Antworten dieses Assistenten |
| Trainings-Bot | Kopiert Text, um künftige KI-Modelle zu trainieren | Ihr Text bleibt aus künftigen Modellen heraus; Antworten funktionieren weiter |
Die Bots im Einzelnen
| Crawler | Betreiber | Verwendet für |
|---|---|---|
OAI-SearchBot |
OpenAI | ChatGPT-Suchergebnisse und Zitate (Antworten) |
ChatGPT-User |
OpenAI | Seiten, nach denen ein ChatGPT-Nutzer fragt, live abgerufen (Antworten) |
GPTBot |
OpenAI | Trainingsdaten (Training) |
Claude-SearchBot |
Anthropic | Verbessert die Qualität der Claude-Suchergebnisse (Antworten) |
Claude-User |
Anthropic | Seiten, nach denen ein Claude-Nutzer fragt, live abgerufen (Antworten) |
ClaudeBot |
Anthropic | Trainingsdaten (Training) |
PerplexityBot |
Perplexity | Perplexity-Index und Zitate (Antworten) |
Perplexity-User |
Perplexity | Seiten, nach denen ein Perplexity-Nutzer fragt, live abgerufen (Antworten). Laut Perplexity ignoriert er die robots.txt in der Regel |
CCBot |
Common Crawl | Ein offenes Archiv des Webs einer gemeinnützigen Organisation. Common Crawl sagt, CCBot befolge die robots.txt (Archiv) |
Bytespider |
ByteDance | Trainingsdaten (Training). ByteDance veröffentlicht dazu keine offizielle Seite |
meta-externalagent |
Meta | Training von KI-Modellen und Verbesserung der Meta-Produkte (Training) |
Amazonbot |
Amazon | Verbessert die Produkte von Amazon und kann für das Training seiner KI-Modelle genutzt werden (Training) |
Google-Extended |
Gemini-Training und -Grounding, nicht die Google-Suche (Training) | |
Applebot-Extended |
Apple | Training für Apple Intelligence (Training) |
Die robots.txt-Zeilen zum Kopieren
So erlauben Sie die Antwort-Bots und sperren die Trainings-Bots:
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /
Wenn Sie alle erlauben wollen, brauchen Sie gar nichts: Eine robots.txt ohne Regeln für diese Bots lässt sie bereits herein.
Ein echtes Beispiel: gesperrt, ohne es zu wissen
Im Oktober 2026 hat MonoRanks die eigene Website geprüft und 10 von 12 KI-Crawlern gesperrt gefunden, darunter ChatGPT-User und Claude-User. Unsere robots.txt sagte „willkommen“. Die Sperren kamen von einer Sicherheitseinstellung bei unserem CDN (der verwalteten robots.txt von Cloudflare), die ihre eigenen Regeln über unsere gesetzt hat.
Wir haben diese Einstellung abgeschaltet, und die nächste Prüfung zeigte 12 von 12 erlaubt. (Diese Zahlen wurden gemessen, als die Prüfung 12 Bots umfasste. Jetzt umfasst sie 13.) Die Lehre daraus: Lesen Sie die robots.txt, die live ist, nicht die in Ihren Dateien.
So prüfen Sie Ihre Website
- Öffnen Sie
https://yoursite.com/robots.txtund lesen Sie die ganze Datei. - Achten Sie auf Zeilenblöcke, die Sie nicht selbst geschrieben haben. Oft fügt sie ein Hoster, ein CDN oder ein Sicherheits-Plugin hinzu.
- Führen Sie den kostenlosen KI-Crawler-Check aus: Er liest Ihre live geschaltete robots.txt und zeigt Bot für Bot, wer Ihre Seiten lesen darf und ob Sie eine llms.txt haben.
MonoRanks führt diese Prüfung jede Woche für 13 KI-Bots aus, zeigt, was jedem Bot heute gesagt wird, und gibt Ihnen die genauen Zeilen für Ihre Wahl. Auf WordPress kann es sie nach Ihrer Freigabe für Sie schreiben:

Das größere Bild finden Sie unter Was ist GEO.
Quellen
- OpenAI: Überblick über die Crawler von OpenAI
- Anthropic: wie Website-Betreiber die Crawler von Anthropic sperren können
- Perplexity: PerplexityBot und Perplexity-User
- Google Search Central: Google-Extended und andere gängige Crawler
- Apple: über Applebot und Applebot-Extended
- Cloudflare: verwaltete robots.txt








