GEO

KI-Crawler und robots.txt: welche Bots Sie erlauben sollten

Es gibt zwei Arten von KI-Crawlern. Antwort-Bots rufen Ihre Seiten ab, um sie in Antworten zu zitieren; Trainings-Bots kopieren Text, um künftige Modelle zu trainieren. Erlauben Sie die Antwort-Bots, wenn Sie in KI-Antworten vorkommen wollen, entscheiden Sie über die Trainings-Bots nach Ihren eigenen Maßstäben, und sperren Sie nie versehentlich Googlebot.

KI-Crawler-Tabelle in MonoRanks
Auf dieser Seite

Antwort-Bots und Trainings-Bots

Art Was er tut Wenn Sie ihn sperren
Antwort-Bot Ruft eine Seite ab, wenn jemand einen KI-Assistenten fragt, damit er Sie zitieren kann Sie verschwinden aus den Antworten dieses Assistenten
Trainings-Bot Kopiert Text, um künftige KI-Modelle zu trainieren Ihr Text bleibt aus künftigen Modellen heraus; Antworten funktionieren weiter

Die Bots im Einzelnen

Crawler Betreiber Verwendet für
OAI-SearchBot OpenAI ChatGPT-Suchergebnisse und Zitate (Antworten)
ChatGPT-User OpenAI Seiten, nach denen ein ChatGPT-Nutzer fragt, live abgerufen (Antworten)
GPTBot OpenAI Trainingsdaten (Training)
Claude-SearchBot Anthropic Verbessert die Qualität der Claude-Suchergebnisse (Antworten)
Claude-User Anthropic Seiten, nach denen ein Claude-Nutzer fragt, live abgerufen (Antworten)
ClaudeBot Anthropic Trainingsdaten (Training)
PerplexityBot Perplexity Perplexity-Index und Zitate (Antworten)
Perplexity-User Perplexity Seiten, nach denen ein Perplexity-Nutzer fragt, live abgerufen (Antworten). Laut Perplexity ignoriert er die robots.txt in der Regel
CCBot Common Crawl Ein offenes Archiv des Webs einer gemeinnützigen Organisation. Common Crawl sagt, CCBot befolge die robots.txt (Archiv)
Bytespider ByteDance Trainingsdaten (Training). ByteDance veröffentlicht dazu keine offizielle Seite
meta-externalagent Meta Training von KI-Modellen und Verbesserung der Meta-Produkte (Training)
Amazonbot Amazon Verbessert die Produkte von Amazon und kann für das Training seiner KI-Modelle genutzt werden (Training)
Google-Extended Google Gemini-Training und -Grounding, nicht die Google-Suche (Training)
Applebot-Extended Apple Training für Apple Intelligence (Training)

Die robots.txt-Zeilen zum Kopieren

So erlauben Sie die Antwort-Bots und sperren die Trainings-Bots:

User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /

Wenn Sie alle erlauben wollen, brauchen Sie gar nichts: Eine robots.txt ohne Regeln für diese Bots lässt sie bereits herein.

Ein echtes Beispiel: gesperrt, ohne es zu wissen

Im Oktober 2026 hat MonoRanks die eigene Website geprüft und 10 von 12 KI-Crawlern gesperrt gefunden, darunter ChatGPT-User und Claude-User. Unsere robots.txt sagte „willkommen“. Die Sperren kamen von einer Sicherheitseinstellung bei unserem CDN (der verwalteten robots.txt von Cloudflare), die ihre eigenen Regeln über unsere gesetzt hat.

Wir haben diese Einstellung abgeschaltet, und die nächste Prüfung zeigte 12 von 12 erlaubt. (Diese Zahlen wurden gemessen, als die Prüfung 12 Bots umfasste. Jetzt umfasst sie 13.) Die Lehre daraus: Lesen Sie die robots.txt, die live ist, nicht die in Ihren Dateien.

So prüfen Sie Ihre Website

  1. Öffnen Sie https://yoursite.com/robots.txt und lesen Sie die ganze Datei.
  2. Achten Sie auf Zeilenblöcke, die Sie nicht selbst geschrieben haben. Oft fügt sie ein Hoster, ein CDN oder ein Sicherheits-Plugin hinzu.
  3. Führen Sie den kostenlosen KI-Crawler-Check aus: Er liest Ihre live geschaltete robots.txt und zeigt Bot für Bot, wer Ihre Seiten lesen darf und ob Sie eine llms.txt haben.

MonoRanks führt diese Prüfung jede Woche für 13 KI-Bots aus, zeigt, was jedem Bot heute gesagt wird, und gibt Ihnen die genauen Zeilen für Ihre Wahl. Auf WordPress kann es sie nach Ihrer Freigabe für Sie schreiben:

Die Tabelle KI-Crawler in MonoRanks mit allen 13 Crawlern, von GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot und Claude-User bis Amazonbot, jeweils mit ihrem Zweck, dem, was die robots.txt heute sagt, und der Wahl zwischen lassen, erlauben oder sperren

Das größere Bild finden Sie unter Was ist GEO.

Quellen

Häufige Fragen

Schadet es meinen Google-Rankings, GPTBot zu sperren?

Nein. GPTBot ist der Trainings-Crawler von OpenAI. Die Google-Suche nutzt Googlebot, den diese Regeln nicht berühren.

Was ist Google-Extended?

Eine Einstellung dafür, ob Google Ihre Seiten für das Training und Grounding von Gemini nutzen darf. Sie betrifft weder die Google-Suche noch AI Overviews.

Wenn ich die Trainings-Bots sperre, hört ChatGPT dann auf, mich zu zitieren?

Nicht, wenn Sie die Antwort-Bots erlauben. Die ChatGPT-Suche nutzt OAI-SearchBot und ChatGPT-User, die von GPTBot getrennt sind.

Halten sich alle Bots an die robots.txt?

Die Crawler tun es: GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot und PerplexityBot. Abrufer, die laufen, weil ein Nutzer darum gebeten hat, etwa ChatGPT-User und Perplexity-User, tun es möglicherweise nicht. OpenAI sagt, robots.txt-Regeln „gelten möglicherweise nicht“ für ChatGPT-User, und Perplexity sagt, Perplexity-User ignoriere sie in der Regel. Anthropic sagt, Claude-User befolge die robots.txt. Unbekannte Scraper tun es vielleicht auch nicht; die zu stoppen ist Aufgabe einer Firewall, nicht der robots.txt.

Kann mein Hoster oder CDN KI-Bots sperren, ohne dass ich es weiß?

Ja. Manche Sicherheitseinstellungen tragen KI-Bots für Sie in die robots.txt ein. Öffnen Sie ihreseite.de/robots.txt und lesen Sie die ganze Datei, auch Zeilen, die Sie nicht selbst geschrieben haben.

Etwa eine E-Mail im Monat

Was sich bei Suche und KI-Antworten geändert hat, aus dem, was wir in Audits sehen. Keine Karte, kein Verkaufsgespräch, Abmelden mit einem Klick.