Rastreadores de IA y robots.txt: a quién permitir

La respuesta corta

Permite los bots de respuestas si quieres aparecer en las respuestas de IA. Decide sobre los bots de entrenamiento según tus propios criterios; bloquearlos mantiene tu texto fuera de los futuros modelos pero no te quita de las respuestas. Deja a Googlebot en paz.

Los bots, por lo que hacen

Rastreador	Propietario	Se usa para
`OAI-SearchBot`	OpenAI	Resultados de búsqueda y citas de ChatGPT (respuestas)
`ChatGPT-User`	OpenAI	Páginas por las que pregunta un usuario de ChatGPT, descargadas en directo (respuestas)
`GPTBot`	OpenAI	Datos de entrenamiento (entrenamiento)
`Claude-User`	Anthropic	Páginas por las que pregunta un usuario de Claude, descargadas en directo (respuestas)
`ClaudeBot`	Anthropic	Datos de entrenamiento y respuestas web de Claude (entrenamiento + respuestas)
`PerplexityBot`	Perplexity	Índice y citas de Perplexity (respuestas)
`Google-Extended`	Google	Entrenamiento y grounding de Gemini, no la Búsqueda de Google (entrenamiento)
`Applebot-Extended`	Apple	Entrenamiento de Apple Intelligence (entrenamiento)

Las líneas

Para permitir los bots de respuestas y bloquear los de entrenamiento:

User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /

ClaudeBot es el caso incómodo: sirve tanto para entrenamiento como para las respuestas web de Claude, así que bloquearlo también te quita de esas respuestas.

Comprueba antes de cambiar

Lee primero tu robots.txt: una regla User-agent: * ya se aplica a todos los bots que no hayas nombrado. Un sitio que bloquea todo por una regla de staging bloquea también los bots de respuestas, y nada en Search Console te lo dirá.

MonoRanks lee el archivo, muestra el efecto por bot y te da las líneas exactas para tu elección; en WordPress puede escribirlas por ti. Ver Preparación GEO.

Fuentes

Preguntas frecuentes

¿Bloquear GPTBot perjudica mis posiciones en Google?

No. GPTBot es el rastreador de entrenamiento de OpenAI; la Búsqueda de Google usa Googlebot, al que estas reglas no tocan.

¿Qué es Google-Extended?

Un control sobre si Google puede usar tus páginas para el entrenamiento y el grounding de Gemini. No afecta a la Búsqueda de Google ni a las AI Overviews.

¿Todos los bots obedecen el robots.txt?

Los de OpenAI, Anthropic, Google, Apple y Perplexity dicen que sí. Los scrapers desconocidos puede que no; eso es un asunto de cortafuegos, no de robots.txt.