GEO

Rastreadores de IA y robots.txt: qué bots permitir

Hay dos tipos de rastreador de IA. Los bots de respuestas descargan tus páginas para citarlas en sus respuestas; los bots de entrenamiento copian texto para entrenar futuros modelos. Permite los bots de respuestas si quieres salir en las respuestas de IA, decide sobre los de entrenamiento según tus propios criterios y nunca bloquees Googlebot por error.

Tabla de rastreadores de IA en MonoRanks
En esta página

Bots de respuestas frente a bots de entrenamiento

Tipo Qué hace Si lo bloqueas
Bot de respuestas Descarga una página cuando alguien pregunta a un asistente de IA, para poder citarte Desapareces de las respuestas de ese asistente
Bot de entrenamiento Copia texto para entrenar futuros modelos de IA Tu texto queda fuera de los futuros modelos; las respuestas siguen funcionando

Los bots, uno a uno

Rastreador Propietario Se usa para
OAI-SearchBot OpenAI Resultados de búsqueda y citas de ChatGPT (respuestas)
ChatGPT-User OpenAI Páginas por las que pregunta un usuario de ChatGPT, descargadas en directo (respuestas)
GPTBot OpenAI Datos de entrenamiento (entrenamiento)
Claude-SearchBot Anthropic Mejora la calidad de los resultados de búsqueda de Claude (respuestas)
Claude-User Anthropic Páginas por las que pregunta un usuario de Claude, descargadas en directo (respuestas)
ClaudeBot Anthropic Datos de entrenamiento (entrenamiento)
PerplexityBot Perplexity Índice y citas de Perplexity (respuestas)
Perplexity-User Perplexity Páginas por las que pregunta un usuario de Perplexity, leídas en directo (respuestas). Perplexity dice que por lo general ignora el robots.txt
CCBot Common Crawl Un archivo abierto de la web, de una organización sin ánimo de lucro. Common Crawl dice que CCBot obedece el robots.txt (archivo)
Bytespider ByteDance Datos de entrenamiento (entrenamiento). ByteDance no publica una página oficial sobre él
meta-externalagent Meta Entrenar modelos de IA y mejorar los productos de Meta (entrenamiento)
Amazonbot Amazon Mejora los productos de Amazon y puede usarse para entrenar sus modelos de IA (entrenamiento)
Google-Extended Google Entrenamiento y grounding de Gemini, no la Búsqueda de Google (entrenamiento)
Applebot-Extended Apple Entrenamiento de Apple Intelligence (entrenamiento)

Las líneas de robots.txt para copiar

Para permitir los bots de respuestas y bloquear los de entrenamiento:

User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: Amazonbot
Disallow: /

Para permitirlos a todos no necesitas nada: un robots.txt sin reglas para estos bots ya los deja entrar.

Un ejemplo real: bloqueados sin saberlo

En octubre de 2026, MonoRanks revisó su propio sitio web y encontró 10 de 12 rastreadores de IA bloqueados, entre ellos ChatGPT-User y Claude-User. Nuestro robots.txt decía “bienvenidos”. Los bloqueos venían de un ajuste de seguridad de nuestra CDN (el robots.txt gestionado de Cloudflare), que añadía sus propias reglas encima de las nuestras.

Desactivamos ese ajuste y la siguiente comprobación mostró 12 de 12 permitidos. (Esas cifras se midieron cuando la comprobación cubría 12 bots. Ahora cubre 13.) La lección: lee el robots.txt que está publicado, no el que tienes en tus archivos.

Cómo revisar tu sitio web

  1. Abre https://yoursite.com/robots.txt y lee el archivo entero.
  2. Busca bloques de líneas que no escribiste tú, a menudo añadidos por un hosting, una CDN o un plugin de seguridad.
  3. Usa la revisión de rastreadores de IA gratuita: lee tu robots.txt publicado y muestra, bot a bot, quién puede leer tus páginas, y si tienes un llms.txt.

MonoRanks hace esta comprobación cada semana con 13 bots de IA, muestra lo que se le dice hoy a cada bot y te da las líneas exactas para tu elección. En WordPress puede escribirlas por ti después de que las apruebes:

Tabla de rastreadores de IA en MonoRanks con los 13 rastreadores, desde GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot y Claude-User hasta Amazonbot, cada uno con para qué se usa, qué dice hoy el robots.txt y la opción de dejarlo, permitirlo o bloquearlo

Para ver el panorama completo, lee Qué es GEO.

Fuentes

Preguntas frecuentes

¿Bloquear GPTBot perjudica mis posiciones en Google?

No. GPTBot es el rastreador de entrenamiento de OpenAI. La Búsqueda de Google usa Googlebot, al que estas reglas no tocan.

¿Qué es Google-Extended?

Un ajuste que decide si Google puede usar tus páginas para el entrenamiento y el grounding (basar respuestas en fuentes) de Gemini. No afecta a la Búsqueda de Google ni a las AI Overviews.

Si bloqueo los bots de entrenamiento, ¿ChatGPT dejará de citarme?

No, si permites los bots de respuestas. La búsqueda de ChatGPT usa OAI-SearchBot y ChatGPT-User, que son distintos de GPTBot.

¿Todos los bots obedecen el robots.txt?

Los rastreadores sí: GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot y PerplexityBot. Los que se activan porque un usuario lo pidió, como ChatGPT-User y Perplexity-User, puede que no. OpenAI dice que las reglas de robots.txt "pueden no aplicarse" a ChatGPT-User, y Perplexity dice que Perplexity-User por lo general las ignora. Anthropic dice que Claude-User sigue el robots.txt. Los scrapers desconocidos puede que tampoco; frenarlos es trabajo de un cortafuegos, no del robots.txt.

¿Puede mi hosting o mi CDN estar bloqueando los bots de IA sin que lo sepa?

Sí. Algunos ajustes de seguridad añaden por ti los bots de IA al robots.txt. Abre tusitio.com/robots.txt y lee el archivo entero, incluidas las líneas que no escribiste tú.

Más o menos un correo al mes

Lo que ha cambiado en la búsqueda y en las respuestas de IA, a partir de lo que vemos en las auditorías. Sin tarjeta, sin venta, un clic para salir.