Puntos clave
- GPTBot es el rastreador de entrenamiento de OpenAI. Bloquearlo en robots.txt saca tus páginas del entrenamiento de modelos, no de la búsqueda de ChatGPT.
- Los bots de búsqueda como OAI-SearchBot, Claude-SearchBot y PerplexityBot deciden si te pueden citar. La mayoría de negocios debería permitirlos.
- Los que visitan a pedido, como ChatGPT-User, Perplexity-User y Google-Agent, actúan cuando una persona pregunta y pueden no seguir el robots.txt.
- El accidente más común ni siquiera está en el robots.txt: es un CDN o un firewall que bloquea bots, incluido Googlebot.
Bloquear GPTBot es una decisión de negocio, no un ajuste técnico por defecto. Si el robots.txt es nuevo para ti, lee primero qué es robots.txt; aquí solo hablo de los rastreadores de IA. Y ojo: el llms.txt es otro archivo que no bloquea nada, como explico en qué es llms.txt.
¿Qué son los rastreadores de IA y qué hacen?
Los rastreadores de IA son bots que las empresas de IA envían a leer páginas web. Hacen tres trabajos: recoger páginas para entrenar modelos, indexarlas para que un buscador con IA pueda citarlas y abrir una página en vivo porque un usuario preguntó por ella. Cada trabajo suele tener su propio nombre, así que puedes tratarlos distinto.
Cada nombre de la tabla sale de la documentación de cada empresa, revisada el 9 de noviembre de 2026: OpenAI, Anthropic, Perplexity, rastreadores comunes de Google y visitas a pedido del usuario de Google.
| Empresa | Entrenamiento | Búsqueda y citas | Visita a pedido (una persona preguntó) |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User (OpenAI dice que el robots.txt puede no aplicar) |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | Ninguno: PerplexityBot no se usa para entrenar | PerplexityBot | Perplexity-User (en general ignora el robots.txt) |
| Google-Extended, un identificador de control sin rastreador propio | Googlebot (AI Overviews y Modo IA usan la Búsqueda) | Google-Agent (las visitas a pedido en general ignoran el robots.txt) |
OpenAI también lista OAI-AdsBot, que solo visita páginas enviadas como anuncios en ChatGPT. Google dice que Google-Extended controla si su contenido rastreado puede usarse para entrenar futuros modelos Gemini y para el grounding en las apps de Gemini, y que no afecta la inclusión ni la posición en la Búsqueda de Google. Para la Búsqueda, su página de funciones de IA dice que el control es el robots.txt para Googlebot.
¿Conviene bloquear GPTBot en robots.txt?
Solo si no quieres que tu contenido se use para entrenar los modelos de OpenAI. OpenAI dice que bloquear GPTBot indica justo eso, y que la visibilidad en búsqueda depende de otro bot, OAI-SearchBot. Para un negocio de servicios que quiere ser recomendado, bloquear GPTBot casi nunca ayuda; bloquear OAI-SearchBot te sacaría de las respuestas de ChatGPT.
La misma lógica aplica a ClaudeBot y a Google-Extended. Bloquear Google-Extended también cubre el grounding en las apps de Gemini, así que si quieres que Gemini te cite, piénsalo dos veces. Los medios con contenido de pago suelen bloquear los bots de entrenamiento; la mayoría de negocios locales, clínicas y tiendas con los que trabajo quieren lo contrario: que los lean y los citen lo más posible.
Ejemplos seguros de robots.txt para rastreadores de IA
Ejemplo 1, bloquear entrenamiento y mantener búsqueda (una tienda hipotética con una carpeta privada /cart/):
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /cart/
User-agent: Claude-SearchBot
Allow: /
Disallow: /cart/
User-agent: PerplexityBot
Allow: /
Disallow: /cart/
User-agent: *
Disallow: /cart/
Fíjate que /cart/ se repite en cada grupo. La especificación de robots.txt de Google dice que un rastreador sigue solo el grupo con el user agent más específico que coincide con él, y que los grupos específicos y el grupo * no se combinan. Un bot con grupo propio ignora tus reglas generales. Ejemplo 2, permitir todo: si quieres que todas las IA te lean, no necesitas líneas de IA, siempre que nada en un grupo * las bloquee.
- Copia los nombres exactos de la tabla; un error de escritura deja la regla sin efecto.
- Nunca pongas Disallow: / bajo User-agent: * salvo que quieras desaparecer de la búsqueda.
- Protege las páginas privadas con contraseña, no con robots.txt. Es un archivo público y no es seguridad.
- Dale unas 24 horas a OpenAI y a Perplexity para reflejar un cambio, como dicen ambas en su documentación.
¿Bloquear rastreadores de IA en robots.txt funciona de verdad?
Con los rastreadores declarados de las grandes empresas, casi siempre sí: OpenAI, Anthropic, Perplexity y Google documentan que sus rastreadores automáticos siguen el robots.txt. No detiene las visitas a pedido del usuario, que pueden ignorarlo, ni a los scrapers que esconden su identidad. El robots.txt es una petición, no un candado.
La zona gris existe. El 4 de agosto de 2025, Cloudflare denunció que Perplexity usaba rastreadores no declarados para saltarse reglas de no rastreo y la sacó de su lista de bots verificados; ese mismo día Perplexity lo negó, con el argumento de que los agentes que actúan por pedido del usuario no son bots. Anthropic agrega que bloquear sus direcciones IP puede no funcionar de forma confiable y que el camino es el robots.txt.
¿Cómo puede un CDN o un firewall bloquear rastreadores de IA por error?
Las herramientas de seguridad bloquean los bots que parecen automáticos, y los rastreadores de IA, e incluso Googlebot, lo parecen. Una opción de protección contra bots, un bloqueo por país o una regla de firewall agresiva pueden devolverles errores mientras tu robots.txt dice permitir. Tú ves la página bien y el rastreador no la ve.
Pasa más de lo que se cree. Cloudflare empezó a bloquear por defecto los rastreadores de IA en dominios nuevos el 1 de julio de 2025, y pregunta al registrarte si quieres permitirlos. La página de funciones de IA de Google recomienda revisar que el rastreo esté permitido tanto en el robots.txt como en el CDN o el hosting. Yo vi el peor caso en una clínica médica de Dallas–Fort Worth: su firewall bloqueaba al propio Google. Después de corregirlo, su posición media pasó de 13,5 a cerca de 9; los detalles están en el caso de la clínica. La página de Perplexity da una buena regla para firewalls: permite un bot solo cuando coinciden su user agent y sus rangos de IP publicados, así los bots falsos se quedan afuera.
¿Cómo revisar qué rastreadores de IA pueden entrar a tu sitio?
Abre tudominio.com/robots.txt y busca el nombre de cada bot de la tabla. Luego revisa la configuración de bots de tu CDN o hosting, mira en los registros del servidor esos user agents y los códigos que reciben, y haz una prueba en vivo de una URL en Search Console. Un error 403 para bots reales indica un bloqueo.
Esta revisión es parte de cada auditoría de SEO técnico que hago, y la guía de SEO para Perplexity explica ese rastreador a fondo. Para ver cómo encaja el acceso de los rastreadores en la visibilidad en IA, entra a la guía de GEO o al inicio.
Preguntas frecuentes
¿Bloquear GPTBot me saca de ChatGPT?
No. GPTBot es para entrenamiento. La búsqueda de ChatGPT usa OAI-SearchBot, que controlas con su propio grupo en el robots.txt. Revisa tu robots.txt para confirmar qué permites, y deja entrar a OAI-SearchBot si quieres aparecer en la búsqueda de ChatGPT.
¿Google-Extended es un rastreador?
No. Google dice que es un identificador de control sin user agent propio; los rastreadores normales de Google hacen las visitas. Lo controlas en el robots.txt con su propio grupo, y bloquearlo no afecta tu aparición en la Búsqueda de Google.
¿Puedo bloquear los AI Overviews con robots.txt?
Solo limitando a Googlebot, lo que también afecta la Búsqueda normal. Google recomienda nosnippet y controles parecidos para limitar lo que se muestra. Piénsalo antes de usarlos, porque también limitan cómo aparece tu página en los resultados normales de Google.
¿Los rastreadores de IA ponen lento mi sitio?
Pueden sumar carga. Anthropic acepta Crawl-delay para ClaudeBot; si el tráfico es alto, limitar la velocidad en el CDN es más seguro que bloquear bots de búsqueda. Revisa el tráfico de bots en el servidor antes de decidir qué limitar y a quién dejar pasar.
¿Debo poner todos los bots de IA en el robots.txt?
No. Nombra solo los bots que quieres tratar distinto. Los que no nombras siguen tus reglas generales. Así el archivo queda simple y fácil de revisar, y evitas bloquear por error a un rastreador de búsqueda que sí quieres dejar entrar.
¿Quieres ver estas guías primero? Elige JJ SEO Colombia como fuente preferida en Google y mis artículos tendrán más posibilidades de aparecerte en Noticias destacadas.
Síguenos en GoogleAgregar como fuente preferidaFuentes
- OpenAI, Overview of OpenAI crawlers
- Anthropic Help Center, Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity, Perplexity crawlers
- Google Crawling Infrastructure, Google's common crawlers: Google-Extended (updated October 30, 2026)
- Google Crawling Infrastructure, Google's user-triggered fetchers (Google-Agent, updated August 19, 2026)
- Google Search Central, AI features and your website
- Google Crawling Infrastructure, How Google interprets the robots.txt specification
- Cloudflare, Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large (press release, July 1, 2025)
- Cloudflare Blog, Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives (August 4, 2025)
- Perplexity, Agents or bots? Making sense of AI on the open web (August 4, 2025)