Puntos clave
- El robots.txt dice qué URL pueden pedir los rastreadores; vive en la raíz de tu dominio.
- Controla el rastreo, no la indexación: una página bloqueada puede salir en Google si otros la enlazan.
- Para sacar una página de Google, usa noindex o contraseña, no robots.txt.
- Casi todos los sitios de empresa necesitan un robots.txt muy corto, más la línea del sitemap.
Un robots.txt dañado es de lo más grave que encuentro en una auditoría de SEO técnico, porque nadie lo ve. El sitio se ve bien; simplemente Google no lo puede leer.
¿Qué es el archivo robots.txt?
El robots.txt es un archivo de texto en la raíz de tu dominio, como ejemplo.com/robots.txt, que les indica a los rastreadores de los buscadores qué URL pueden visitar. Google lo describe como una forma de administrar el tráfico de rastreo y evitar que se sobrecargue el sitio. Los rastreadores serios lo leen antes de visitar otras páginas.
La descripción viene de la introducción a robots.txt de Google.
¿El robots.txt saca una página de Google?
No. Google dice claramente que el robots.txt no es un mecanismo para mantener una página fuera de Google. Si otros sitios enlazan una URL bloqueada, Google igual puede indexar la dirección y mostrarla, normalmente sin descripción. Para sacarla de los resultados, usa la etiqueta noindex, una contraseña o elimina la página.
| Objetivo | Qué usar |
|---|---|
| Que los rastreadores no pierdan tiempo en filtros o búsquedas internas | Disallow en robots.txt |
| Sacar una página de los resultados de Google | Meta etiqueta o encabezado noindex |
| Mantener privado un contenido privado | Contraseña o inicio de sesión |
| Quitar una página que no debe existir | Eliminarla y devolver 404 o 410 |
Google explica el noindex por separado. Ojo: si bloqueas una página en robots.txt, Google no puede ver su etiqueta noindex. Para quitarla paso a paso, lee cómo desindexar una página de Google.
¿Cómo se ve un robots.txt seguro?
En la mayoría de sitios de empresa, un robots.txt seguro permite todo menos unas pocas zonas técnicas y señala el sitemap. Bloquear los resultados de búsqueda interna o combinaciones infinitas de filtros puede tener sentido. Bloquear CSS, JavaScript o carpetas enteras de páginas reales casi nunca, porque Google los necesita para entender el sitio.
User-agent: *
Disallow: /buscar
Sitemap: https://ejemplo.com/sitemap.xml
La línea del sitemap ayuda a que los rastreadores encuentren tu sitemap XML. Muchas plataformas generan este archivo solas; Shopify, por ejemplo, documenta cómo editar robots.txt.liquid.
¿Cuál es el error más peligroso en el robots.txt?
Una línea Disallow: / que quedó del desarrollo. Le dice a todos los rastreadores que no entren a ninguna parte del sitio. Pasa mucho cuando un sitio de pruebas sale al aire con su configuración copiada. Revisa tudominio.com/robots.txt después de cada lanzamiento o migración y confírmalo con la inspección de URL de Search Console.
- Abre tudominio.com/robots.txt y léelo línea por línea.
- Busca "Disallow: /" debajo de User-agent: *.
- Asegúrate de que las carpetas de CSS y JavaScript no estén bloqueadas.
- Confirma que la línea Sitemap apunte a la URL correcta y publicada.
- Prueba una página clave con la herramienta de inspección de URL de Search Console.
¿El robots.txt controla los rastreadores de IA?
En parte. Muchas empresas de IA publican los nombres de sus rastreadores para que los dueños de sitios los permitan o bloqueen en el robots.txt. Google, por ejemplo, documenta un identificador aparte para controlar el uso del contenido en algunos de sus productos de IA. Bloquearlos también puede reducir tus opciones de ser citado, así que decide con intención.
Google lista sus rastreadores comunes, incluido ese identificador. Explico el equilibrio en cómo aparecer en ChatGPT y en los AI Overviews, y el robots.txt es una línea de mi checklist de SEO técnico. Como consultor SEO, lo reviso en cada diagnóstico gratis: agenda el tuyo.
Preguntas frecuentes
¿Dónde va el robots.txt?
En la raíz del dominio, para que abra en tudominio.com/robots.txt. Cada subdominio necesita su propio archivo. Agrega dentro un enlace a tu sitemap y prueba las reglas en Search Console para no bloquear por error páginas que quieres ver indexadas en Google.
¿Es obligatorio tener robots.txt?
No. Sin él, los rastreadores asumen que pueden visitar todo. La mayoría de sitios igual usa uno para indicar el sitemap y bloquear zonas sin valor en la búsqueda, como páginas de administración, búsquedas internas o carpetas de prueba del servidor.
¿Todos los bots obedecen el robots.txt?
Los rastreadores serios sí. Los maliciosos pueden ignorarlo, así que no es una herramienta de seguridad. Protege las páginas privadas con contraseña o reglas del servidor, porque listar una carpeta secreta en robots.txt puede incluso mostrar a los atacantes dónde buscar.
¿Puedo bloquear una sola página con robots.txt?
Puedes bloquear el rastreo, pero usa noindex si lo que quieres es sacarla de los resultados. El robots.txt frena el rastreo, pero una página bloqueada puede salir en resultados si otros sitios la enlazan. El noindex solo funciona si Google puede rastrear la página y leer la etiqueta.
¿Cada subdominio necesita su propio robots.txt?
Sí. Cada host lee su propio archivo. Por ejemplo, blog.tudominio.com y tienda.tudominio.com necesitan cada uno un archivo en su raíz, y las reglas del dominio principal no aplican a ellos. Prueba cada archivo en Search Console después de cada cambio que hagas.
¿Quieres ver estas guías primero? Elige JJ SEO Colombia como fuente preferida en Google y mis artículos tendrán más posibilidades de aparecerte en Noticias destacadas.
Síguenos en GoogleAgregar como fuente preferida