El robots.txt es un archivo de texto plano ubicado en la raíz de un sitio web que proporciona instrucciones a los rastreadores de los buscadores (como Googlebot) sobre qué páginas o secciones pueden o no pueden rastrear.
Forma parte del Protocolo de Exclusión de Robots, un estándar que los buscadores respetan voluntariamente. Es importante entender que es una recomendación, no una orden obligatoria ni un método de seguridad.
Siempre en la raíz del dominio: https://tudominio.com/robots.txt
Puedes ver el robots.txt de cualquier web añadiendo /robots.txt a su dominio. Pruébalo con webs conocidas para ver ejemplos reales.
El robots.txt tiene una sintaxis sencilla basada en directivas. Cada directiva ocupa una línea:
Indica a qué rastreador van dirigidas las instrucciones:
User-agent: * → Todos los rastreadoresUser-agent: Googlebot → Solo el bot de GoogleUser-agent: Bingbot → Solo el bot de BingIndica qué rutas NO deben rastrearse:
Disallow: /admin/ → Bloquea la carpeta adminDisallow: /privado.html → Bloquea una página específicaDisallow: / → Bloquea TODO el sitioDisallow: (vacío) → No bloquea nadaPermite rastrear una ruta dentro de una bloqueada:
Disallow: /carpeta/Allow: /carpeta/publico.html → Permite solo esa páginaIndica la ubicación del sitemap XML:
Sitemap: https://tudominio.com/sitemap.xml
Veamos ejemplos prácticos de configuraciones de robots.txt según diferentes necesidades:
User-agent: *
Allow: /
Sitemap: https://tudominio.com/sitemap.xml
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Sitemap: https://tudominio.com/sitemap.xml
User-agent: *
Disallow: /*?*
Disallow: /search/
Sitemap: https://tudominio.com/sitemap.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*?s=
Disallow: /*?p=
Sitemap: https://tudominio.com/sitemap_index.xml
User-agent: *
Disallow: /
¡Cuidado! Esto impide que Google rastree cualquier página. Solo usar temporalmente.
Crear un robots.txt es sencillo. Solo necesitas un editor de texto:
Abre el Bloc de notas, TextEdit o cualquier editor de texto plano. No uses Word ni editores de texto enriquecido.
Empieza con la configuración básica:
User-agent: *
Allow: /
Sitemap: https://tudominio.com/sitemap.xml
Añade las directivas Disallow que necesites según tu caso.
Guárdalo exactamente como robots.txt (todo en minúsculas, sin extensión adicional).
Sube el archivo a la raíz de tu dominio mediante FTP o el gestor de archivos de tu hosting. Debe ser accesible en: tudominio.com/robots.txt
Abre tudominio.com/robots.txt en el navegador para confirmar que funciona correctamente.
Si usas WordPress, tienes varias opciones para gestionar el robots.txt:
WordPress genera un robots.txt virtual por defecto. Los plugins SEO suelen crear uno físico que tiene prioridad. Si tienes problemas, comprueba que no haya conflictos entre ambos.
En Ajustes → Lectura, si marcas «Disuadir a los motores de búsqueda», WordPress añade automáticamente un Disallow que bloquea todo el sitio. Asegúrate de que esta opción esté desmarcada en producción.
Es crucial entender que el robots.txt controla el rastreo, no la indexación:
Si bloqueas una URL en robots.txt, Google no la rastreará. Pero si hay enlaces externos apuntando a ella, Google puede indexarla sin contenido, mostrando en los resultados algo como «No hay información disponible para esta página».
Si quieres que una página NO aparezca en Google, usa la etiqueta meta noindex:
<meta name="robots" content="noindex">
Y no la bloquees en robots.txt, porque entonces Google no podrá leer la etiqueta noindex.
El robots.txt es una herramienta básica pero fundamental del SEO técnico. Una configuración incorrecta puede bloquear contenido importante y afectar seriamente a tu posicionamiento, mientras que una configuración óptima ayuda a Google a rastrear tu sitio de forma eficiente.
En JRC Web revisamos y optimizamos todos los aspectos técnicos de tu web, incluyendo robots.txt, sitemaps, canonicals y estructura de URLs. Como agencia SEO en Barcelona, nos aseguramos de que tu web esté correctamente configurada para los buscadores.
Una auditoría SEO completa incluye la revisión de todos estos elementos técnicos para detectar y corregir problemas que podrían estar frenando tu posicionamiento.
¿Tienes dudas sobre la configuración técnica de tu web? Contacta con nosotros y analizamos tu caso sin compromiso.
Google ofrece herramientas para verificar que tu robots.txt funciona correctamente:
En Search Console, el informe de Páginas te muestra si hay URLs bloqueadas por robots.txt. Si ves páginas importantes en esta categoría, revisa tu configuración.
Estos errores pueden afectar seriamente a tu SEO:
Disallow: / bloquea absolutamente todo. A veces se deja esta línea de un entorno de desarrollo y se sube a producción por error. Verifica siempre antes de subir.
Google necesita acceder a CSS y JS para renderizar las páginas correctamente. Bloquearlos afecta cómo Google interpreta tu contenido y puede perjudicar el posicionamiento.
Como vimos, bloquear en robots.txt no impide la indexación. Si hay enlaces externos, Google puede indexar la URL mostrando un resultado vacío.
El archivo es público. Cualquiera puede leerlo y ver qué estás «ocultando». No es un método de seguridad.
Añadir la referencia al sitemap en robots.txt ayuda a los buscadores a encontrarlo. Es una buena práctica que no tiene coste.
El concepto de crawl budget (presupuesto de rastreo) es especialmente relevante para sitios grandes:
Es el número de páginas que Google está dispuesto a rastrear en tu sitio en un período determinado. Depende de la importancia de tu sitio y de la capacidad de tu servidor.
Para sitios pequeños (menos de 1.000 páginas), el crawl budget rara vez es un problema.
Cada bot de buscador tiene su propio nombre (user-agent). Los más importantes:
Puedes dar instrucciones diferentes a cada bot:
User-agent: Googlebot
Disallow: /privado/
User-agent: Bingbot
Disallow: /privado/
Disallow: /otro/
¡Haz clic para puntuar esta entrada!
Guía de SEO para tiendas online: keyword research, arquitectura, fichas de producto, SEO técnico y local en Barcelona para posicionar tu ecommerce y vender más.
Aprende cómo aparecer en ChatGPT y lograr que la IA recomiende tu negocio: optimización técnica, contenido, autoridad y SEO local en Barcelona.
