Los resultados se ofrecen solo con fines informativos y pueden contener errores. Verifica la información importante de forma independiente. El uso de esta herramienta es bajo tu propia responsabilidad.
Qué hace esta herramienta
El Generador de Robots.txt crea el archivo robots.txt que indica a los rastreadores de los buscadores qué partes de un sitio pueden visitar. Elige Permitir todos los rastreadores o Bloquear todos los rastreadores, enumera las rutas que quieras dejar fuera del rastreo (una por línea, como /admin/) y añade la URL completa de tu sitemap XML. Las reglas se aplican a todos los rastreadores (User-agent: *).
Sube el resultado como archivo de texto plano llamado robots.txt a la raíz del dominio, de modo que sea accesible en https://yourdomain.com/robots.txt. Los rastreadores lo leen antes que cualquier otra cosa. Las rutas bloqueadas solo se incluyen cuando la regla predeterminada es Permitir todos los rastreadores, porque Bloquear todos los rastreadores ya las cubre.
Cuándo usarla
- Lanzar un sitio e indicar a los rastreadores dónde está su sitemap.
- Mantener a los rastreadores fuera de las rutas de administración, carrito, resultados de búsqueda o APIs internas.
- Bloquear todo el rastreo de un sitio de staging o de pruebas.
- Reducir el presupuesto de rastreo que se desperdicia en URL filtradas o duplicadas.
Ejemplo práctico
Entrada
Allow all
Disallow: /admin/, /cart/
Sitemap: https://example.com/sitemap.xmlSalida
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Sitemap: https://example.com/sitemap.xmlPreguntas sobre esta herramienta
¿Disallow deja una página fuera de Google?
No de forma fiable. Impide el rastreo, pero una URL bloqueada puede indexarse igualmente a partir de enlaces de otros sitios, sin descripción. Para dejar una página fuera de los resultados de búsqueda, permite el rastreo y añade en su lugar una meta etiqueta robots o una cabecera noindex.
¿robots.txt es una medida de seguridad?
No. Es un archivo público y los rastreadores respetuosos lo siguen de forma voluntaria. De hecho, listar en él rutas secretas equivale a anunciarlas. Protege las zonas privadas con autenticación.
¿Cómo bloqueo los rastreadores que entrenan IA?
Añade un grupo aparte para cada rastreador que quieras excluir, por ejemplo User-agent: GPTBot seguido de Disallow: /. Cada empresa documenta los nombres de user-agent que usan sus rastreadores.
¿Y si bloqueo todo mi sitio de staging pero lanzo con el mismo archivo?
Entonces el sitio en producción queda bloqueado para los buscadores. Revisa robots.txt en cada lanzamiento: un Disallow: / olvidado es una de las causas más comunes de una caída repentina del tráfico.
¿Esta herramienta es gratuita?
Sí, es gratis. Sin registro ni correo electrónico. Obtén el resultado en esta página.
¿Cómo obtengo el resultado?
Usa la herramienta en esta página. El resultado aparece aquí, sin envío por correo electrónico.