Generador de robots.txt: crea un archivo robots.txt
Genera un robots.txt listo para desplegar (User-agent, Allow/Disallow, Sitemap), en tu navegador.
Place it at your domain root: /robots.txt
🔒 100 % en el cliente — no se envía ningún dato
Genera un archivo robots.txt válido eligiendo el User-agent, las reglas Allow y Disallow y la dirección de tu sitemap. La herramienta se ejecuta 100% en el navegador sin enviar ningún dato, así que puedes crear y copiar tu archivo con total privacidad.
What is it for?
- ▸ Impedir la indexación de una carpeta de administración
- ▸ Permitir que todos los bots rastreen un sitio recién creado
- ▸ Declarar la URL del sitemap para acelerar el rastreo
- ▸ Bloquear un bot de IA específico para que no acceda a tu contenido
FAQ
¿Dónde debe ir el archivo robots.txt?
El archivo debe colocarse en la raíz de tu dominio, accesible en tusitio.com/robots.txt. Si se encuentra en una subcarpeta, los motores de búsqueda lo ignorarán.
¿Disallow impide que una página se indexe?
No del todo: Disallow bloquea el rastreo, pero una página bloqueada aún puede aparecer en los resultados si está enlazada en otro sitio. Para mantener una página fuera del índice, usa la etiqueta meta noindex en su lugar.
¿Es obligatorio un archivo robots.txt?
No, no es obligatorio; sin él, los bots rastrean todo por defecto. Resulta útil en cuanto quieres restringir ciertas zonas o indicar la ubicación de tu sitemap.