Générateur de robots.txt : créer un fichier robots
Générez un fichier robots.txt (User-agent, Allow/Disallow, Sitemap) prêt à déployer, dans le navigateur.
À placer à la racine de votre domaine : /robots.txt
🔒 100 % côté client — aucune donnée envoyée
Générez un fichier robots.txt valide en choisissant les User-agent, les règles Allow et Disallow et l'adresse de votre sitemap. L'outil fonctionne à 100 % dans le navigateur, sans envoi de données, pour construire et copier votre fichier en toute confidentialité.
À quoi ça sert ?
- ▸ Empêcher l'indexation d'un dossier d'administration
- ▸ Autoriser tous les robots à explorer un nouveau site
- ▸ Déclarer l'URL du sitemap pour accélérer le crawl
- ▸ Bloquer un robot d'IA spécifique de votre contenu
FAQ
Où placer le fichier robots.txt ?
Le fichier doit être déposé à la racine de votre domaine, accessible à l'adresse votresite.com/robots.txt. Placé dans un sous-dossier, il ne sera pas pris en compte par les moteurs de recherche.
Disallow empêche-t-il l'indexation d'une page ?
Pas totalement : Disallow empêche l'exploration, mais une page bloquée peut encore apparaître dans les résultats si elle est liée ailleurs. Pour exclure une page de l'index, utilisez plutôt la balise meta noindex.
Un fichier robots.txt est-il obligatoire ?
Non, il n'est pas obligatoire ; sans lui, les robots explorent tout par défaut. Il devient utile dès que vous souhaitez restreindre certaines zones ou indiquer l'emplacement de votre sitemap.