Generatore Robots.txt: crea un file Robots.txt
Genera un file robots.txt pronto per la distribuzione (User-agent, Consenti/Non consenti, Sitemap) nel tuo browser.
Place it at your domain root: /robots.txt
🔒 100 % lato client — nessun dato inviato
Genera un file robots.txt valido scegliendo lo User-agent, le regole Consenti e Non consenti e l'indirizzo della tua mappa del sito. Lo strumento funziona al 100% nel browser senza che vengano inviati dati, quindi puoi creare e copiare il tuo file in totale privacy.
What is it for?
- ▸ Impedisci l'indicizzazione di una cartella di amministrazione
- ▸ Consenti a tutti i bot di eseguire la scansione di un sito nuovo di zecca
- ▸ Dichiara l'URL della mappa del sito per accelerare la scansione
- ▸ Blocca uno specifico bot AI dai tuoi contenuti
FAQ
Dove dovrebbe andare il file robots.txt?
Il file deve essere posizionato nella radice del tuo dominio, raggiungibile all'indirizzo tuosito.com/robots.txt. Se si trova in una sottocartella, i motori di ricerca lo ignoreranno.
Disallow impedisce l'indicizzazione di una pagina?
Non del tutto: non consente la scansione dei blocchi, ma una pagina bloccata può comunque essere visualizzata nei risultati se è collegata altrove. Per mantenere una pagina fuori dall'indice, utilizza invece il tag meta noindex.
Il file robots.txt è obbligatorio?
No, non è obbligatorio; senza di esso, i bot eseguono la scansione di tutto per impostazione predefinita. Diventa utile non appena desideri limitare determinate aree o puntare alla posizione della mappa del sito.