Robots.txt-Generator: Eine Robots.txt-Datei erstellen
Generiere eine sofort einsetzbare robots.txt (User-agent, Allow/Disallow, Sitemap) in deinem Browser.
Place it at your domain root: /robots.txt
🔒 100 % clientseitig — keine Daten gesendet
Generiere eine gültige robots.txt-Datei, indem du den User-agent, die Allow- und Disallow-Regeln sowie deine Sitemap-Adresse auswählst. Das Tool läuft zu 100 % im Browser, ohne dass Daten gesendet werden, sodass du deine Datei mit voller Privatsphäre erstellen und kopieren kannst.
What is it for?
- ▸ Verhindere die Indexierung eines Admin-Ordners
- ▸ Erlaube allen Bots, eine brandneue Website zu crawlen
- ▸ Gib die Sitemap-URL an, um das Crawling zu beschleunigen
- ▸ Blockiere einen bestimmten AI-Bot von deinen Inhalten
FAQ
Wo muss die robots.txt-Datei abgelegt werden?
Die Datei muss im Root deiner Domain liegen und unter deineseite.com/robots.txt erreichbar sein. Wenn sie in einem Unterordner liegt, ignorieren Suchmaschinen sie.
Verhindert Disallow, dass eine Seite indexiert wird?
Nicht vollständig: Disallow blockiert das Crawling, aber eine blockierte Seite kann weiterhin in Ergebnissen erscheinen, wenn sie anderswo verlinkt ist. Um eine Seite aus dem Index herauszuhalten, verwende stattdessen das Meta-Tag noindex.
Ist eine robots.txt-Datei verpflichtend?
Nein, sie ist nicht verpflichtend; ohne sie crawlen Bots standardmäßig alles. Sie wird nützlich, sobald du bestimmte Bereiche einschränken oder auf den Speicherort deiner Sitemap verweisen möchtest.