Legen Sie den User-Agent und die Allow-/Disallow-Pfade fest, um eine sofort einsetzbare robots.txt-Datei zu erstellen.
Formularfelder ausfüllen.
Modi ggf. wechseln.
Ausgabe kopieren, wenn sie passt (oft live).
Die robots.txt-Datei teilt Suchmaschinen-Crawlern mit, welche Teile Ihrer Website sie besuchen dürfen oder nicht. Sie garantiert nicht, dass Seiten aus den Suchergebnissen bleiben, ist aber der Standardweg, um wohlverhaltene Crawler zu steuern.
Felder in Robots.txt-Generator ausfüllen. Ausgabe entsteht im Browser.
Optionale Felder leer lassen für ein Minimalergebnis.
Wo möglich verarbeitet Robots.txt-Generator Ihre Daten lokal mit JavaScript auf dieser Seite. Entwürfe, Geheimnisse und unfertige Arbeit bleiben standardmäßig auf Ihrem Gerät. Nutzen Sie diesen Ablauf, wenn Sie keine sensiblen Texte, Tokens, Passwörter oder Dateien an einen Drittanbieter senden möchten.
Nicht zuverlässig — verwenden Sie dafür ein noindex-Meta-Tag. Robots.txt steuert nur das Crawlen, nicht die Indexierung.
Sie muss im Root Ihrer Domain liegen, z. B. https://beispiel.de/robots.txt, um von Crawlern erkannt zu werden.
Bei den meisten FlyUtils-Tools: nein. Die Verarbeitung erfolgt in Ihrem Browser mit JavaScript. Falls ein Tool einen Server braucht, steht das klar auf der Seite.
Ja. Robots.txt-Generator ist kostenlos, ohne Anmeldung und ohne künstliche Limits für den normalen privaten und beruflichen Gebrauch.
Ja. Die Seite ist mobile-first — Sie können Eingaben einfügen, Optionen anpassen und Ergebnisse vom Smartphone oder Tablet kopieren.