Testen Sie, wie eine robots.txt einen Pfad für einen User-Agent behandelt. Sehen Sie die passende Agent-Gruppe und einen kurzen Grund für Allow oder Disallow.
Formularfelder ausfüllen.
Modi ggf. wechseln.
Ausgabe kopieren, wenn sie passt (oft live).
Crawler wählen die spezifischste passende Allow- oder Disallow-Regel für ihre User-Agent-Gruppe. Dieser Tester wendet eine praktische Teilmenge gängiger Regeln an, damit Sie versehentliche Blocks vor dem Deploy erkennen.
Felder in robots.txt-Tester ausfüllen. Ausgabe entsteht im Browser.
Optionale Felder leer lassen für ein Minimalergebnis.
Wo möglich verarbeitet robots.txt-Tester Ihre Daten lokal mit JavaScript auf dieser Seite. Entwürfe, Geheimnisse und unfertige Arbeit bleiben standardmäßig auf Ihrem Gerät. Nutzen Sie diesen Ablauf, wenn Sie keine sensiblen Texte, Tokens, Passwörter oder Dateien an einen Drittanbieter senden möchten.
Nein. Fügen Sie den Dateiinhalt selbst ein—von Ihrer Site wird nichts geladen.
Es deckt gängige Allow/Disallow-Muster mit Wildcards ab. Randfälle realer Crawler können abweichen.
Bei den meisten FlyUtils-Tools: nein. Die Verarbeitung erfolgt in Ihrem Browser mit JavaScript. Falls ein Tool einen Server braucht, steht das klar auf der Seite.
Ja. robots.txt-Tester ist kostenlos, ohne Anmeldung und ohne künstliche Limits für den normalen privaten und beruflichen Gebrauch.
Ja. Die Seite ist mobile-first — Sie können Eingaben einfügen, Optionen anpassen und Ergebnisse vom Smartphone oder Tablet kopieren.