Como funciona o matching de Allow/Disallow
Crawlers escolhem a regra Allow ou Disallow mais específica para o grupo de user-agent. Este testador aplica um subconjunto prático das regras comuns para você detectar bloqueios acidentais antes do deploy.
Teste como um robots.txt trata um caminho para um user-agent. Veja o grupo de agente correspondente e um breve motivo de allow ou disallow.
Preencha os campos do formulário.
Mude modos ou opções, se houver.
Copie a saída quando estiver certa (muitas vezes atualiza ao vivo).
Crawlers escolhem a regra Allow ou Disallow mais específica para o grupo de user-agent. Este testador aplica um subconjunto prático das regras comuns para você detectar bloqueios acidentais antes do deploy.
Complete os campos em Testador de robots.txt. A saída é gerada no navegador — copie quando pronto.
Deixe opcionais vazios para um resultado mínimo.
Sempre que possível, Testador de robots.txt processa seus dados localmente com JavaScript nesta página. Rascunhos, segredos e trabalhos em andamento ficam no seu dispositivo por padrão. Prefira esse fluxo quando não quiser enviar textos sensíveis, tokens, senhas ou arquivos para um serviço de terceiros.
Não. Cole o conteúdo do arquivo você mesmo—nada é baixado do seu site.
Cobre padrões comuns de Allow/Disallow com curingas. Casos extremos em crawlers reais ainda podem diferir.
Na maioria das ferramentas do FlyUtils, não. O processamento acontece no seu navegador com JavaScript. Se alguma ferramenta precisar de servidor, isso estará claro na página.
Sim. Testador de robots.txt é gratuito, sem cadastro e sem limites artificiais para uso pessoal e profissional comum.
Sim. A página é mobile-first: você pode colar conteúdo, ajustar opções e copiar resultados no telefone ou tablet.