Defina o user-agent e os caminhos de allow/disallow para gerar um arquivo robots.txt pronto para usar.
Preencha os campos do formulário.
Mude modos ou opções, se houver.
Copie a saída quando estiver certa (muitas vezes atualiza ao vivo).
O arquivo robots.txt diz aos crawlers de mecanismos de busca quais partes do seu site eles podem ou não acessar. Não garante que páginas fiquem fora dos resultados de busca, mas é a forma padrão de orientar crawlers bem comportados.
Complete os campos em Gerador de Robots.txt. A saída é gerada no navegador — copie quando pronto.
Deixe opcionais vazios para um resultado mínimo.
Sempre que possível, Gerador de Robots.txt processa seus dados localmente com JavaScript nesta página. Rascunhos, segredos e trabalhos em andamento ficam no seu dispositivo por padrão. Prefira esse fluxo quando não quiser enviar textos sensíveis, tokens, senhas ou arquivos para um serviço de terceiros.
Não de forma confiável — use uma meta tag noindex para isso. Robots.txt só controla o rastreamento, não a indexação.
Deve ser colocado na raiz do seu domínio, ex: https://exemplo.com/robots.txt, para ser reconhecido pelos crawlers.
Na maioria das ferramentas do FlyUtils, não. O processamento acontece no seu navegador com JavaScript. Se alguma ferramenta precisar de servidor, isso estará claro na página.
Sim. Gerador de Robots.txt é gratuito, sem cadastro e sem limites artificiais para uso pessoal e profissional comum.
Sim. A página é mobile-first: você pode colar conteúdo, ajustar opções e copiar resultados no telefone ou tablet.