Define el user-agent y las rutas de allow/disallow para generar un archivo robots.txt listo para usar.
Completa los campos del formulario.
Cambia modos si existen.
Copia la salida cuando esté bien (a menudo en vivo).
El archivo robots.txt indica a los rastreadores de motores de búsqueda qué partes de tu sitio pueden o no acceder. No garantiza que las páginas queden fuera de los resultados de búsqueda, pero es la forma estándar de guiar a rastreadores bien comportados.
Completa los campos en Generador de Robots.txt. La salida se genera en el navegador.
Deja opcionales vacíos para un resultado mínimo.
Siempre que sea posible, Generador de Robots.txt procesa tus datos localmente con JavaScript en esta página. Borradores, secretos y trabajo en curso se quedan en tu dispositivo por defecto. Usa este flujo cuando no quieras subir texto sensible, tokens, contraseñas o archivos a un servicio de terceros.
No de forma confiable — usa una meta tag noindex para eso. Robots.txt solo controla el rastreo, no la indexación.
Debe colocarse en la raíz de tu dominio, ej: https://ejemplo.com/robots.txt, para ser reconocido por los rastreadores.
En la mayoría de las herramientas de FlyUtils, no. El procesamiento ocurre en tu navegador con JavaScript. Si alguna necesita servidor, se indicará claramente en la página.
Sí. Generador de Robots.txt es gratis, sin registro y sin límites artificiales para uso personal y profesional habitual.
Sí. La página es mobile-first: puedes pegar contenido, ajustar opciones y copiar resultados desde el teléfono o la tablet.