Imposta lo user-agent e i percorsi allow/disallow per generare un file robots.txt pronto all’uso.
Compila i campi del modulo.
Cambia modalità se presenti.
Copia l’output quando è a posto (spesso in tempo reale).
Il file robots.txt indica ai crawler dei motori di ricerca quali parti del tuo sito possono o non possono accedere. Non garantisce che le pagine restino fuori dai risultati di ricerca, ma è il modo standard per guidare i crawler ben educati.
Compila i campi in Generatore di Robots.txt. L’output è prodotto nel browser.
Lascia vuoti i campi opzionali per un risultato minimo.
Quando possibile, Generatore di Robots.txt elabora i dati in locale con JavaScript in questa pagina. Bozze, segreti e lavori in corso restano sul tuo dispositivo per impostazione predefinita. Usa questo flusso quando non vuoi caricare testi sensibili, token, password o file su un servizio di terze parti.
Non in modo affidabile — usa un tag meta noindex per questo. Robots.txt controlla solo la scansione, non l’indicizzazione.
Deve essere posizionato nella radice del tuo dominio, es: https://esempio.it/robots.txt, per essere riconosciuto dai crawler.
Per la maggior parte degli strumenti FlyUtils, no. L’elaborazione avviene nel browser con JavaScript. Se uno strumento richiede un server, sarà indicato chiaramente nella pagina.
Sì. Generatore di Robots.txt è gratuito, senza registrazione e senza limiti artificiali per l’uso personale e professionale comune.
Sì. La pagina è mobile-first: puoi incollare contenuti, regolare le opzioni e copiare i risultati da telefono o tablet.