Atur user-agent dan path allow/disallow untuk membuat file robots.txt yang siap digunakan.
Isi field formulir.
Ubah mode jika ada.
Salin keluaran saat sudah benar (sering langsung).
File robots.txt memberi tahu crawler mesin pencari bagian mana dari situs Anda yang boleh atau tidak boleh diakses. Ini tidak menjamin halaman tetap keluar dari hasil pencarian, tetapi ini cara standar untuk mengarahkan crawler yang berperilaku baik.
Lengkapi field di Pembuat Robots.txt. Keluaran dibuat di browser.
Kosongkan field opsional untuk hasil minimal.
Jika memungkinkan, Pembuat Robots.txt memproses data secara lokal dengan JavaScript di halaman ini. Draf, rahasia, dan pekerjaan yang belum selesai tetap di perangkat Anda secara default. Gunakan alur ini saat Anda tidak ingin mengunggah teks sensitif, token, kata sandi, atau file ke layanan pihak ketiga.
Tidak secara andal — gunakan meta tag noindex untuk itu. Robots.txt hanya mengontrol crawling, bukan pengindeksan.
Harus diletakkan di root domain Anda, misal https://contoh.com/robots.txt, agar dikenali oleh crawler.
Untuk sebagian besar alat FlyUtils, tidak. Pemrosesan terjadi di browser dengan JavaScript. Jika suatu alat membutuhkan server, itu akan dijelaskan di halaman.
Ya. Pembuat Robots.txt gratis, tanpa daftar, dan tanpa batas artifisial untuk penggunaan pribadi maupun kerja sehari-hari.
Ya. Halaman ini mobile-first sehingga Anda bisa menempel input, mengatur opsi, dan menyalin hasil dari ponsel atau tablet.