Robots.txt Generator
Generator Robots.txt Gratis
Buat file robots.txt yang tepat untuk situs web Anda tanpa harus menulis kode dari awal.
Alat gratis ini membantu Anda menyusun aturan yang memberi tahu bot mesin pencari bagian mana dari situs Anda yang boleh dirayapi dan area mana yang harus dilewati. Isi opsinya, buat filenya, dan unggah ke direktori root situs web Anda.
Apa itu File robots.txt?
Robots.txt adalah file teks sederhana yang berada di folder root situs web Anda (contoh: https://yoursite.com/robots.txt).
Ketika mesin pencari seperti Google mengunjungi situs Anda, mereka mencari file ini untuk memahami instruksi perayapan yang disediakan untuk berbagai bot.
Anda dapat menggunakannya untuk:
- Mengizinkan perayapan halaman-halaman penting
- Memblokir bagian pribadi, admin, atau duplikat
- Menunjukkan kepada bot lokasi peta situs (sitemap) XML Anda
- Mengurangi perayapan yang tidak perlu pada situs web besar
File ini tidak menyembunyikan halaman dari pengguna dan bukan merupakan alat keamanan. File ini hanya menyediakan instruksi perayapan yang dapat diikuti oleh bot mesin pencari yang patuh.
Mengapa Anda Mungkin Membutuhkan File Robots.txt
Tidak setiap situs web kecil memerlukan robots.txt yang kompleks, tetapi hal ini menjadi berguna ketika:
- Anda memiliki halaman admin atau login yang tidak ingin dirayapi
- Situs Anda menghasilkan banyak URL duplikat atau terfilter
- Anda ingin mengelola perayapan area uji atau pementasan (staging)
- Anda mengelola situs besar dan ingin mengatur aktivitas perayapan
- Anda menggunakan WordPress dan ingin mengelola akses ke folder sistem tertentu
File robots.txt yang dibuat dengan baik dapat membantu mesin pencari memfokuskan perayapannya pada area situs web Anda yang ingin Anda akses.
Cara Menggunakan Generator Ini
- Pilih perilaku default untuk semua robot (izinkan atau batalkan/disallow).
- Tambahkan jeda perayapan (crawl-delay) jika diperlukan (opsional).
- Masukkan URL sitemap Anda jika memilikinya.
- Pilih mesin pencari tertentu jika Anda menginginkan aturan yang berbeda.
- Tambahkan direktori atau jalur apa pun yang ingin Anda blokir.
- Buat file.
- Salin teksnya dan simpan sebagai
robots.txt. - Unggah file tersebut ke root situs web Anda.
Setelah mengunggah, buka https://yourdomain.com/robots.txt di browser Anda dan periksa apakah file dimuat dengan benar. Anda juga dapat menggunakan alat Inspeksi URL Google Search Console untuk memeriksa apakah URL tertentu dapat diakses oleh Google. Ingatlah bahwa robots.txt mengontrol perayapan dan tidak secara langsung menghapus halaman dari hasil pencarian Google.
Hal Penting yang Perlu Diingat
- Kesalahan kecil dapat memblokir halaman penting agar tidak dirayapi.
- Selalu periksa kembali aturan yang dibuat sebelum mengunggah.
- Jangan pernah menggunakan robots.txt untuk menyembunyikan konten sensitif. Gunakan perlindungan kata sandi yang tepat atau kontrol noindex yang sesuai.
- Robots.txt dan sitemap XML bekerja sama tetapi memiliki tujuan yang berbeda.
- Setelah mengunggah robots.txt baru, berikan waktu kepada mesin pencari untuk mendeteksi perubahan tersebut.
Penjelasan Sederhana Arahan Umum
| Arahan | Fungsinya |
|---|---|
| User-agent | Menentukan bot mana yang dikenai aturan. |
| Disallow | Memblokir halaman atau folder agar tidak dirayapi. |
| Allow | Mengizinkan akses ke halaman atau jalur, yang berguna untuk pengecualian. |
| Sitemap | Memberi tahu bot mesin pencari tempat lokasi sitemap XML Anda berada. |
| Crawl-delay | Menyarankan jeda waktu antar permintaan perayap. Dukungan dapat bervariasi antar mesin pencari. |
Alat Gratis Terkait
- Meta Tags Analyzer
- Meta Tag Generator
- Domain Authority Checker
- Backlink Checker
- Keyword Position Checker
Catatan
Generator ini membuat file robots.txt standar berdasarkan opsi yang Anda pilih. Selalu tinjau kode akhir dengan cermat sebelum memublikasikannya. Aturan yang salah dapat mencegah mesin pencari mengakses konten penting di situs Anda.