Robots.txt Generator
Ücretsiz Robots.txt Oluşturucu
Sıfırdan kod yazmadan web siteniz için uygun bir robots.txt dosyası oluşturun.
Bu ücretsiz araç, arama motoru botlarına sitenizin hangi kısımlarını tarayabileceklerini ve hangi alanları atlamaları gerektiğini söyleyen kuralları oluşturmanıza yardımcı olur. Seçenekleri doldurun, dosyayı oluşturun ve web sitenizin ana dizinine yükleyin.
Robots.txt Dosyası Nedir?
Robots.txt, web sitenizin ana klasöründe yer alan basit bir metin dosyasıdır (örnek: https://siteniz.com/robots.txt).
Google gibi arama motorları sitenizi ziyaret ettiğinde, farklı botlar için sağlanan tarama talimatlarını anlamak üzere bu dosyayı ararlar.
Şunlar için kullanabilirsiniz:
- Önemli sayfaların taranmasına izin vermek
- Özel, yönetici veya kopera bölümleri engellemek
- Botları XML site haritanıza yönlendirmek
- Büyük web sitelerinde gereksiz taramayı azaltmak
Sayfaları kullanıcılardan gizlemez ve bir güvenlik aracı değildir. Yalnızca uyumlu arama motoru botlarının takip edebileceği tarama talimatları sağlar.
Neden Bir Robots.txt Dosyasına İhtiyaç Duyabilirsiniz?
Her küçük web sitesinin karmaşık bir robots.txt dosyasına ihtiyacı yoktur, ancak şu durumlarda yararlı olur:
- Taranmasını istemediğiniz yönetici veya oturum açma sayfalarınız olduğunda
- Siteniz çok sayıda kopya veya filtrelenmiş URL ürettiğinde
- Test veya hazırlık (staging) alanlarının taramasını yönetmek istediğinizde
- Büyük bir site işletiyor ve tarama etkinliğini yönetmek istediğinizde
- WordPress kullanıyor ve belirli sistem klasörlerine erişimi yönetmek istediğinizde
İyi yazılmış bir robots.txt dosyası, arama motorlarının taramalarını web sitenizin erişmelerini istediğiniz alanlarına odaklamasına yardımcı olabilir.
Bu Oluşturucu Nasıl Kullanılır?
- Tüm robotlar için varsayılan davranışı seçin (izin ver veya engelle).
- Gerekirse bir tarama gecikmesi (crawl-delay) ekleyin (isteğe bağlı).
- Varsa site haritası URL'nizi girin.
- Farklı kurallar istiyorsanız belirli arama motorlarını seçin.
- Engellemek istediğiniz dizinleri veya yolları ekleyin.
- Dosyayı oluşturun.
- Metni kopyalayın ve
robots.txtolarak kaydedin. - Dosyayı web sitenizin ana dizinine yükleyin.
Yükledikten sonra, tarayıcınızda https://alanadiniz.com/robots.txt adresini açın ve dosyanın doğru şekilde yüklenip yüklenmediğini kontrol edin. Belirli URL'lere Google tarafından erişilip erişilemediğini kontrol etmek için Google Arama Konsolu'nun URL Denetimi aracını da kullanabilirsiniz. Robots.txt dosyasının taramayı kontrol ettiğini ve bir sayfayı doğrudan Google'ın arama sonuçlarından kaldırmadığını unutmayın.
Unutulmaması Gereken Önemli Şeyler
- Küçük bir hata, önemli sayfaların taranmasını engelleyebilir.
- Yüklemeden önce oluşturulan kuralları her zaman iki kez kontrol edin.
- Hassas içeriği gizlemek için asla robots.txt kullanmayın. Bunun yerine uygun parola koruması veya uygun noindex kontrolleri kullanın.
- Robots.txt ve XML site haritaları birlikte çalışır ancak farklı amaçlara hizmet eder.
- Yeni bir robots.txt yükledikten sonra, arama motorlarına değişiklikleri fark etmeleri için biraz zaman tanıyın.
Yaygın Yönergeler Basitçe Açıklandı
| Yönerge | Ne işe yarar |
|---|---|
| User-agent | Kuralın hangi bot için geçerli olduğunu belirtir. |
| Disallow | Bir sayfanın veya klasörün taranmasını engeller. |
| Allow | İstisnalar için yararlı olabilecek bir sayfaya veya yola erişime izin verir. |
| Sitemap | Arama motoru botlarına XML site haritanızın nerede olduğunu söyler. |
| Crawl-delay | Tarayıcı istekleri arasında bir duraklama önerir. Destek arama motorları arasında değişiklik gösterebilir. |
İlgili Ücretsiz Araçlar
- Meta Etiketleri Analiz Edici
- Meta Etiket Oluşturucu
- Alan Adı Otoritesi Denetleyicisi
- Backlink Denetleyicisi
- Anahtar Kelime Konum Denetleyicisi
Not
Bu oluşturucu, seçtiğiniz seçeneklere göre standart bir robots.txt dosyası oluşturur. Yayınlamadan önce nihai kodu her zaman dikkatlice inceleyin. Yanlış kurallar, arama motorlarının sitenizdeki önemli içeriğe erişmesini engelleyebilir.