Robots.txt Nasıl Oluşturulur?

tarihinde yayınlandıSEO Paylaşımları içinde yayınlandı

Robots.txt Nasıl Oluşturulur?

İnternet sitelerinize ait bazı bölümleri, arama botları taramasın ve indexlemesin isteyebilirsiniz. Arama botlarının erişimine bu tür bölümleri kapatmak için kullanmanız gereken dosya Robots.txt dosyası olup bu dosyanın işlevi bakımından doğru yönetilmesi gerekmektedir.

Robots.txt nedir?” sorusunun cevabını kısmen verdik ancak daha da detaylandıracak olursak, bu dosyanın arama motoru botlarını yönlendiren bir komut dosyası olduğunu belirtmek mümkün. Yani, arama motoru yazılımlarına internet sitenizin hangi bölümlerinin indexleneceğini bu yolla bildirebilirsiniz. Böylece, bu dosyalar komuta göre izin verilen bölümleri tarar. Doğru şeklide yönetemediğiniz bir Robots.txt dosyasına sahip olmanız durumunda arama motorları erişmemeleri gereken dizinlere de erişebilir. Bu nedenle bu dosyanın hazırlanması önem taşımakla birlikte etkisinin de kendisi kadar küçük olmadığını belirtmeliyiz.

Robots.txt Komutları

Sitenin kök dizininde bulunması gereken bu dosya bazı standartlar çerçevesinde hazırlanmalıdır. Bu soya değişken bir içeriğe sahip olacağından yapı dinamiktir. Dosyanın her zaman çalışır durumda tutulması tavsiyemizdir. Bu dosyanın sahip olduğu URL ile sitenize ulaşılan URL örtüşmelidir. Https protokolü kullanıyor olmanız durumunda bu dosyayı protoke uygun hale getirmelisiniz. Ayrıca, hazırlık aşamasında dikkat edilmesi gereken 3 konu vardır:

  1. Bu dosyanın kök dizine yüklenmesi
  2. Dosyanın UTF-8 ile uygunluk göstermesi
  3. Dosyanın site URL’siyle aynı formatta olması

Dosya için kullanılan standart komutları 3 ana başlıkta toplamak mümkün olmakla birlikte bunlar şu şekildedir:

  • Grup Komutları
  • Grup Dışı Komutlar
  • Yorum ve Notlar

Bu ana başlıklar altında başka kırılımlarda mevcuttur. Öreğin, grup dışı komutlarda site haritası belirleme mevcuttur. Başka bir örnek grup komutları için verilebilir. Dizin engelleme, grup komutları içindeki bir kırılımdır. Bu şekilde bu başlıkları aşağıda detaylandırmaktayız.

Robots.txt Grup Komutları

Grup komutlarında netlik olmalıdır. Hataya müsade etmeyen bu komutları yazarken oldukça dikkatli davranmalısınız. Çünkü en ufak bir yazım hatanız, o komutun dikkate alınmamasına neden olacaktır.

  • User-agent
  • Dizin Engelleme / İzin Verme
  • Sayfa Engelleme /İzin Verme
  • Tarama Gecikmesi Belirtme

Örnek: User- agent komutuyla tüm arama motorlarından muaf olabilirsiniz. Bunun için örnek komut satırı şu şekilde yazılmalıdır:

User-agent: *

Disallow: \

Tam tersi olarak tüm arama botlarına izin vermek istemeniz durumunda ise, yalnızca ilk satırı kullanabilirsiniz.

Robots.Txt Grup Dışı Komutlar

Robots.Txt komutları için grup dışı olanlar sitemap.xml dosyanızla ilgilidir. Sitemap dosyası arama botlarına sitenizle ilgili dikkate değer bilgiler sunacaktır. Basit bir kullanımı olan bu dosyanın kullanılması bu nedenle önemlidir.

Örnek:

Arama botlarının incelediği Robots.txt dosyasında sitemap.xml dosyasına dair herhangi bir bilgi bulunmaması dezavantajlı bir durum olabilir. Bu nedenle kendi site adınızla şöyle bir komut satırına yer verebilirsiniz:

User-agent: *

Sitemap: http://www.seoadresi.com/sitemap.xml

Yorum ve Notlar

# karakteri ile arama botlarının ilgilenmediği notlar bırakmanız mümkün. Bu notlar size, kullanıcaya ya da tasarımcıya hitap edebilir.

Örnek:

# Dizin robot erişimine açılmak üzere.

Bu örnekte # karakterinden sonraki hiçbir açıklama arama botları tarafından dikkate alınmaz.

 

Robots.txt dosyasını bakım zamanlarında, tasarım değişikliği durumlarında ve çok amaçlı başka durumlarda kullanabilirsiniz. Örneğin, yeni bir site kuruyorsanız ve tasarım düzenlemeleri içindeyseniz yapılan bazı düzenlemeler esnasında arama botlarının bu bölümleri görmemelerini isteyebilirsiniz. İşte bu durumlar için bu dosya kurtarıcıdır. Ancak unutmamanız gereken bir nokta var. Bu düzenlemeler tamamlandıktan sonra gizlediğiniz bölümleri tekrar erişime açmak için Sitemap.xml dosyanızı tekrar yapılandırmalısınız. Seo çalışmalarının desteklenmesi ve dezavantajların ortadan kalkması için bu dosyanın gerekliliği büyük önem taşımaktadır.

 

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir