Robots.txt Nedir ?

tarihinde yayınlandıSEO Paylaşımları içinde yayınlandı

robots

İnternet sitelerinin arama motorlarında yer alması için arama motorlarının botları siteleri incelemektedir. Arama motoru internet sitelerini ziyaret eden programlardır ve tüm siteyi incelemektedir. Arama motoru botu sitenin tüm bağlantıları, tüm sayfalarını ve içeriklerindeki bilgileri alarak arama motorunun sonuçlarda gösterilmesini sağlamakta. Bu durumda sitenin aram motorunda görüntülenmesi istenmeyen bölümlerinin belirlenmesi ve buralara arama motorunun botunun girmemesi için robot.txt dosyaları hazırlanmaktadır. Her internet sitesinde bulunan bu dosyalar ile internet sitesinin admin paneli, kullanıcıların giriş yaptığı login sayfaları gibi arama motorunda görüntülenmesinin anlamı olmayan sayfalar yazılarak botların erişimine kapatılmaktadır. Bu sayede sitelerin sadece arama motorunda görüntülenmesini istediği sayfalara botların girmesine izin verilebilir.

İnternet sitelerinin oluşturulmasında tüm sayfalar bilgi ve ticari amaçlar ürün ile hizmetlerin bulunduğu sayfalar değildir. Bu sebeple de arama motorlarında bu tip sayfaların yer almasına gerek duyulmayabilir. Bu durumda var olan robot.txt dosyası düzenlenerek arama motoru botlarının hangi sayfalara girerek indexleyeceği belirlenebilmektedir. Bu dosya tüm internet sitelerinde bulunmakta ve içeriği değiştirilse de adı değiştirilmemektedir. Bu durum arama motorlarının siteye geldiğince öncelikle bu dosyaya bakarak girilmesi gereken ve girilmesi istenmeyen sayfaları belirlemesi için kullanılır. Bu dosyanın adının değiştirilmesi durumunda arama motoru botu dosyayı algılamaz ve tüm siteyi indexlemeye başlar. Böyle olunca da gereksiz tüm sayfalar arama motorunda yer almaya başlar ve seo konusunda sorunlar oluşması mümkün olabilir.

Arama motorlarında ilk sayfalarda ve üst sıralarda yer almak için yapılacak seo çalışmalarında hangi sayfaların arama motorları tarafından görüntüleneceği ve görüntülenmeyeceği detaylı bir çalışma ile belirlenmeli. Bu konuda dikkatli bir çalışma yaparak seo konusunda sorun olacak sayfalar robot.txt içerisinde belirtilerek aram motorunun indexlemesi önlenebilir Bu sayede de seo konusundaki başarı arttırılmaktadır. Yapılacak çalışmalarda hangi sayfaların bu dosyada belirtilerek arama motoru botlarından uzak tutulacağı ise seo konusundaki bilgi ile alakalı olmaktadır. Sayfaların yapısı ve içeriği ile bu durum tespit edilebilir. Yapılacak seo çalışmalarında başarılı olunması için her zaman deneyimli ve profesyonel bir ekip ile çalışmak gerekmektedir.

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir