Robots.txt Nedir ?

tarihinde yayınlandıYorum yapınSEO Paylaşımları içinde yayınlandı

İnternet sitelerinin arama motorlarında yer alması için arama motorlarının botları siteleri incelemektedir. Arama motoru internet sitelerini ziyaret eden programlardır ve tüm siteyi incelemektedir. Arama motoru botu sitenin tüm bağlantıları, tüm sayfalarını ve içeriklerindeki bilgileri alarak arama motorunun sonuçlarda gösterilmesini sağlamakta. Bu durumda sitenin aram motorunda görüntülenmesi istenmeyen bölümlerinin belirlenmesi ve buralara arama motorunun botunun girmemesi için robot.txt dosyaları hazırlanmaktadır. Her internet sitesinde bulunan bu dosyalar ile internet sitesinin admin paneli, kullanıcıların giriş yaptığı login sayfaları […]