robots.txt Nedir, Nasıl Oluşturulur?
robots.txt Nedir?
Eğer yeni bir site oluşturmuşsanız; arama motorlarına yardımcı olmak için robots.txt dosyasını da oluşturmanız kesinlikle önerilir.
robots.txt dosyası sitenizin bazı bölümlerinin arama motorlarları tarafından indexlenmemesi için kullanılır.
Mesela yeni bir site oluşturdunuz. Sitenizin anasayfasını tamamladınız. Eğer alt sayfaları oluşturmuşsanız ve içeriği sonra eklemeyi düşünüyorsanız; arama motorlarının içerik eklenmemiş sayfaları indexlemesi işinize yaramaz. Bu durumda henüz hazır olmayan sayfalardan arama motoru robotlarını uzak tutabilirsiniz. Daha sonra sayfalara içerik eklediğiniz zaman robots.txt dosyasını değiştirerek robotlara izin verirsiniz.
robots.txt Nasıl Oluşturulur:
Genel Kullanımı:
User-agent: *
Disallow: /
User-agent:
Robot ismi burada belirtilir. * karakteri Tamamını Oku »
Yorum(4)