Neden Robot.txt dosyası oluşturmalıyım
Robot.txt dosyası sitemizin ana indeksine koyduğumuz ve sitemizde ne yapılması gerektiğini bildiren bir text dosyadır. Bu dosya sayesinde sitemizin kullanıcıların görmesini istemediğimiz bölümlerini Google, yahoo gibi arama motorlarının indekslemesine kapatabiliriz. Bu dosya sayesinde botları örümcekleri, Crawlerları sitemize çekebiliriz.
Unutmayın ! Allow onay Disallow reddetme anlamına gelmekte bazı arkadaşlarımız internetten hazır robot.txt dosyları üretmekte [...]
-
