Robot.Txt hakkında herşey

Neden Robot.txt dosyası oluşturmalıyım

Robot.txt dosyası sitemizin ana indeksine koyduğumuz ve sitemizde ne yapılması gerektiğini bildiren bir text dosyadır. Bu dosya sayesinde sitemizin kullanıcıların görmesini istemediğimiz bölümlerini Google, yahoo gibi arama motorlarının indekslemesine kapatabiliriz. Bu dosya sayesinde botları örümcekleri, Crawlerları sitemize çekebiliriz.

Unutmayın ! Allow onay Disallow reddetme  anlamına gelmekte bazı arkadaşlarımız internetten hazır robot.txt dosyları üretmekte ve oralarda Google gibi önemli arama motorlarını engellemekteler. Bu konuda son derece dikkatli olmak gerekmekte Google için disallow seçerseniz indekslenemezsiniz. Ya da çok çok az indekslenirsiniz.

Robot.txt ile Neler yapılabilir
•    Robot.txt dosyası sayesinde spam riskinden kurtulursunuz.
•    Yazıcı çıktısı sayfaları engelleyebilirsiniz
•    Gizli bilgilerinize ulaşılmasını engelleyebilirsiniz
•    Benzer sayfaları engelleyebilirsiniz
•    Profillerdeki gereksiz bilgileri engelleyebilirsiniz

Bir bölgeyi Botlardan ve örümceklerden korumak için ne yapmalıyım ?

Mesela son dakika diye bir bölüm oluşturdunuz ve sadece sıcak haberleri vereceksiniz oranın güncellenmesini istemiyorsunuz o zaman robot.txt dosyasına şunu eklersiniz.

Aşağıda bir forum sitesi için düzgün bir robot.txt dosyası içeriği bulunuyor.
Gereksiz yerlerin indekslenmesini engellemek için

Disallow: *action=profile*

User-agent: *
Disallow: *.msg*
Disallow: */msg*
Disallow: *prev_next*
Disallow: *action=admin*
Disallow: *action=help*
Disallow: *action=login*
Disallow: *action=post*
Disallow: *action=printpage*
Disallow: *action=recent*
Disallow: *action=register*
Disallow: *action=reminder*
Disallow: *action=search*
Disallow: *action=stats;expand*
Disallow: *action=who*
Disallow: *sa=showPosts*
Disallow: *sort=*
Disallow: /Themes/