減慢 Yahoo bot 索引的速度 - 部落格

原文: http://blog.stoorz.org/archives/2007/03/12/84/



繼上次看到 Yahoo 在五分鐘之內放出 12 隻 bot 來索引我的網頁之後，剛剛又看
到五分鐘之內有五十幾隻 Yahoo Bot 跑來想要索引我的 blog 文章。

基本上，被索引是正常的，這樣搜尋引擎才知道怎麼讓別人找到你的網頁，但是像
Yahoo 的 bot 這樣子短時間之內大量存取網頁，而且頻率又那麼高，幾乎隨時都
可以在後台看到 Yahoo 的 bot 在看我的 blog 文章。

索引頻率這麼高，對自己架站的部落客來說，一方面頻寬會被吃掉，另一方面如果
是買 hosting 之類的虛擬主機，每個月又有流量限制，光被 bot 索引就吃掉大部
分的流量了。

解決的辦法就是利用 robots.txt 來限制 Yahoo bot 的索引速度。只要在根目錄
下產生一個檔名叫做 robot.txt 的檔案，裡面的內容為

User-agent: *
Disallow:

User-agent: Slurp
Crawl-delay: 300

這樣就可以告訴 Yahoo 的 bot 間隔五分鐘才能來索引一次。 至於 Google 的
bot，只要有設定 sitemap 的話，就會依照 sitemap 的設定頻率來索引，所以比
較沒有問題。


原文: http://blog.stoorz.org/archives/2007/03/12/84/



--
stOOrz

http://blog.stoorz.org/

--