robots.txt 空白、預設值哪個比較好? - 部落格

目前我只知道 robots.txt的作用就是允許or禁止某一個搜尋引擎找到網站資料!

目前看了一些網站教學還是有點茫然~

茫然地點有：

1.不知道有哪些狀況會想把自己的網站對某個搜尋引擎給封閉?

2.以下是blogspot預設的robots.txt數值

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://自己網站/sitemap.xml

第一段看起來是允許Mediapartners-Google搜尋的意思，既然允許為何還要添加這一段?

3.同上，第二段的第一個agent的意思應該是(開放所有尋引擎)，但下面不允許、允許
都有放上 / ，怎麼看起來是一個不允許、一個又允許了呢?

以上是我的疑問，謝謝!

--