robots.txt 空白、預設值哪個比較好? - 部落格

Ingrid avatar
By Ingrid
at 2016-07-18T21:48

Table of Contents

目前我只知道 robots.txt的作用就是允許or禁止某一個搜尋引擎找到網站資料!

目前看了一些網站教學還是有點茫然~

茫然地點有：

1.不知道有哪些狀況會想把自己的網站對某個搜尋引擎給封閉?

2.以下是blogspot預設的robots.txt數值

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://自己網站/sitemap.xml

第一段看起來是允許Mediapartners-Google搜尋的意思，既然允許為何還要添加這一段?

3.同上，第二段的第一個agent的意思應該是(開放所有尋引擎)，但下面不允許、允許
都有放上 / ，怎麼看起來是一個不允許、一個又允許了呢?

以上是我的疑問，謝謝!

--

All Comments

Genevieve avatar
By Genevieve
at 2016-07-23T03:54
代表說 Mediapartners-Google 不限制
其他的 bot 除了 /search 以外都允許
Kristin avatar
By Kristin
at 2016-07-24T20:00
謝謝，感覺沒事不要亂調整好像比較好QQ

網站/文章在奇怪的網址下?(盜文?)

Una avatar
By Una
at 2016-07-10T00:55
最近更換了新的網域遇到了一堆從未碰過的問題， 一個是Adsense不能顯示、另一個就是Webmaster告知有很多錯誤連結! 在錯誤連結的警告中看到了一個非常陌生的網址，但網址內容都是我的文章! 這個，是我正常的網站! http://www.wanghenry.com/ 這個，則是看到的網站! http ...

首頁文章無法顯示摘要

Zanna avatar
By Zanna
at 2016-07-02T22:33
如題 我的首頁文章無法只顯示前面幾行，我覺得它顯示字的也太多了 如果是沒有圖片的文章，甚至一次會顯示全部的文章出來 整個覺得 Orz Orz Orz 這是我的網頁 http://diy-lucienne.blogspot.tw/ 我該如何解決這個問題??? 先謝謝各位大大了 - ...

有人重新驗證 Godaddy DNS 嗎?

Ivy avatar
By Ivy
at 2016-07-02T21:49
在溺一次購買網域後想要綁在blogger身上，結果轉址是可以用、但側邊廣告看板 就消失了。 所以當下我就把GODADDY驗證的CNAME跟TXT給刪除，想要重來驗證一次。 沒想到blogger那邊因為已經驗證通過，就不會跳出驗證的序好給我重新填， 接著在新建立網址的時候，從webmaster那邊就出現了D ...

關於類別子分類

Edwina avatar
By Edwina
at 2016-07-02T12:33
摸了FC2一陣子了，也爬過文 可是就是找不到辦法，只好爬來這裡問問看 想請問關於FC2類別顯示的問題 我想把類別設置成這樣： 母類別(0) ├子類別(0) └子類別(0) 不需要收起的那種，母類別也要是一個類別(打文章的時候可以發的類別)這樣 不是那種可以收起來的樹狀圖類別： 母類別 ├子類別(0) ...

第三網域認證的第二組CNAME

Mason avatar
By Mason
at 2016-06-28T12:11
請問一下，在blogger加入第三方網域時會要求在DNS上填入兩組的CNAME。 第一組 CNAME 是 www / ghs.google.vom 第二組 CNAME 則是每個google帳號獨特的數值! 想請問的是： 1.第二組CNAME是不是認證過一次之後就有記憶效果? 也就是只需要認證一次後 ...