搜尋引擎的規矩 - Google

譬如Google搜尋引擎

為什麼是由網站擁有者在自己的網頁設計時，指定不要被搜尋引擎來索引

而不是搜尋引擎必須主動向網站擁有者申請要索引其網站內容

是有什麼發展沿革的典故嗎？

謝謝

ps.句子有點不通順，希望大家能看的懂意思

--