robots.txt和谷歌間諜軟件

Question

在我的網頁上我有robots.txt，其中我指定了一些我不想谷歌索引的頁面。 Chrome和Google工具欄發送有關我訪問的網頁的信息。

我在某處讀到google會索引我在robots.txt中阻止的網站。 這是真的嗎？ 我在哪裏可以閱讀更多關於它的信息？

Answer 1

http://blog.ineedhits.com/tips-advice/why-google-can-index-your-robotstxt-blocked-urls-12346715.html

看來它不是谷歌瀏覽器或工具欄誰抓取網站。問題是在阻止的網站上存在外部鏈接。