2012-05-07 47 views

回答

3

如果你想從一個網絡爬蟲隱藏:http://www.robotstxt.org/robotstxt.html

網絡爬蟲收集鏈接,看起來他們。因此,如果您沒有鏈接到該網站,也沒有其他人,該網站將不會在任何搜索引擎上找到。

但是您無法確定,有人在尋找您的網頁時無法找到它。如果你想要祕密數據,你應該使用某種腳本來授予訪問權限。

這裏是一個更加有用的鏈接:http://www.seomoz.org/blog/12-ways-to-keep-your-content-hidden-from-the-search-engines

+0

謝謝你的幫助 – user1034912

1

不可以。網頁蜘蛛根據前一頁的鏈接進行爬網。如果沒有頁面鏈接它,搜索引擎將無法找到它。

相關問題