搜索引擎機器人可以抓取需要登錄的頁面嗎？

如果用戶登錄時網站上的主頁有內容，用戶登錄時有另一個內容，搜索引擎機器人是否可以抓取用戶特定的內容？搜索引擎機器人可以抓取需要登錄的頁面嗎？

如果他們無法抓取的話，我可以複製從該網站的另一部分內容，使它很容易接觸到誰已在登記時提到需求的用戶。

我的猜測是沒有，但我寧願相信我做一些愚蠢了。

你不能假設履帶支持Cookie，但您可以識別的履帶，讓您的網站通過代碼爬蟲「已登錄」。但是，這將打開任何用戶假裝爲爬蟲獲取登錄區域中的數據。

2011-02-26 07:02:45 stefan

具體來說，我不希望抓取工具看到用戶特定的主頁內容。我希望抓取工具顯示「未登錄」的內容。所以我想你給了答案，因爲它需要更多的編碼，以允許漫遊器爬取登錄內容，我可以有一個內容爲登錄用戶，機器人無法抓取:) – 2011-02-27 06:47:16

機器人將能夠看到文檔中的所有內容。如果文檔中不存在該內容，則該機器人將不會看到該內容。如果它存在於文檔中但隱藏在視圖中，則抓取工具將能夠抓取它。

2011-02-26 07:02:02 Orbit

即使可以這樣做是對的條款大多數搜索引擎顯示的履帶的內容是不一樣的東西任何用戶將獲得進入並可能導致您的網站從索引中被禁止。

這就是爲什麼像expertsexchange網站都有，如果你所有的方式滾動至底部，即使他們試圖使它看起來像你必須註冊，以提供答案。（如果你有一個谷歌的引薦進入expertsexchange順便說一句，因爲這個原因這是唯一可能的）

2011-02-26 07:28:20 adfklfadklj

回答