告訴通過PHP重定向與if語句和搜索引擎蜘蛛？

Question

幾乎我所有的網站頁面都是用戶訪問的，如果不是用戶並且沒有登錄，他們根本無法訪問這些頁面。

搜索引擎蜘蛛是否仍然能夠列出，抓取和索引這些用戶頁面，因爲它們不會登錄？

有沒有更好的方式使用這個系統獲得更好的索引？

Answer 1

如果您有非用戶相關的內容，並且您希望搜索引擎抓取它，您應該使他們無需登錄即可訪問它。

Answer 2

蜘蛛不會登錄，所以不能看到受保護的頁面。你也不應該試圖讓這些頁面可以被蜘蛛看到，也不會讓沒有登錄的訪問者看到，搜索引擎會對你的網站進行懲罰，甚至停止對它進行索引。

但是，您可以向未登錄的用戶顯示該頁面的摘錄，就像第一個X字詞一樣。抓取頁面的蜘蛛將能夠閱讀該文本。