Web蜘蛛和HTTP驗證

Question

我有一個管理應用程序需要通過SSL進行HTTP驗證。我在我的網站的robot.txt文件中包含了管理應用程序的路徑。

我寧願沒有任何地方可以看到管理應用程序的路徑。單獨的HTTP驗證會阻止網頁蜘蛛索引頁面嗎？

Answer 1

如果您使用合適的4xx（而不是HTTP 410或HTTP 404）HTTP狀態碼進行響應，那麼確定HTTP身份驗證將停止Google將此頁面編入索引。

看到：http://www.google.com/support/webmasters/bin/answer.py?answer=40132

此外，你可以發送

X-Robots-Tag: noindex 

HTTP頭，使多餘的肯定。

看到：http://code.google.com/web/controlcrawlindex/docs/robots_meta_tag.html

噢，包括在robots.txt文件中的URL使得它更可能是谷歌索引的網頁....的robots.txt是一個爬行指令，它基本上是說：DO不會獲取該網址的內容。所以谷歌不知道它是一個HTTP認證，但由於爬網是可選的索引（是的，真的），該網址可能（並且這是一個非常大的可能）反正在谷歌搜索結果中購物。我在這裏更詳細地解釋了google（bot）漏斗pages not indexed by Google

正確的HTTP狀態頭和x-robot-tag更適合確保url不顯示在谷歌中（但如果robots.txt指令保持原位）