谷歌機器人，虛假鏈接

Question

我有一個谷歌機器人有點問題，我有一個Windows Server的服務器2009年的工作，該系統被稱爲Workcube和它的工作原理上的ColdFusion，有內置的錯誤報告，因此，我收到的每錯誤消息，尤其是它涉及谷歌機器人，試圖去一個虛假的鏈接，這是不存在的！鏈接如下：

1. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=282&HIERARCHY=215.005&brand_id=hoyrrolmwdgldah
2. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=145&HIERARCHY=200.003&brand_id=hoyrrolmwdgldah
3. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=123&HIERARCHY=110.006&brand_id=xxblpflyevlitojg
4. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=1&HIERARCHY=100&brand_id=xxblpflyevlitojg

當然有像brand_id = hoyrrolmwdgldah或brand_id = xxblpflyevlitojg是假的定義

，我不有什麼想法可能是什麼問題？！需要諮詢！謝謝大家的幫助！ ;）

Answer 1

您可能想使用Google網站站長工具驗證您的網站，該工具將提供發現錯誤的網址。

你的日誌也是有效的，但你需要驗證它確實是Googlebot打你的網站，而不是別人欺騙自己的用戶代理。

這裏是說明來做到這一點：http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html

基本上你需要你收到來自反向查找主機後做一個反向DNS查找，然後正向DNS查找。

一旦您確認這是真正的Googlebot，您就可以開始排除故障。您看到Googlebot不會請求以前沒有看到的網址，這意味着Googlebot不應直接提供對象引用請求。我懷疑這是一個帶有Googlebot用戶代理的流氓機器人，但如果不是，您可能需要查看您的網站，看看您是否意外鏈接到這些網頁。

遺憾的是您發佈的完整URL，這樣即使你在清理網站，Googelbot將看到堆棧溢出的聯繫，並繼續抓取他們，因爲這將是他們的抓取隊列。

我建議301重定向這些URL在某處有意義給用戶。否則，我會404或410這些網頁，讓谷歌知道從他們的索引中刪除這些網頁。

此外，如果這些網頁，你不想要索引，我會建議增加的路徑，你的robots.txt文件，因此Googlebot無法繼續要求更多的這些網頁。

不幸的是告訴Googlebot，絕對不要再檢索這些網址沒有真正的好辦法。您隨時可以訪問Google網站管理員工具並請求將其從索引中移除的網址，這可能會阻止Googlebot再次抓取它們，但這並不能保證。