爲什麼Googlebot爲/ mobile/*和/ m/*網頁抓取任何未引用的網頁？

自5月底以來，我在網站站長工具/ Google搜索控制檯的智能手機抓取錯誤頁面中遇到了很多新的404錯誤。它們都以/ m /或/ mobile /開頭，它們都不存在，也不鏈接到網站上的任何位置。爲什麼Googlebot爲/ mobile/*和/ m/*網頁抓取任何未引用的網頁？

例如，我對http://www.example.com/mobile/foo-bar/和http://www.example.com/m/foo-bar頁面有404錯誤。根據Search Console，這些頁面在現有頁面http://www.example.com/foo-bar/中鏈接，但它們不是。

Googlebot是否自行決定尋找每個網頁的移動版本？我可以禁用此行爲嗎？這是因爲我的網站不適合移動設備（這是我收到Google的另一個警告消息的問題）。

來源

2015-06-12 Iwazaru

今天對我來說同樣確切的問題。 pixelscrapper.com/m/...和pixelscrapper.com/mobile/...突然出現很多404，儘管我沒有在這些路徑上的任何頁面，也沒有鏈接到這些路徑。僅在網站站長工具的「智能手機」標籤上。我認爲Google在爬行爲移動設備時確實在「猜測」這些路徑。 –

同樣的問題在這裏，從3個星期前開始增加。 '/ m /'...'/ mobile /'... 404錯誤。 [Google似乎試圖在非移動網站上檢測移動版本]（https://productforums.google.com/forum/#!topic/webmasters/k3TFeCkFE0Q）。好吧，對我來說真的沒有意義:)想想，我會用robots.txt阻止那些人 –

您可以阻止robots.txt中的這些目錄，但這是一個解決方法。更好的選擇是確定Googlebot從哪裏獲取這些網址。

如果您分享了一個示例頁面網址，其中Google表示您有指向/ mobile頁面的鏈接，我可以查看它並找出正在接受的內容。

不，谷歌不只是創造目錄上爬行，你可能在移動頁面隨機:)

來源

2015-06-12 09:27:29 FarhadD

一個例子：頁面http://www.belial.fr/leigh-brackett/應該鏈接到http：/ /www.belial.fr/m/leigh-brackett/和http://www.belial.fr/mobile/leigh-brackett/根據Search Console – Iwazaru

有趣...我在頁面上看不到任何直接鏈接本身，這是真的。您目前或過去是否有移動用戶的任何服務器端重定向？ – FarhadD

我從來沒有做過任何與/ m/or/mobile/url有關的事情，也沒有鏈接也沒有重定向，這就是爲什麼我對他們出現在Google搜索控制檯中感到困惑，並認爲這是某種標準。 – Iwazaru

由於@Jonny 5的評論中提到，這似乎已經悄悄的關機會谷歌猜測你可能在/m和/或/mobile目錄中有你的網站的移動版本。根據我所閱讀的內容，如果他們確定他們最初索引的頁面不適合移動設備/響應，他們將只嘗試這些目錄。此行爲的詳細信息可以在這些谷歌產品論壇主題中找到：

另一個有用的評論從@ user29671，誰指出，您的網站實際上確實有來一些網址包含/m和/mobile索引。我發現我的網站也是這樣，所以這種行爲也可能限於Google有（無論什麼原因）爲/m和/或/mobile網址編制的網址。爲了檢驗這是否爲您的網站真實，轉到以下網址與你的網站的域名替換example.com：

至於防止這個去，你最好的選擇要麼爲您的網站創建適合移動設備的版本，要麼將/m和/mobile頁面重定向回原件。

來源

2015-07-06 15:32:05 sfarbota

在我看來，Google在默認情況下正在請求/ m和/ mobile網址。無論您的網站是否適合移動，它都無關緊要。我爲每個添加到WMT的新網站都收到了/ m和/ mobile抓取錯誤，而https://www.google.com/webmasters/tools/mobile-friendly/告訴我該網站確實對移動設備友好。 – Frankey

有趣。它是否說明它正在附加/ m和/ mobile的確切頁面已經是移動友好的？ – sfarbota

不知道我是否正確理解你的問題，雖然它只是每個設備的一個響應站點，但/ m和/ mobile會返回404，因爲它們不會激怒。 WMT也沒有顯示任何指向這些/ m和/ mobile的引用。作爲參考，這是其中一個網站http://psycholoog.site/ – Frankey

自2016年12月以來，我遇到了同樣的問題.Googlebot不斷嘗試使用/ m /和/ mobile /前綴來抓取我的網頁。

所有這些網址都會導致404錯誤，並在Google網站站長工具中列爲錯誤。

的自動電子郵件是從GWT收到2017年1月2日指出

的Googlebot識別URL中的數量上http://example.com一個顯著增加智能手機返回404（未找到）錯誤。如果您的桌面版網站上存在這些網頁，則爲移動用戶顯示錯誤可能會造成不良的用戶體驗。這種錯誤配置也會阻止Google在移動搜索結果中顯示正確的頁面。如果這些URL不存在，則不需要執行任何操作。

這是通過移動履帶完成：

*葉：66.249.65.124

代理：Mozilla的/ 5.0（Linux的;的Android 6.0.1;的Nexus 5X構建/ MMB29P）爲AppleWebKit/537.36（KHTML，像壁虎）Chrome/41.0.2272.96 Mobile Safari/537.36（兼容; Googlebot/2.1）

瀏覽器：Mozilla/5.0（Linux; Android 6.0.1; Nexus 5X Build/MMB29P）AppleWebKit/537.36 KHTML，像Gecko）Chrome/41.0.2272.96 Mobile Safari/537.36（compatible; Googlebot/2.1）*

因此，你並不孤單。放輕鬆。這是谷歌的錯誤:)

來源

2017-01-05 22:10:43 user3548200

-1

至於重定向/m和/mobile頁回原件，下面是nginx的一個片段：

location /m/ { 
    rewrite ^/[^/]+(/.*)$ $1 permanent; 
} 

location /mobile/ { 
    rewrite ^/[^/]+(/.*)$ $1 permanent; 
}

你也可以重定向一切的根源：

location /m/ { 
    return 301 $scheme://$host/; 
} 

location /mobile/ { 
    return 301 $scheme://$host/; 
}

來源

2017-02-07 00:33:31 sanmai

爲什麼Googlebot爲/ mobile/和/ m/網頁抓取任何未引用的網頁？

回答

爲什麼Googlebot爲/ mobile/*和/ m/*網頁抓取任何未引用的網頁？

回答

相關問題

爲什麼Googlebot爲/ mobile/和/ m/網頁抓取任何未引用的網頁？