2017-07-11 69 views
1

由於網站切換到HTTPS,因此應該爲Googlebot雙重抓取提供爬行鏈接 - 因爲需要額外的跳躍,並且需要從HTTP重定向到HTTPS。這應該是相當大的計算能力,這是需要的。如果http重定向到https,將重定向觸發器,如果​​使用HSTS?

我在想,Googlebot究竟是否實現了雙倍的合作,或者它有任何暗示可以識別HTTPS並直接轉到它,而不會觸發重定向來節省額外的跳數?

  • 是不是正確,如果HSTS調整正確,那麼從HTTP到HTTPS的重定向將不會被觸發,並且流量會直接轉換爲HTTPS?
  • 是不是Googlebot可能是無頭的Chrome,它有一個線索/提示來識別HTTP後面的HTTPS,直接轉到HTTPS?

回答

0

當前Googlebot不存儲HSTS,也沒有查看預加載列表。在這個問題上討論了這個問題:https://github.com/chromium/hstspreload.org/issues/67

說實話,跟一個頁面需要下載所有資源然後準確渲染和索引它相比,重定向的計算花費很小。重定向是網絡的標準組成部分,抓取工具能夠很好地處理它們。

此外,網站還會跟蹤鏈接,包括HTML頭部的網站地圖和規範網址。他們不只是隨機訪問他們不知道的網站並抓取HTTP。因此,如果HTTPS在網站的任何地方都使用,那麼無論如何都應該很少抓取HTTP URL。

最後,這個問題可能更適合於https://webmasters.stackexchange.com而不是Stack Overflow。