使用Scrapy進行爬網時，我可以依賴具有引用標頭的請求嗎？

Question

我在爬行一個網站並保存鏈接到「頁面」項目字段中每個頁面的頁面的URL，以便稍後重建網站樹。一個簡單的方法是訪問response.request.headers ['referer']，它是請求的引用頭。這個頭部實際上是否可靠？也就是說，它是否始終存在於Scrapy生成的請求中，還是有可能因爲請求不準確/不存在？

Answer 1

是的，有一個RefererMiddleware默認情況下啓用：

填充請求Referer標頭，在此基礎上生成它的響應的URL。

僅供參考，這裏是the implementation。