Scrapy抓取與403/503封鎖

Question

我正在運行Scrapy 0.24.4，並且遇到了相當多的網站，通常在5個請求中關閉爬網。每個請求都返回403或503，Scrapy放棄。我正在運行100個代理池，啓用了RotateUserAgentMiddleware。

有誰知道一個網站如何快速識別Scrapy，即使代理和用戶代理髮生了變化？ Scrapy不會將任何內容添加到請求頭文件中，這樣做是嗎？

Answer 1

看來主要問題是沒有啓用cookie。啓用Cookie後，我現在獲得更多成功。謝謝。

Answer 2

一些網站合併需要運行的JavaScript代碼。 Scrapy不執行JavaScript代碼，所以Web應用程序真的很快就知道它是一個機器人。

http://scraping.pro/javascript-protected-content-scrape/

嘗試使用硒對那些返回403如果有硒作品抓取的網站，你可以假設，問題是在JavaScript。 我認爲crunchbase.com使用這種保護措施來防止刮傷。