每次運行同一scrapy項目時都會產生不同的結果

Question

我對Scrapy非常陌生。我設法創建了一個Scrapy項目，運行它抓取一個網站並將信息保存在csv文件中。但是，每次運行它時，似乎抓取的網頁的數量和順序都不相同。我很確定這段時間網站是靜態的。一般來說，這是正常的嗎？

Answer 1

從scrapy architecture overview：

Scrapy與扭曲，一個用於Python的流行事件驅動的網絡 框架編寫的。因此，它使用非阻塞（又名 異步）代碼來實現併發。

因此，您應該期望順序是不同的。舉個例子，如果你現在在調度程序的stack上有兩個掛起請求R1和R2，並且R1在頂部。調度程序首先處理R1。但是由於R2幾乎可以同時處理，所以它可以比R1更快地進行管理。如果您想將訂單設置爲同一套CONCURRENT_REQUESTS或CONCURRENT_REQUESTS_PER_DOMAIN爲1。要檢查輸出中項目數量不同的原因，您可以輸出response.url。