使用python scrapy通過多線程抓取網頁

Question

使用scrapy通過多線程scrapy內部實現抓取數據的可能性本身就是一個多線程？

Answer 1

Scrapy因爲它基於twisted，所以內部行爲是完全異步和事件驅動的。

請參閱Architecture Overview，尤其要注意Data Flow部分。

您可能還需要看一看scrapyd項目：

Scrapyd是聽蜘蛛運行 請求，併產生對每一個過程的應用程序（通常作爲後臺進程運行）。

Scrapyd也運行在並行的多個進程，在 固定數目的由max_proc和max_proc_per_cpu 選項，開始儘可能多的進程儘可能來處理負載給定時隙的分配它們。