如何使用scrapy抓取項目來使用所有的cpus？

cat /proc/cpuinfo |grep cores 
cpu cores : 2

1.如何知道scrapy crawl project使用哪個cpu？
2.如何使用scrapy crawl project所有的cpus？

Scrapy將始終使用1個核心進行爬網過程。像這樣的抓取是網絡I/O密集型過程，並且不需要太多CPU功率。有可能使用多次處理的scrapy，但不是沒有一些努力。

請檢查得到的回答對SO

類似的問題

2017-09-02 06:31:23

回答