運行相同的蜘蛛同時放

Question

我使用scrapy 0.20與Python 2.7

我要問，什麼是運行相同的蜘蛛的缺點和優點兩次在同一時間？

請知道我正在使用管道將結果寫入json文件。

感謝

Answer 1

唯一的應用程序，我看到在蜘蛛的同時多個實例在運行時每個實例都將有它的start_urls自己的一部分。但是每個實例應該在不同的網絡接口上運行，否則無法有效控制相同域的爬網強度。