將不同的IP地址綁定到scrapy蜘蛛

Question

如何將不同的公共IP地址綁定到scrapy蜘蛛？此外，是否可以爲每個源ip設置速率限制（如CONCURRENT_REQUESTS_PER_SOURCE_IP）。

從scrapy文檔中，CONCURRENT_REQUESTS_PER_DOMAIN和CONCURRENT_REQUESTS_PER_IP都似乎適用於目標域和目標IP。

Answer 1

這是可能的，但需要您稍微改變Scrapy核心。 前些時候有人提出了一項變更建議，但它從來沒有通過當前源代碼的表現來實現。

隨着the information in this change proposal你應該能夠在幾分鐘內自行修補它。

雖然變更建議已經超過1,5歲，但該具體建議的編輯文件的當前來源仍然非常相似。