0
目的:雖然Scrapy蜘蛛的一個實例正在爬行,但我們如何動態更改DOWNLOAD_DELAY設置?
我想以很快的速度,而我得到取締發送請求,然後一旦我得到一個200響應我想請求速率減慢。
DOWNLOAD_DELAY
在settings.py
在Scrapy中,有DOWNLOAD_DELAY
設置可以處理髮送請求的速度。
問題1:似乎蜘蛛啓動後無法更改設置?
ipdb> spider.crawler.settings.set('DOWNLOAD_DELAY', 3)
*** TypeError: Trying to modify an immutable Settings object
問題2:服用另一種方法有什麼建議?