Scrapyd：如何通過多個設置值scrapy服務

這裏是scrapy文檔中的例子：Scrapyd：如何通過多個設置值scrapy服務

$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1

但如果我想設置兩個DOWNLOAD_DELAY = 2個CONCURRENT_REQUESTS = 4，怎麼辦？以及如何使用urllib2做到這一點？

來源

2013-07-30 Zhang Jiuzhou

有兩種解決方案。

首先一個，試試這個：

$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d setting=CONCURRENT_REQUESTS=4 -d arg1=val1

第二個：一個新的文件夾myproject（與pipelines.py和items.py目錄）命名爲settings.py文件。並把它的所有設置。這是一個example。

來源

2013-07-30 06:33:59

它的工作原理，但如何與urllib2做到這一點。 –

你想用urllib2做什麼？要部署您的項目？也許[this]（https://github.com/scrapy/scrapy/blob/master/scrapy/commands/deploy.py）會有所幫助。順便說一句，我強烈建議你把所有的設置放在settings.py中。 –

我想部署我的項目。我有幾隻蜘蛛。大多數設置都在setting.py中。但我想每個蜘蛛都有一些特殊的設置。謝謝，我自己解決了這個問題。 –

Scrapyd：如何通過多個設置值scrapy服務

回答

相關問題