Scrapyd無法找到項目名稱

當我嘗試在scrapyd上運行現有scrapy項目時出現錯誤。Scrapyd無法找到項目名稱

我有一個工作scrapy項目（url_finder）和該項目中用於測試目的的工作蜘蛛（test_ip_spider_1x），它只需下載whatismyip.com。

我成功安裝了scrapyd（與apt-get），現在我想運行在scrayd上的蜘蛛。所以，我執行：

curl http://localhost:6800/schedule.json -d project=url_finder -d spider=test_ip_spider_1x

這將返回：

{"status": "error", "message": "'url_finder'"}

這似乎表明，有與該項目有問題。但是，當我執行：scrapy crawl test_ip_spider_1x 一切運行良好。當我檢查scrapyd日誌中的Web界面，這就是我得到：

2014-04-01 11:40:22-0400 [HTTPChannel,0,127.0.0.1] 127.0.0.1 - - [01/Apr/2014:15:40:21 +0000] "POST /schedule.json HTTP/1.1" 200 47 "-" "curl/7.22.0 (x86_64-pc-linux-gnu) libcurl/7.22.0 OpenSSL/1.0.1 zlib/1.2.3.4 libidn/1.23 librtmp/2.3" 
2014-04-01 11:40:58-0400 [HTTPChannel,1,127.0.0.1] 127.0.0.1 - - [01/Apr/2014:15:40:57 +0000] "GET/HTTP/1.1" 200 747 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.152 Safari/537.36" 
2014-04-01 11:41:01-0400 [HTTPChannel,1,127.0.0.1] 127.0.0.1 - - [01/Apr/2014:15:41:00 +0000] "GET /logs/ HTTP/1.1" 200 1203 "http://localhost:6800/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.152 Safari/537.36" 
2014-04-01 11:41:03-0400 [HTTPChannel,1,127.0.0.1] 127.0.0.1 - - [01/Apr/2014:15:41:02 +0000] "GET /logs/scrapyd.log HTTP/1.1" 200 36938 "http://localhost:6800/logs/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.152 Safari/537.36" 
2014-04-01 11:42:02-0400 [HTTPChannel,2,127.0.0.1] Unhandled Error 
    Traceback (most recent call last): 
     File "/usr/local/lib/python2.7/dist-packages/twisted/web/http.py", line 1730, in allContentReceived 
     req.requestReceived(command, path, version) 
     File "/usr/local/lib/python2.7/dist-packages/twisted/web/http.py", line 826, in requestReceived 
     self.process() 
     File "/usr/local/lib/python2.7/dist-packages/twisted/web/server.py", line 189, in process 
     self.render(resrc) 
     File "/usr/local/lib/python2.7/dist-packages/twisted/web/server.py", line 238, in render 
     body = resrc.render(self) 
    --- <exception caught here> --- 
     File "/usr/lib/pymodules/python2.7/scrapyd/webservice.py", line 18, in render 
     return JsonResource.render(self, txrequest) 
     File "/usr/local/lib/python2.7/dist-packages/scrapy/utils/txweb.py", line 10, in render 
     r = resource.Resource.render(self, txrequest) 
     File "/usr/local/lib/python2.7/dist-packages/twisted/web/resource.py", line 250, in render 
     return m(request) 
     File "/usr/lib/pymodules/python2.7/scrapyd/webservice.py", line 37, in render_POST 
     self.root.scheduler.schedule(project, spider, **args) 
     File "/usr/lib/pymodules/python2.7/scrapyd/scheduler.py", line 15, in schedule 
     q = self.queues[project] 
    exceptions.KeyError: 'url_finder' 

2014-04-01 11:42:02-0400 [HTTPChannel,2,127.0.0.1] 127.0.0.1 - - [01/Apr/2014:15:42:01 +0000] "POST /schedule.json HTTP/1.1" 200 47 "-" "curl/7.22.0 (x86_64-pc-linux-gnu) libcurl/7.22.0 OpenSSL/1.0.1 zlib/1.2.3.4 libidn/1.23 librtmp/2.3"

任何想法？

來源

2014-04-01 gpanterov

可能有助於在最後一行之前發佈堆棧跟蹤 – shaktimaan

感謝warunsi - 它已被添加 – gpanterov

我從來沒有使用過scrapyd，所以如果這是一個愚蠢的問題，請原諒我，但是您是否需要首先「部署」您的項目？也許這就是爲什麼scrapyd沒有找到項目名稱的原因？ – gpanterov

爲了運行一個scrapyd項目，你必須首先部署它。這在網上的文檔中沒有很好的解釋（特別是對於初次使用的用戶）。這裏是一個解決方案，爲我工作：

安裝scrapyd部署：如果你有Ubuntu的或類似的，你可以運行：

apt-get install scrapyd-deploy

在你scrapy項目文件夾編輯scrapy.cfg，並取消對行

url = http://localhost:6800/

這是您的部署目標 - scrapy將在此位置部署項目。接下來，檢查以確保scrapyd可以看到deploy目標：

scrapyd-deploy -l

這應該類似於輸出的東西：

default http://localhost:6800/

接下來，您可以部署項目（url_finder）：

scrapyd-deploy default -p url_finder

最後運行蜘蛛：

curl http://localhost:6800/schedule.json -d project=url_finder -d spider=test_ip_spider_1x

來源

2014-04-04 14:47:02 gpanterov

Scrapyd無法找到項目名稱

回答

相關問題