Scrapyd：將CSV文件寫入遠程服務器

我想在EC2上安排爬蟲，並將輸出導出到csv文件cppages-nov.csv，同時創建jobdir包裝我需要暫停爬網，但它沒有創建任何文件。我是否使用正確的飼料出口？Scrapyd：將CSV文件寫入遠程服務器

curl http://awsserver:6800/schedule.json -d project=wallspider -d spider=cppages -d JOBDIR=/home/ubuntu/scrapy/sitemapcrawl/crawls/cppages-nov -d FEED_URI=/home/ubuntu/scrapy/sitemapcrawl/cppages-nov.csv -d FEED_FORMAT=csv

來源

2014-09-26 Jason Youk

curl http://amazonaws.com:6800/schedule.json -d project=wallspider -d spider=cppages -d setting=FEED_URI=/home/ubuntu/scrapy/sitemapcrawl/results/cppages.csv -d setting=FEED_FORMAT=csv -d setting=JOBDIR=/home/ubuntu/scrapy/sitemapcrawl/crawl/cppages-nov

來源

2014-10-02 16:48:47

使用這種飼料在你的設置文件

FEED_EXPORTERS = { 
'csv': 'scrapy.contrib.exporter.CsvItemExporter', 
} 
FEED_FORMAT = 'csv'

來源

2014-09-30 06:02:46

Scrapyd：將CSV文件寫入遠程服務器

回答

相關問題