2017-04-25 45 views
0

建立Scrapy:命令覆蓋以前的導出文件

我由標準命令在終端(Mac OS)中我的數據導出到.csv文件,例如

scrapy crawl spider -o spider_ouput.csv 

問題

當導出一個新spider_output.csv Scrapy其追加到現有spider_output.csv

我能想到的兩種解決方案,

  1. 命令Scrapy覆蓋,而不是追加
  2. 指令端子,除去爬行

我讀過現有spider_output.csv之前(以我的驚喜)目前Scrapy正在做isn't able 1.有人提議workarounds,但我似乎無法得到it的工作。

我找到了解決方案2的answer,但無法使其工作。

有人可以幫我嗎?也許有第三種解決方案我沒有想到?

回答

3

有一個未決問題,scrapy此功能: https://github.com/scrapy/scrapy/issues/547

裏有問題線程提出了一些解決方案:

scrapy runspider spider.py -t json --nolog -o - > out.json 

或跑步scrapy蜘蛛之前只是刪除輸出:

rm data.jl; scrapy crawl myspider -o data.jl 
+0

謝謝你的回答。我試過你的刪除線,它的工作原理! :) – LucSpan

+0

@LucSpan很棒,如果它回答了你的問題,請不要忘記點擊答案左側的「接受答案」按鈕。 – Granitosaurus

+0

你太快了:還不能接受。 – LucSpan