存儲Scrapy數據thro Scrapy

Question

如何將整個抓取的數據存儲在文件中？例如：抓取的數據爲[u\ 7564.2021]，但json文件中存儲的數據僅爲[

它出錯的地方在哪裏？

Answer 1

我發現這個線程，因爲我使用scrapy命令行導出選項（看到這個scrapy 0.15.1概述：http://readthedocs.org/docs/scrapy/en/latest/intro/overview.html?highlight=Rule#run-the-spider-to-extract-the-data）有這個確切的問題，「scrapy爬行mininova.org -o scraped_data.json -t JSON」。

您必須首先確保數據實際上是從網站上被刮掉的（我通過將我的被刮取的物品直接打印到控制檯窗口）。

同時確保你的蜘蛛的解析方法實際上返回被抓取的物品。這是我犯的愚蠢的錯誤。

沒有更多的信息或你的代碼很難說更多。我自己是Python和scrapy的新手，並且正在處理有時令人困惑的文檔和示例。希望過去幾個月你還沒有放棄這個項目;否則我發佈未來的谷歌。