scrapy shell：將結果輸出到文件

Question

如何在scrapy shell中將結果輸出到文件，最好是csv？

我在我的bpython shell中有一個有趣的元素列表，我可以讓它們的item。但如何將其重定向到一個文件？

Answer 1

一旦你在shell中，你可以做任何你想用Python做的事情。這包括例如使用json或csv模塊從/向文件讀取/寫入數據。

但是，因爲我們正在談論Scrapy和CSV，讓我們使用Scrapy的CsvItemExporter來完成這項工作：

from scrapy.exporters import CsvItemExporter 
items = [{'one': 'data', 'two': 'more data'}, {'one': 'info', 'two': 'more info'}] 
with open('data.csv', 'w') as f: 
    exporter = CsvItemExporter(file=f, fields_to_export=['one', 'two']) 
    exporter.start_exporting() 
    for i in items: 
     exporter.export_item(i) 
    exporter.finish_exporting() 

，當你添加的-o選項將crawl是一個什麼樣Scrapy做了精簡版命令將輸出保存到文件。

Answer 2

以下是否回答你的問題？

https://doc.scrapy.org/en/latest/topics/feed-exports.html

一個實施刮削器時最頻繁使用的功能是能夠正確地儲存刮數據，很多時候，這意味着產生「導出文件」與刮數據（俗稱「出口飼料「）被其他系統消耗。 Scrapy通過Feed出口提供了這種功能，它允許您使用多個序列化格式和存儲後端生成包含已刪除項目的提要。

https://doc.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-format-csv

CSV

FEED_FORMAT：使用CSV

出口商：CsvItemExporter

要指定導出列及其順序使用FEED_EXPORT_FIELDS。其他Feed出口商也可以使用此選項，但它對CSV很重要，因爲與許多其他導出格式不同，CSV使用固定標題。