如何在每次抓取後停止Scrapy覆蓋CSV導出文件

Question

目前，我使用scrapy抓取網頁的多個頁面並將數據導出爲CSV文件。每天，蜘蛛爬過頁面並保存數據;但是，它會覆蓋前幾天的數據。我想知道如何對流水線進行編程，以便它只是在文件末尾的同一文件中寫入CSV。這樣我就可以將我以前的所有抓取的數據保存在一個地方。

Answer 1

一般只需更改參數在打開的文件常規追加

變化

f = open('filename.txt','w') 

到

f = open('filename.txt','a') 

當然，如果我們能看到你的原代碼，這將有助於我們更加詳細一些。