通過腳本運行Scrapy蜘蛛並配置輸出文件的設置

Question

我在scrapy &中編寫了一個蜘蛛，它在python腳本（而不是scrapy cmd提示符）中運行。 我想配置設置，以便在特定文件（比如output.json）中獲取廢棄數據。

如果我運行上的提示下面的命令，我可以得到的結果是：「scrapy爬myspider -o scrapedData.json -t JSON」

但我通過通過CMDLINE工具運行的腳本不希望相同的輸出。

感謝您的幫助！

Answer 1

settings = get_project_settings() 
settings.overrides['FEED_URI'] = 'dealsOutput.json' 
settings.overrides['FEED_FORMAT'] = 'json' 

spider = dealsSpider() 
crawler = Crawler(settings) 

我發現看這個代碼：https://github.com/scrapy/scrapy/blob/master/scrapy/commands/crawl.py#L34