我正在使用scrapy抓取網頁中的信息。 我寫了可以正常工作的蜘蛛代碼。我還有一些其他的Python代碼文件可以細化抓取的數據。在批處理文件中使用scrapy抓取命令時繼續批處理腳本命令
把它放在一起,我有一個批處理文件,其中我首先使用「Scrapy Crawl」命令,然後運行我的python文件以優化抓取的信息。
問題是,批處理腳本在「Scrapy Crawl」命令的末尾停止,並且不會繼續執行批處理文件中的行。 我該如何解決這個問題?
批處理文件的內容:它們的執行結束後
CD "spiders_folder"
scrapy crawl mySpider -o outputData.json -t json
python refineData.py
誰是scrapy? – Endoro 2013-05-08 17:52:08
什麼操作系統?大寫'CD'表明它是Windows的東西?我想'批處理文件'標籤已經意味着,只是爲了確保。 – Alfe 2013-05-08 17:53:19
Scrapy是一個快速的高級別屏幕抓取和網頁爬行框架,用於抓取網站並從其頁面中提取結構化數據。 – programmingIsFun 2013-05-08 17:55:05