將抓取的數據存儲到數據庫中sqlite

-1

我已經使用scar to來從網站中刪除一些文本。但我不太清楚如何將它們存儲在sqlite中？任何人都可以使用代碼來幫助我？將抓取的數據存儲到數據庫中sqlite

2014-01-14 Nabin

您需要定義一個管道一樣建議[這裏]（HTTP的方式打得很好：//計算器.com/questions/3261858/do-anyone-have-example-code-for-a-sqlite-pipeline-in-scrapy），或使用項目導出器，如[this]（https://github.com/RockyZ/Scrapy-sqlite-item-exporter）一個。另請參閱此[scrapy-dblite]（https://pypi.python.org/pypi/scrapy-dblite/0.2.5）庫。 – alecxe

謝謝@alecxe – Nabin

，而你可以找到一些例子，使用阻塞操作與它值得注意的是，scrapy是建立在扭曲的庫頂，這意味着在其核心只有一個線程與單個數據庫進行交互循環的所有操作，所以當你做這樣的事情：

self.cursor.execute(...)

整個系統正在等待來自數據庫的響應，其中包括正在等待被執行HTTP請求等

話說回來，我建議你會檢查這段代碼片段https://github.com/riteshk/sc/blob/master/scraper/pipelines.py

使用twisted.enterprise.adbapi.ConnectionPool有點不是一個簡單的阻塞數據庫訪問代碼更復雜，但是它與scrapy使用IO操作

來源

2014-01-14 06:49:12

將抓取的數據存儲到數據庫中sqlite

回答

相關問題