Python網絡爬行和存儲到MySQL

我需要用Python編寫的好網絡爬蟲將完整頁面存儲到mysql數據庫。我正在試驗的小型系統現在使用PHP Sphider來抓取並存儲到數據庫中。我需要的東西幾乎與sphider完全一樣，但是用Python編寫。所以只需將數據庫存儲到其他腳本中，從其他腳本獲取內容並完成我需要的其餘工作。 Sphider很慢，並且想要替換它。Python網絡爬行和存儲到MySQL

所以，我看scrapy和一些其他項目，但任何東西都沒有在我的需求腳，這是我開始編碼自己之前的最後一次嘗試，所以如果有人知道什麼可以解決我這個問題，請告訴我。

來源

2010-10-25 Sam

是有一個原因不能使用scrapy，然後重寫save函數將數據存入mysql數據庫。您甚至可以使用SQLAlchemy等ORM來更輕鬆地保存和檢索信息。也許如果你告訴我們爲什麼scrapy不足，那麼我們可以有更多的幫助。 – JudoWill 2010-10-26 14:50:01

http://scrapy.org/應該做你正在尋找的東西 – ScraperWiki 2010-10-26 10:08:38

乞丐！

這個答案是爲初學者量身定製的，它不是最優的還是最聰明的。我們強烈推薦scrapy。嘗試教程。而記得使用Firefox + Firebug擴展，爲您導航和學習的內路徑，的XPath和爲HTML解析器後您的數據位置。

檢查類似的答案「Going from Ruby to Python crawlers」和「Python read my outlook email mailbox and parse messages」

節省您的時間，並使用Firefox的螢火蟲擴展（使inspect）

來源

2012-10-15 08:22:28

Python網絡爬行和存儲到MySQL

回答

相關問題