0
我有一個python web爬蟲獲取信息並將其放入SQL中。現在我也有php頁面，它從SQL中讀取這些信息並表示它。問題是：爲了讓爬蟲程序正常工作，我的電腦必須保持24/7的工作狀態。我有簡單的家用電腦 - 所以它是一個問題。是否有不同的方式來運行網絡爬蟲？或者我必須在我的電腦上運行它？如何有效地運行python web爬蟲
A
回答
1
如果您正在監控不斷更新的頁面，那麼您需要在的一些計算機上運行它。您可以使用cron作業或連續循環（有一些監控）。如果您不想在您的家用機器上運行它，我會建議您獲得一個免費的AWS賬戶。你可以得到一個EC2微型實例，它將允許你運行你的python腳本和一個S3數據庫實例，它將允許你存儲信息。
這是一個link to AWS
相關問題
- 1. 如何使網絡爬蟲更有效？
- 2. Java Web爬蟲庫
- 3. 如何在asp.net後端運行爬蟲？
- 4. Python爬蟲 - html.fromstring
- 5. Python的爬蟲？
- 6. Python網絡爬蟲
- 7. Web爬蟲的Rx框架
- 8. 如何使用Node.js創建Web爬蟲？
- 9. 如何在ASP.NET中創建Web爬蟲？
- 10. c＃基於web的爬蟲
- 11. C＃web和ftp爬蟲庫
- 12. 運行Android Marketplace的爬蟲（「汞」目錄？）
- 13. 運行一個網站爬蟲
- 14. OpenGL中的蠕蟲爬行運動？
- 15. 在Linux服務器中運行帶硒的Scrapy Web爬蟲
- 16. Python爬蟲。解析並執行ajax
- 17. 使用python beautifulsoup進行網頁爬蟲
- 18. Python中的網絡爬蟲
- 19. Python爬蟲的問題
- 20. 硒與python網絡爬蟲
- 21. Python多線程爬蟲
- 22. python中的Facebook爬蟲
- 23. Python網絡爬蟲沒有輸出
- 24. Web爬蟲解析PHP/Javascript鏈接？
- 25. 爬蟲實例
- 26. 重定向爬蟲
- 27. Import.io一些爬蟲不具備爬行本地
- 28. Python簡單的網絡爬蟲錯誤（無限循環爬行）
- 29. 阻止蠕蟲爬行嗎？
- 30. C++網絡爬蟲