0
什麼是最好的（最短）的方式開始構建的網絡抓取工具，這將是足夠的靈活性，幾乎所有類型的網站工作，並能存儲這些網站在數據庫中進行檢索。如何開始建立基於Java的Web的抓取工具
我想建立類似「谷歌搜索」，其中「谷歌搜索」進行搜索之前緩存所有的網站，其服務器的東西。
這是我的研究項目的組成之一。
請讓我知道是否已經有一些開源項目，這將使我的工作更容易。
我寧願Java來構建這個。
A
回答
2
喜歡的東西heritrix例如？
相關問題
- 1. 如何開始學習開發一個http抓取工具
- 2. 基於Web的圖表工具建議
- 3. 開源的基於Web的Java報表工具
- 4. Web抓取基於IIS的網站
- 5. 如何使用Javascript創建基於Web的鏡像工具？
- 6. 任何基於java的開源工具，如AutoIT？
- 7. 用於高效基於Web的開發的工具和技術
- 8. 如何開始編碼和建立一個與Java的Web服務器？
- 9. 如何建立一個基本的終端從零開始
- 10. 基於Web的Linux備份工具
- 11. 基於Java的Web應用程序的剖析工具
- 12. 測試基於Java soap的web服務的工具
- 13. 設置基於Web服務的環境（建議/提示開始）
- 14. 適用於Java的工具/ API /框架基於Web的工作流程
- 15. Python或基於JS的REST API用於Web抓取
- 16. BeautifulSoup抓取工具
- 17. 如何使用PHP和JQuery開發基於Web的XMPP聊天工具？
- 18. 抓取具有身份驗證網站的抓取工具
- 19. 爲基於Web的GUI創建性能工具
- 20. 創建基於Web的工資系統
- 21. 用於google web工具包開發的java代碼。
- 22. 基於Java的基於語法檢查/規則的工具集
- 23. 常用的基於Java的PDF構建庫/工具？
- 24. 基於Web的基於Java登錄
- 25. 基於Python的構建工具
- 26. 如何啓動基於JGraph的工具
- 27. 用於基於Web的數據庫表訪問的簡單Java框架/工具？
- 28. 如何開始建立靜脈應用
- 29. 將基本的crawler4j轉換爲專注的抓取工具
- 30. 關於開始Enterpise Java Bean的建議
感謝信息。我不知道heritrix。 – Watt 2012-07-06 17:14:39