2
我正在寫一個自定義的爬網程序，並且需要知道一個特定的URL是否被抓取，所以我不會添加兩次相同的URL。現在我正在使用mysql來存儲每個url的哈希值。但是我想知道如果我有大量的網站，例如數億人，這可能會變得非常緩慢。最好的方式來存儲一大堆履帶的網址
有沒有其他的方式來存儲網址？人們使用lucene來做到這一點嗎？還是有具體的數據結構來做到這一點？
A
回答
2
您還沒有指定您的開發平臺，但有一個叫特里真的好數據結構（http://en.wikipedia.org/wiki/Trie） 有很多關於java實現的，C++，C＃...
0
你可能想嘗試的BerkeleyDB
0
爲時已晚！ 但您可以使用ram db system爲例memcached
相關問題
- 1. 最好的方式來存儲和檢索網址列表
- 2. 轉換履帶的網址
- 3. 最好的方式來儲存大量的用戶數據的
- 4. 最好的方式來url重寫一個大型網站
- 5. 履帶/蜘蛛IP地址的好來源
- 6. 更好的地方來存儲網站
- 7. 最好的方法來存儲大量的常量C＃
- 8. 最好的方式來存儲訪問統計與緩存
- 9. 什麼是最好的方式來輸入和存儲網址輸入在MySQL PHP的網頁？
- 10. 一堆網址的模式
- 11. 最好的方式存儲在SQL
- 12. 最好的方式來存儲少量的數據
- 13. MySQL的最好的方式來存儲動態列表
- 14. 最好的方式來存儲我的asp.net MVC應用程序
- 15. 最好的方式來存儲需要在python中排序的大型表格
- 16. 什麼是最好的方式來存儲網站文章的變化歷史？
- 17. 最好的存儲方法
- 18. 最好的方式來保存數據
- 19. 在本地存儲網址的最佳方式
- 20. iphone最好的方式來存儲圖像
- 21. 最好的方式來存儲這些數據？
- 22. 最好的方式來儲存鍵/值域參數春
- 23. 什麼是最好的方式來存儲照片/視頻
- 24. C＃最好的方式來存儲圖像在sqlite
- 25. 什麼是最好的方式來存儲使用php
- 26. Android - 最好的方式來存儲多個佈局變種
- 27. 最好的方式來存儲瑣事遊戲數據？
- 28. 最好的方式來存儲郵件數據庫（後綴）
- 29. 最好的方式來跟蹤網頁瀏覽量和存儲在MySQL
- 30. 履帶友好的CSS絲帶
我使用java做爲檢索器。 – user402057 2010-07-26 09:20:06
http://stackoverflow.com/questions/623892/where-do-i-find-a-standard-trie-based-map-implementation-in-java描述你可以在哪裏獲得實現 – Dewfy 2010-07-26 10:00:53