0
我解析了整個英文wikipedia，並將每個解析的文章保存在單獨的協議緩衝區文件中。每個文件都有一個唯一的ID（wikiid）。我現在有470萬個解析文章，總大小爲180GB。我知道ext4可以處理這個數量的文件，但這是一個很好的做法嗎？或者我應該使用數據庫？我不需要經常更新它。存儲470萬個二進制文件的最佳方法
A
回答
2
將它作爲文件保存 - 數據庫的縮放和維護相對昂貴。 儘管您可能需要小心如何命名/存儲它們 - 佔用一個包含所有4.7M文件的目錄 - 具有4級目錄結構。預處理4.7 M文件以存儲在目錄結構中。說一個文件的ID爲D1D2D3d4fewmorechars.txt - 所以現在將此文件存儲在/D1/D2/D3/D4/D1D2D3D4fewmorechars.txt中。
或者其他選項是使用文件系統，如XFS，ext3/4 - 使用目錄索引技術，如哈希目錄。 檢查此鏈接 - https://serverfault.com/questions/43133/filesystem-large-number-of-files-in-a-single-directory
相關問題
- 1. 存儲二進制或圖像文件的最佳方式
- 2. 將字節[]寫入二進制文件的最佳方法
- 3. 用Java合併二進制文件的最佳方法
- 4. 將二進制數據存儲在數字中的最佳方法是什麼？
- 5. 在SVN中存儲二進制文件的方法
- 6. 存儲文本的最佳方法？
- 7. 存儲/讀取二進制文件：這是最高性能的方法？
- 8. 存儲文件的最佳方式
- 9. Git和二進制數據，最好的存儲方法
- 10. SQL Server的二進制文件存儲
- 11. 什麼是複製QT中的兩個二進制文件的最佳方式
- 12. 保持二進制文件符號的最佳做法
- 13. 二進制和文本文件在存儲方面的區別？
- 14. TFS如何存儲二進制文件
- 15. 存儲1萬億行信息的最佳方式
- 16. 爲包裝模塊指定二進制文件路徑的最佳方法
- 17. 在Delphi中讀取/解析無類型二進制文件的最佳方法
- 18. 緩存二進制數據的最佳方式是什麼？
- 19. 將文本文件的第一個和第二個詞存儲到兩個數組中的最佳方法
- 20. 在Git中的其他地方存儲二進制文件
- 21. LINQ to SQL的二進制列的最佳方法
- 22. 在文件中存儲大型Python字典的最佳方法
- 23. 用元數據存儲和檢索文件的最佳方法
- 24. 存儲大量文件的最佳方法
- 25. 存儲查找值的最佳方法
- 26. xml數據存儲的最佳方法
- 27. 存儲位圖的最佳方法
- 28. 存儲數據表的最佳方法
- 29. 存儲「時間」值的最佳方法
- 30. 存儲mysql密碼的最佳方法？
由於你 - 據推測 - 已經有180GB的470萬個文件;它出什麼問題了？ （FWIW，這使得平均文章/文件〜40k。） – user2864740