我想創建一個文件(大小超過2 GB)的整數(每個超過64位)並有效地對文件進行排序。巨大的整數文件在Python中排序
回答
1)將它分成很大的文件,可以在內存中進行有效排序。
2)將這些排序後的文件合併成一個文件。
在答案[1]中找到的詳細信息,它使用模塊heapq
功能merge
。
更好的辦法是使用一半的內存然後進行風險交換。
我在這個問題上看不到任何錯誤。這只是問題原理的一個簡單例子。
這個問題出了什麼問題,OP甚至懶得搜索網頁或搜索方式要做到這一點,而是簡單地發佈他或她的[作業](http://stackoverflow.com/questions/10074541/sorting-arbitrary-size-integers)供我們解決。 – 2012-04-09 14:27:16
heapq函數合併不是按排序順序合併文件。我希望合併的文件應該排序。 – viswas 2012-04-10 04:35:52
你讀過什麼嗎? 「合併 - 將多個已排序的輸入合併到單個已排序的輸出中。」這個對我有用。 – hynekcer 2012-04-10 08:30:13
- 1. 在Python中閱讀巨大文件
- 2. 排序巨大的文件數以百萬計的行
- 3. 如何在python中快速排序巨大的mongoengine QuerySet
- 4. 排序一個巨大的數組
- 5. 巨大的隨機數排序列表
- 6. 在python中處理巨大的數組
- 7. Python中文件的最大整數
- 8. Python解析一個巨大的文件
- 9. ExtJS - 在巨大的網格中分組和排序數據
- 10. 在Python中讀取一個巨大的文本文件
- 11. 穩定排序一個巨大的文件
- 12. C++排序巨大的二進制文件
- 13. Python 3加入排序的大文件中的數據
- 14. postgresql顯示巨大的排序解釋
- 15. 在Python中解析巨大的日誌文件
- 16. Python中的巨大集合
- 17. 是std ::排序的最佳選擇,就地排序一個有限整數值的巨大數組?
- 18. 如何分割python中的巨大文本文件
- 19. 在python中排序大量文件的問題
- 20. 用於存儲巨大(> 5GB)排序文件的數據結構
- 21. 無法對包含整數的大文件進行排序
- 22. 巨大的main.cs文件
- 23. 巨大的文件上傳
- 24. 設計巨大的整數類
- 25. 選擇和排序整數/從Python中
- 26. 在巨大的字符串中排序字母
- 27. Python xarray.concat然後xarray.to_netcdf生成巨大的新文件大小
- 28. 解析Python 2.7中巨大的結構化文件
- 29. 使用Tableau中的巨大csv文件
- 30. 解析PHP中的巨大XML文件
我建議一個想法:使用具有大量內存的機器,加載文件,對其進行分類,寫入結果。 – 2012-04-09 12:36:55
** [合併排序文件]的副本**(http://stackoverflow.com/q/1001569/448474) – hynekcer 2012-11-13 13:07:23