python的數據持久性當很多查找但很少寫入？

Question

我正在處理一個基本上監視設置的遠程目錄（FTP，聯網路徑和另一個）的項目，如果該文件被認爲是新的並且符合我們下載並處理它的標準。但是我堅持最好的方式是跟蹤我們已經下載的文件。我不想下載任何重複的文件，所以我需要跟蹤已下載的內容。

Orignally我是把它作爲一個樹：

server->directory->file_name 

當服務關閉它，它寫入一個文件，當它啓動時重新讀取回來。但是，如果有大約20,000個左右的文件開始減速很多，

有沒有更好的方法來做到這一點？

編輯

的查找時間開始放緩了很多，我基本實現是一個字典的字典。在磁盤上存儲的東西很好，或多或少只是查找時間。我知道我可以優化樹並對其進行分區。然而，對於這樣一個小項目來說，這似乎過分了，我希望python會有類似的東西。

Answer 1

我會創建一組元組，然後將它醃到一個文件。元組將是(server, directory, file_name)，或者甚至只是(server, full_file_name_including_directory)。不需要多級數據結構。元組將哈希到集合中，並給你一個O（1）查找。

你提到「東西開始減慢很多」，但你不會說它是在讀寫時間還是在減速的查找時間。如果你的查找時間正在減慢，你可能會尋呼。你的數據結構是否接近你物理內存的很大一部分？

取回內存的一種方法是intern()服務器名稱。這樣，每個服務器名稱將僅存儲在內存中一次。

一個有趣的選擇是使用布隆過濾器。這會讓你使用少得多的內存，但偶爾會下載一個你不需要的文件。這可能是一個合理的權衡，取決於你不想兩次下載文件的原因。