熊貓存儲1000個數據幀對象

Question

我正在進行SPC分析並擁有1000個不同的無關數據框對象的大型項目。有沒有人知道用於在內存中存儲對象的模塊？我可以使用Python字典，但希望它更精細和功能的機制，如鎖定，線程安全，誰擁有它和等待列表等？我正在考慮創建一些與我的本地公共圖書館系統類似的東西。它檢查書籍的方式給一位老闆......等等。

Answer 1

HDF5-pytables是一款相當不錯的大熊貓後端存儲。

Pytables可以展開類似的文件系統，但小心管理，如果你需要任何種類的多接入（如果你真的需要，你應使用提供這些功能，傳統的數據庫）必須採取措施。

Answer 2

redis與redis-py是一個解決方案。 Redis速度非常快，並且有很好的Python綁定。如上所述，Pytables也是一個不錯的選擇。 PyTables是HDF5，真的非常快。