將多個文件或單個文件導入HDFStore

Question

我將100個csv文件轉換爲數據框並將它們存儲在HDFStore中。

什麼是

一個利弊 - 存儲csv文件100個不同HDFStore文件？

b - 將所有csv文件作爲單獨的項目存儲在單個HDFStore中？

除了性能問題，我問的問題是我有穩定性問題，我的HDFStore文件經常被損壞。所以，對我而言，單個HDFStore存在風險。但是，我想知道是否有單一商店的好處。

Answer 1

這些差異：

多個文件

使用，你可以書寫時只損壞一個文件中的多個文件時

1. （例如你有一個電源故障寫入時）
2. 可以並行寫多個文件（注意 - 永遠不要嘗試與單個文件並行，這會損壞它！）

單個文件

1. 分組，如果邏輯組

恕我直言多個文件的利大於弊使用一個單一的文件，你可以很容易地通過使用子目錄