Pandas HDFStore用於外核對可變大小的集合的順序讀取/寫入

Question

我想逐步讀寫數據到hdf5文件，因爲我無法將數據放入內存。

要讀取/寫入的數據是整數集。我只需要按順序讀取/寫入集合。不需要隨機訪問。就像我讀set1，然後set2，然後set3等

問題是，我不能通過索引檢索集。

import pandas as pd  
x = pd.HDFStore('test.hf', 'w', append=True) 
a = pd.Series([1]) 
x.append('dframe', a, index=True) 
b = pd.Series([10,2]) 
x.append('dframe', b, index=True) 
x.close() 

x = pd.HDFStore('test.hf', 'r') 
print(x['dframe']) 
y=x.select('dframe',start=0,stop=1) 
print("selected:", y) 
x.close() 

輸出：

0  1 
0 10 
1  2 
dtype: int64 
selected: 0 1 
dtype: int64 

它不選擇我的第0集，這是{1,10}

Answer 1

這種方式工作。但我真的不知道這有多快。

這是否掃描整個文件來查找索引行？

這將是相當浪費時間。

import pandas as pd 

x = pd.HDFStore('test.hf', 'w', append=True, format="table", complevel=9) 
a = pd.Series([1]) 
x.append('dframe', a, index=True) 
b = pd.Series([10,2]) 
x.append('dframe', b, index=True) 
x.close() 

x = pd.HDFStore('test.hf', 'r') 
print(x['dframe']) 
y=x.select('dframe','index == 0') 
print('selected:') 
for i in y: 
    print(i) 
x.close() 

輸出：

0  1 
0 10 
1  2 
dtype: int64 
selected: 
1 
10