通過使用HDFStore比較列來選擇行

Question

如何通過使用Pandas比較hdf5文件中的兩列來選擇某些行？ hdf5文件太大而無法加載到內存中。例如，我想選擇列A和列B相等的行。數據框保存在文件'mydata.hdf5'中。謝謝。

import pandas as pd 
store = pd.HDFstore('mydata.hdf5') 
df = store.select('mydf',where='A=B') 

這是行不通的。我知道store.select（'mydf'，where ='A == 12'）會起作用。但是，我想比較列A和B的示例數據如下：

A B C 
1 1 3 
1 2 4 
. . . 
2 2 5 
1 3 3 

Answer 1

你不能直接這樣做，但是下面的工作

In [23]: df = DataFrame({'A' : [1,2,3], 'B' : [2,2,2]}) 

In [24]: store = pd.HDFStore('test.h5',mode='w') 

In [26]: store.append('df',df,data_columns=True) 

In [27]: store.select('df') 
Out[27]: 
    A B 
0 1 2 
1 2 2 
2 3 2 

In [28]: store.select_column('df','A') == store.select_column('df','B') 
Out[28]: 
0 False 
1  True 
2 False 
dtype: bool 

這應該是相當有效的。