HDFStore를 사용하여 열을 비교하여 행을 선택하여 선택하십시오.

Question

팬더를 사용하여 hdf5 파일의 두 열을 비교하여 일부 행을 어떻게 선택할 수 있습니까? hdf5 파일이 너무 커서 메모리에로드 할 수 없습니다. 예를 들어, 열 A와 열 B가 같은 행을 선택하려고합니다. 데이터 프레임은 'mydata.hdf5'파일에 저장됩니다. 감사.

import pandas as pd 
store = pd.HDFstore('mydata.hdf5') 
df = store.select('mydf',where='A=B') 

이것은 작동하지 않습니다. store.select ('mydf', 여기서 = 'A == 12')가 작동한다는 것을 알고 있습니다. 하지만 열 A를 비교할와 B는 예를 들어 데이터는 다음과 같습니다

A B C 
1 1 3 
1 2 4 
. . . 
2 2 5 
1 3 3 

Answer 1

당신은 직접이 작업을 수행 할 수 있지만 다음은 꽤 효율적으로해야한다

In [23]: df = DataFrame({'A' : [1,2,3], 'B' : [2,2,2]}) 

In [24]: store = pd.HDFStore('test.h5',mode='w') 

In [26]: store.append('df',df,data_columns=True) 

In [27]: store.select('df') 
Out[27]: 
    A B 
0 1 2 
1 2 2 
2 3 2 

In [28]: store.select_column('df','A') == store.select_column('df','B') 
Out[28]: 
0 False 
1  True 
2 False 
dtype: bool 

이 작동합니다.