인덱스가 중복 된 열이있는 쪽모 파일을로드 할 때 파이로 문제가 발생합니다.

Question

계산을 수행하기 위해 팬더/dask를 사용하고 있습니다. 디스크의 쪽모락 파일에 데이터를 저장하고 있습니다. 문제는 칼럼 '시간'과 시간이라는 색인이 있다는 것입니다. 나는 둘 다 갖고 싶다.

import pyarrow as pa 
import pyarrow.parquet as pq 
%matplotlib inline 
dfx.to_dict() 

Out[115]: 
{'close': {Timestamp('2017-06-30 01:31:00'): 154.99958999999998, 
    Timestamp('2017-06-30 01:32:00'): 154.99958999999998, 
    Timestamp('2017-06-30 01:33:00'): 154.01109, 
    Timestamp('2017-06-30 01:34:00'): 154.01109, 
    Timestamp('2017-06-30 01:35:00'): 152.60051000000001}, 
'time': {Timestamp('2017-06-30 01:31:00'): Timestamp('2017-06-30 01:31:00'), 
    Timestamp('2017-06-30 01:32:00'): Timestamp('2017-06-30 01:32:00'), 
    Timestamp('2017-06-30 01:33:00'): Timestamp('2017-06-30 01:33:00'), 
    Timestamp('2017-06-30 01:34:00'): Timestamp('2017-06-30 01:34:00'), 
    Timestamp('2017-06-30 01:35:00'): Timestamp('2017-06-30 01:35:00')}} 

# set index column 
dfx.set_index('time', drop=False, inplace=True) 

dfx.head() 
Out[117]: 
            time  close 
time            
2017-06-30 01:31:00 2017-06-30 01:31:00 154.99959 
2017-06-30 01:32:00 2017-06-30 01:32:00 154.99959 
2017-06-30 01:33:00 2017-06-30 01:33:00 154.01109 
2017-06-30 01:34:00 2017-06-30 01:34:00 154.01109 
2017-06-30 01:35:00 2017-06-30 01:35:00 152.60051 

# store to parquet file format 
tdfx = pa.Table.from_pandas(dfx) 
pq.write_table(tdfx, 'data.parquet') 


# recovering 
dfx = pq.read_table('data.parquet').to_pandas() 
--------------------------------------------------------------------------- 
IndexError        Traceback (most recent call last) 
<ipython-input-119-5e9d7cd2ea0d> in <module>() 
     1 # recovering 
----> 2 dfx = pq.read_table('data.parquet').to_pandas() 

pyarrow/table.pxi in pyarrow.lib.Table.to_pandas (/arrow/python/build/temp.linux-x86_64-3.6/lib.cxx:37990)() 

/home/ghildebrand/anaconda3/envs/p36/lib/python3.6/site-packages/pyarrow/pandas_compat.py in table_to_blockmanager(options, table, memory_pool, nthreads) 
    296   i = schema.get_field_index(name) 
    297   if i != -1: 
--> 298    col = table.column(i) 
    299    index_name = (None if is_unnamed_index_level(name) 
    300       else name) 

pyarrow/table.pxi in pyarrow.lib.Table.column (/arrow/python/build/temp.linux-x86_64-3.6/lib.cxx:38622)() 

IndexError: Table column index 2 is out of range 

이이 pyarrow의 버그인가, 또는이 마루 불가능하거나 내가 다른 뭔가를 잘못하고있는 중이 야 해요 ?? : 나는 데이터를 저장 한 후 나중에로드 할 때, 나는 다음과 같은 오류를 얻을 수

업데이트 : 중복 열 "시간"을 제거하고 색인 해결 만 유지합니다. 그래서 내가 생각하는 문제는 마루판 고유 한 열 식별자 집합이 생성 된 것입니다.

Answer 1

나에게 버그가 약간 보인다. 나는 버그 보고서 https://issues.apache.org/jira/browse/ARROW-1754을 열었습니다. 계속 논의하겠습니다.