Dukascopy .bi5 진드기 파일의 압축을 풀고 읽으십시오.

Question

.bi5 파일을 열고 내용을 읽어서 짧은 이야기를 짧게 줄여야합니다. 문제 : 나는 수천 개의 .bi5 파일에 압축을 풀고 처리해야하는 (시계열을 읽고 판다로 덤프) 시계열 데이터를 포함하고 있습니다. 내가 파이썬 2.7의 lzma 백 포트를 사용하는 악몽을 컴파일로 실행으로

나는, 특히 lzma 라이브러리에 대한 파이썬 3 (I 일반적으로 2.7를 사용) 설치, 종료, 그래서 나는 인정하지 않고 파이썬 3으로 실행되지만으로 성공. 문제는 누설하기에는 너무 많습니다. 아무도 긴 질문을 읽지 않습니다!

.bi5 파일 중 하나를 포함 시켰습니다. 누군가가 팬더 데이터 프레임에 파일을 가져 와서 어떻게했는지를 보여 주면 이상적입니다.

ps ps는 단 몇 kb이며, 초 단위로 다운로드됩니다. 미리 감사드립니다.

(파일) http://www.filedropper.com/13hticks

Answer 1

아래의 코드는 트릭을 할해야합니다. 먼저 파일을 열고 lzma에서 디코딩 한 다음 struct을 사용하여 이진 데이터의 압축을 풉니 다.

import lzma 
import struct 
import pandas as pd 


def bi5_to_df(filename, fmt): 
    chunk_size = struct.calcsize(fmt) 
    data = [] 
    with lzma.open(filename) as f: 
     while True: 
      chunk = f.read(chunk_size) 
      if chunk: 
       data.append(struct.unpack(fmt, chunk)) 
      else: 
       break 
    df = pd.DataFrame(data) 
    return df 

가장 중요한 것은 올바른 형식을 알아야한다는 것입니다. 나는 주위를 봤 거든 추측하려고하고 '>3i2f' (또는 >3I2f) 꽤 잘 작동합니다. (big endian 3 ints 2 floats입니다.) 당신이 제안하는 것 : 'i4f'은 크고 작은 엔디안에 관계없이 의미있는 수레를 생성하지 않습니다. struct 및 형식 구문은 docs을 참조하십시오.

df = bi5_to_df('13h_ticks.bi5', '>3i2f') 
df.head() 
Out[177]: 
     0  1  2  3  4 
0 210 110218 110216 1.87 1.12 
1 362 110219 110216 1.00 5.85 
2 875 110220 110217 1.00 1.12 
3 1408 110220 110218 1.50 1.00 
4 1884 110221 110219 3.94 1.00 

---

업데이트 내가 컴파일 https://github.com/ninety47/dukascopy, 와 bi5_to_df의 출력을 비교하고 거기에서 test_read_bi5를 실행합니다. 출력의 첫 번째 라인은 다음과 같은 입력 파일에

time, bid, bid_vol, ask, ask_vol 
2012-Dec-03 01:00:03.581000, 131.945, 1.5, 131.966, 1.5 
2012-Dec-03 01:00:05.142000, 131.943, 1.5, 131.964, 1.5 
2012-Dec-03 01:00:05.202000, 131.943, 1.5, 131.964, 2.25 
2012-Dec-03 01:00:05.321000, 131.944, 1.5, 131.964, 1.5 
2012-Dec-03 01:00:05.441000, 131.944, 1.5, 131.964, 1.5 

그리고 bi5_to_df을 제공합니다

bi5_to_df('01h_ticks.bi5', '>3I2f').head() 
Out[295]: 
     0  1  2  3 4 
0 3581 131966 131945 1.50 1.5 
1 5142 131964 131943 1.50 1.5 
2 5202 131964 131943 2.25 1.5 
3 5321 131964 131944 1.50 1.5 
4 5441 131964 131944 1.50 1.5 

그래서 모든 (ninety47의 코드 열을 재정렬) 괜찮을 것 같다.

또한, '>3I2f' 대신 '>3i2f'을 사용하는 것이 아마 더 정확 (즉, 대신 int의 unsigned int).

Answer 2

numpy를 사용하여 데이터를 구문 분석 한 후 팬더로 전송 해 보았습니까? 어쩌면 먼 길을 찾는 것이지만, 팬더에서 분석을하기 전에 데이터를 조작하고 정리할 수 있습니다. 또한 그들 사이의 통합도 매우 간단합니다.