numpy.fromfile을 사용하여 분산 된 이진 데이터 읽기

Question

numpy.fromfile의 단일 호출을 사용하여 읽으려는 이진 파일에 여러 블록이 있습니다. 여기

OES=[ 
('EKEY','i4',1), 
('FD1','f4',1), 
('EX1','f4',1), 
('EY1','f4',1), 
('EXY1','f4',1), 
('EA1','f4',1), 
('EMJRP1','f4',1), 
('EMNRP1','f4',1), 
('EMAX1','f4',1), 
('FD2','f4',1), 
('EX2','f4',1), 
('EY2','f4',1), 
('EXY2','f4',1), 
('EA2','f4',1), 
('EMJRP2','f4',1), 
('EMNRP2','f4',1), 
('EMAX2','f4',1)] 

을 바이너리의 형식 : 각 블록의 형식은 다음과

Data I want (OES format repeating n times) 
------------------------ 
Useless Data 
------------------------ 
Data I want (OES format repeating m times) 
------------------------ 
etc.. 

내가 원하는 데이터와 쓸모없는 데이터 사이의 바이트 증가를 알고있다. 또한 각 데이터 블록의 크기를 알고 있습니다.

지금까지 내가 전화 한 다음 파일 객체 f에 노력하여 내 목표를 달성했다 :

nparr = np.fromfile(f,dtype=OES,count=size) 

그래서 내가 원하는 각 데이터 블록에 대해 다른 nparr을 가지고 하나에 모든 numpy 배열을 연결된 새로운 배열.

내 목표는 연결하지 않고 원하는 (메모리 용도로) 모든 블록이있는 단일 배열을 갖는 것입니다. 즉, nparr = np.fromfile(f,dtype=OES) 번만 전화하고 싶습니다. 이 목표를 달성 할 수있는 방법이 있습니까?

Answer 1

즉 nparr = np.fromfile(f,dtype=OES)으로 전화를 걸고 싶습니다. 이 목표를 달성 할 수있는 방법이 있습니까?

아니요, fromfile()으로의 단일 호출이 아닙니다.

미리 파일의 전체 레이아웃을 알고 있다면 배열을 미리 할당 한 다음 fromfile과 seek을 사용하여 OES 블록을 사전 할당 된 배열로 직접 읽을 수 있습니다. 예를 들어 각 OES 블록의 파일 위치를 알고 있고 각 블록의 레코드 수를 알고 있다고 가정합니다. (f 가정하면 이미 열려있는 파일이)

file_positions = [position1, position2, ...] 
numrecords = [n1, n2, ...] 

이 그럼 당신은 같은 것을 할 수있다 : 즉, 당신은 알고있다

total = sum(numrecords) 
nparr = np.empty(total, dtype=OES) 
current_index = 0 
for pos, n in zip(file_positions, numrecords): 
    f.seek(pos) 
    nparr[current_index:current_index+n] = np.fromfile(f, count=n, dtype=OES) 
    current_index += n