여러 개의 Python 절편 데이터를 한 번에 읽고 버퍼링하고 줄 바꿈?

Question

당신에게 문맥을주기 위해서 :

나는 큰 파일 f을 몇 기가 크기로 가지고있다. 내가이 파일을 읽을 때 버퍼링을 활용하려는

for obj in objs: cPickle.dump(obj, f)

를 실행하여 생성 된 다른 객체의 연속 피클이 포함되어 있습니다. 내가 원한 것은 여러 개의 픽업 된 오브젝트를 한 번에 버퍼로 읽는 것입니다. 이 일을하는 가장 좋은 방법은 무엇입니까? 피킹 된 데이터에 대해서는 의 아날로그가 필요합니다. 실제로 선택된 데이터가 실제로 개행 문자로 분리 된 경우 readline을 사용할 수 있지만 사실인지 확실하지 않습니다.

내가 염두에두고있는 또 다른 옵션은 절편 객체를 먼저 문자열로 채운 다음 파일에 문자열을 쓰는 것입니다. 각각은 개행 문자로 구분됩니다. 파일을 다시 읽으려면 readlines()과 loads()을 사용할 수 있습니다. 하지만 절인 된 물체가 "\n" 문자를 가질 수 있으며이 파일 읽기 체계를 버릴까 봐 걱정됩니다. 내 두려움은 근거가 없습니까?

하나의 옵션은 객체의 거대한 목록으로 피클 링하는 것이지만, 그럴 수있는 것보다 많은 메모리가 필요합니다. 멀티 스레딩으로 속도를 높일 수는 있지만 버퍼링이 제대로 작동하기 전에 거기에 가고 싶지 않습니다. 이와 같은 상황에 대한 "우수 사례"는 무엇입니까?

EDIT : 또한 원시 바이트를 버퍼로 읽어 들여로드를 호출 할 수 있지만, 버퍼를 얼마나 많이 사용했는지 알 필요가 있으므로 헤드를 버릴 수 있습니다.

Answer 1

file.readlines() 파일의 전체 내용 목록을 반환합니다. 한 번에 몇 줄을 읽고 싶을 것입니다. 나는이 순진 코드는 데이터를 unpickle해야한다고 생각 :

1. 사용 shelve 모듈 : 당신은 피클을 생성하는 프로그램에 대한 제어가있는 경우

   import pickle 
   infile = open('/tmp/pickle', 'rb') 
   buf = [] 
   while True: 
       line = infile.readline() 
       if not line: 
        break 
       buf.append(line) 
       if line.endswith('.\n'): 
        print 'Decoding', buf 
        print pickle.loads(''.join(buf)) 
        buf = [] 
   

   , 나는 중 하나를 선택할 것입니다.

2. 각 피클의 길이 (바이트)를 파일에 기록하기 전에 인쇄하여 매번 정확히 읽을 바이트 수를 알 수 있도록하십시오.
3. 위와 같지만 정수 목록을 별도의 파일에 쓰면 해당 값을 피클을 담고있는 파일의 색인으로 사용할 수 있습니다.
4. 한 번에 K 개의 개체 목록을 선택하십시오. 해당 피클의 길이를 바이트로 씁니다. 피클을 씁니다. 반복.

그건 그렇고, 나는 file의 내장 버퍼링이 당신이 찾고있는 성능 향상의 99 %를 가져야한다고 생각합니다.

I/O가 차단하고 있다고 확신하는 경우 mmap()을 시도하고 OS에서 한 번에 블록 단위로 처리하도록 고려 했습니까?당신이 어떤 파일에 버퍼링을 추가하려면

#!/usr/bin/env python 

import mmap 
import cPickle 

fname = '/tmp/pickle' 
infile = open(fname, 'rb') 
m = mmap.mmap(infile.fileno(), 0, access=mmap.ACCESS_READ) 
start = 0 
while True: 
    end = m.find('.\n', start + 1) + 2 
    if end == 1: 
     break 
    print cPickle.loads(m[start:end]) 
    start = end 

Answer 2

shelve 모듈을 살펴볼 수 있습니다. 데이터베이스의 모듈 (예 : dbm)을 사용하여 개체의 디스크 사전을 만듭니다. 객체 자체는 여전히 pickle을 사용하여 직렬화됩니다. 그렇게하면 한 번에 하나의 큰 피클 대신 여러 개의 물체를 읽을 수 있습니다.

Answer 3

, io.open()를 통해 엽니 다. 다음은 128K 청크의 기본 스트림에서 읽는 예제입니다. 가 소진 될 때까지 cPickle.load()를 호출 할 때마다이 내부 버퍼에서 성취 될 것이다, 그 다음 또 다른 덩어리는 기본 파일에서 읽을 수 있습니다 :

import cPickle 
import io 

buf = io.open('objects.pkl', 'rb', buffering=(128 * 1024)) 
obj = cPickle.load(buf) 

Answer 4

당신은 아무것도 할 필요가 없습니다, 나는 생각한다.

>>> import pickle 
>>> import StringIO 
>>> s = StringIO.StringIO(pickle.dumps('apples') + pickle.dumps('bananas')) 
>>> pickle.load(s) 
'apples' 
>>> pickle.load(s) 
'bananas' 
>>> pickle.load(s) 

Traceback (most recent call last): 
    File "<pyshell#25>", line 1, in <module> 
    pickle.load(s) 
    File "C:\Python26\lib\pickle.py", line 1370, in load 
    return Unpickler(file).load() 
    File "C:\Python26\lib\pickle.py", line 858, in load 
    dispatch[key](self) 
    File "C:\Python26\lib\pickle.py", line 880, in load_eof 
    raise EOFError 
EOFError 
>>>