dask.bag 처리 데이터는 내가 offical 한 웹에서 tutoral I에 따라 엄격한, JSON 파일의 단어 수 30기가바이트에 대한 DASK 가방을 사용하기 위해 노력하고있어 메모리 부족

Question

: http://dask.pydata.org/en/latest/examples/bag-word-count-hdfs.html

하지만 여전히 내 단일 작동하지 기계는 32GB 메모리 및 8 코어 CPU입니다.

내 코드는 10GB 파일을 처리하는데도 사용되지 않습니다. 오류는 jupyter가 축소되었음을 알리는 시간없이 몇 시간 동안 실행됩니다. 우분투와 Windows에서 모두 동일한 문제가 발생했습니다. 그래서 dask bag이 메모리에서 데이터를 처리 할 수 ​​있다면 의심하지 않습니까? 또는 내 코드가 잘못 되었습니까? http://files.pushshift.io/reddit/comments/

import dask.bag as db 
import json 
b = db.read_text('D:\RC_2015-01\RC_2012-04') 
records = b.map(json.loads) 
result = b.str.split().concat().frequencies().topk(10, lambda x: x[1]) 
%time f = result.compute() 
f 

Answer 1

에서

테스트 데이터는 비트를 깨고 하나의 파일에서 읽을 때 10MB의 범위에서 블록 크기를 설정하십시오.

In [1]: import dask.bag as db 

In [2]: b = db.read_text('RC_2012-04', blocksize=10000000) 

In [3]: %time b.count().compute() 
CPU times: user 1.22 s, sys: 56 ms, total: 1.27 s 
Wall time: 20.4 s 
Out[3]: 19044534 

또한, 경고로, 당신은 가방 records을 생성하지만 그것으로 아무것도하지 않습니다. 해당 행을 제거 할 수 있습니다.