주로 범주 형 데이터의 메모리 csv 파일보다 더 크게 관리합니다. 처음에는 큰 CSV 파일을 만든 다음 Pandas read_csv를 통해 읽고 categorical로 변환하여 hdf5에 저장했습니다. 일단 범주 형식으로, 그것은 메모리에 멋지게 들어 맞습니다. 파일이 커지고 Dask로 이동했습니다. 그래도 같은 과정. 그러나 빈 필드에서 팬더는 np.n
분명히 디스크 기반 셔플 작업 중에/tmp 폴더에 dask를 씁니다. 내가 사용하고있는 시스템에서이 폴더는 일부 계산 한 후 다음과 같은 오류가 발생, 매우 작은 파티션 (30기가바이트)에 장착된다 IOError: [Errno 28] No space left on device
Traceback
File "[path_to_anaconda]/lib/p
각 블록에 함수를 적용하고 예를 들어 10x10 행렬에서 단일 요소를 반환하고 싶습니다. 각각의 2x2 블록을 더하고 싶습니다. 아래에서 보는 것의 조합을 시도했지만 항상 IndexError이 표시됩니다. 기본 설정 map_blocks 사용는 m = da.from_array(np.ones((10,10)), chunks=(2,2))
def compute_b
저는 수백만 개의 텍스트 파일에서 큰 텍스트 처리 작업을 준비하기 위해 dask.bag의 일부 테스트를 시도하고 있습니다. 현재 수십에서 수십만 개의 텍스트 파일로 이루어진 테스트 세트에서 dask가 직선 단일 스레드 텍스트 처리 기능보다 5 ~ 6 배 더 느리게 실행되는 것을 볼 수 있습니다. 대용량 텍스트 파일에서 dask를 실행할 때의 속도상의 이점을
많은 기능 언어는 map처럼 작동하지만 은 값을 반환 할 수 있습니다. Spark/pyspark에 해당합니다. http://spark.apache.org/docs/latest/api/python/pyspark.html#pyspark.RDD.flatMap dask에서 가장 좋은 방법은 무엇입니까? 내 코드는 다음과 같습니다 dicts의 import dask.
안녕하세요, 저는 Dask 프로세싱 체인에서 과도한 (또는 가능하지 않은) 메모리 사용을 이해하는 데 도움을 청했습니다. 문제는 다음과 같은 기능의 실행으로부터 온다 : def create_fft_arrays(master_array, fft_size, overlap):
input_shape = master_array.shape[0]
#
N-body simulation은 입자 상호 작용이 포함 된 물리적 시스템의 동적 인 시뮬레이션 또는 물리적 의미를 지닌 어떤 종류의 입자로 축소 된 문제에 사용됩니다. 입자는 은하계의 기체 분자 또는 별일 수 있습니다. 입자 개체가 단순히 NumPy와 배열 여기 class ParticleGenerator():
def __init__(self, n
: http://dask.pydata.org/en/latest/examples/bag-word-count-hdfs.html 하지만 여전히 내 단일 작동하지 기계는 32GB 메모리 및 8 코어 CPU입니다. 내 코드는 10GB 파일을 처리하는데도 사용되지 않습니다. 오류는 jupyter가 축소되었음을 알리는 시간없이 몇 시간 동안 실행됩니다. 우분투와 Win
everyone. 일부 파일을 처리하기 위해 Distributed + HDFS로 Dask를 사용하려고합니다. 나는 HDFS3 플러그인을 설치하는 분산 시도를 설치할 때, 오류 : Can not find the shared library:libhdfs3.so 내 환경은 우분투 (16) 데스크탑 버전입니다. 내가 엄격한 bewlo에 따라,하지만 여전히 작동하지