dask

3열

1답변

파이썬 dask를 사용하여 CSV를 읽을 때 인덱스 열을 설정할 수 있습니까?

파이썬 팬더를 사용하여 CSV를 읽을 때 인덱스 열을 지정할 수 있습니다. 나중에 인덱스를 설정하는 대신 파일을 읽을 때 Python Dask를 사용하여이 작업을 수행 할 수 있습니까? 예를 들어 사용 팬더 : 이상적으로 df = pandas.read_csv(filename, index_col=0) 이 될 수 DASK를 사용하여 : df = dask.d

1열

2답변

dask 데이터 프레임/시리즈에서 infs를 어떻게 삭제합니까?

나는 infs와 nans를 모두 드롭해야하는 dask 시리즈를 가지고있다. .dropna()은 nans 만 삭제합니다. numpy/pandas에서 나는 result = result[np.isfinite(result)]과 같은 것을 할 것입니다. dask-land에서 추천되는 것은 무엇입니까? 부울 배열로 dask 객체를 인덱싱하면 오류가 발생합니다. inf

0열

1답변

시간이 지남에 따라 근로자를 잃어 버림

시간이 지남에 따라 근로자를 잃어버린 것을 보여주는 mcve가 있습니다. 이 예는 아주 최소한의하지 Distributing graphs to across cluster nodes 에 대한 후속이지만 우리의 일반적인 작업 패턴의 아이디어를 준다. 문제를 일으킬 수면이 필요합니다. 이는 이전 결과에서 큰 그래프를 생성해야하기 때문에 전체 응용 프로그램에서 발생

1열

2답변

도커 웜 노드가 웜의 다른 호스트에서 서비스를 감지 할 수 없습니다.

제 목표는 3 개의 리눅스 (우분투) 물리적 워크 스테이션 그룹에 도커 웜을 설정하고 그 위에 dask 클러스터를 실행하는 것입니다. $ docker --version Docker version 17.06.0-ce, build 02c1d87 나는 도커 떼를 초기화 할 수 있으며 모든 기계를 떼에 추가 할 수 있습니다. cordoba$ docker no

1열

1답변

dask 디버그에서 python 인스턴스를 닫는 방법

로컬에서 dask 클라이언트를 사용하고 있습니다. 문제는 내가 로컬 스케줄러를 사용하더라도 작업이 완료되면 여전히 많은 파이썬 인스턴스를 메모리에 가지고있을 때입니다. 이것은 내가하고있는 것입니다 : x.compute(get=dask.get) from dask.distributed import Client client = Client() # Starts

0열

1답변

dask에 범주 형 시리즈를 직접 만드는 방법은 무엇입니까?

다른 시리즈의 필터를 기반으로 카테고리 마스크 Series을 만들고 싶습니다. 팬더와 함께, 나는 할 것이다 다음을 수행하십시오 DASK Series입니다 import numpy as np import pandas as pd x = pd.Series(np.random.random(10)) test = x < 0.5 label = pd.Series(p

1열

1답변

열에있는 na의 1/3을 하나의 값으로 나머지를 다른 값으로 무작위로 설정합니다.

데이터 프레임에 누락 된 값을 묻습니다. df. 나는 A과 300 NaN's 란을 가지고있다. 임의로 2/3을 value1으로 설정하고 나머지는 value2으로 설정하고 싶습니다. 도와주세요. 편집 : 실제로 항목 할당을 지원하지 않는 dask에서이 작업을 수행하려고합니다. 이것이 내가 현재 가지고있는 것입니다. 처음에, 나는 내가 다음과 같은 오류를 가지

1열

1답변

dask 클러스터에 현재 작업 수를 얻기위한 dask api가 있습니까?

많은 작업이 단기간에 제출 될 경우 dask scheduler가 메모리 오류로 죽어 버리는 문제가 발생했습니다. 클러스터에서 현재 작업 수를 얻을 수 있다면 클러스터에 제출 된 동시 작업 수를 쉽게 제어 할 수 있습니다. 참고 : 작업이 여러 클라이언트에서 동일한 스케줄러에 제출되고 있습니다.

1열

1답변

dask-distributed : fire_and_forget으로 제출 된 작업을 취소하는 방법?

fire_and_forget을 사용하여 작업 그래프를 제출할 때 나중에 (새 프로세스/클라이언트에서) 해당 작업을 (예 : 키 이름으로) 취소 할 수 있습니까? 또한 모든 종속 작업을 취소 할 것인가, 아니면 이것 또한 'fire_and_forget'과 같은 것입니까?

2열

1답변

파이썬 future와 tuple unpacking

future를 가지고 튜플을 언 패킹하는 것과 같은 것을 달성하기위한 elagant/idiomatic 한 방법은 무엇입니까? 나는 a, b, c = f(x) y = g(a, b) z = h(y, c) 과 같은 코드를하고 난 미래를 사용하도록 변환하고 싶습니다. 이상적으로 그의 첫 번째 줄은 생각 TypeError: 'Future' object is