dask-distributed

1열

2답변

제 목표는 3 개의 리눅스 (우분투) 물리적 워크 스테이션 그룹에 도커 웜을 설정하고 그 위에 dask 클러스터를 실행하는 것입니다. $ docker --version Docker version 17.06.0-ce, build 02c1d87 나는 도커 떼를 초기화 할 수 있으며 모든 기계를 떼에 추가 할 수 있습니다. cordoba$ docker no

1열

1답변

dask 디버그에서 python 인스턴스를 닫는 방법

로컬에서 dask 클라이언트를 사용하고 있습니다. 문제는 내가 로컬 스케줄러를 사용하더라도 작업이 완료되면 여전히 많은 파이썬 인스턴스를 메모리에 가지고있을 때입니다. 이것은 내가하고있는 것입니다 : x.compute(get=dask.get) from dask.distributed import Client client = Client() # Starts

1열

1답변

dask 클러스터에 현재 작업 수를 얻기위한 dask api가 있습니까?

많은 작업이 단기간에 제출 될 경우 dask scheduler가 메모리 오류로 죽어 버리는 문제가 발생했습니다. 클러스터에서 현재 작업 수를 얻을 수 있다면 클러스터에 제출 된 동시 작업 수를 쉽게 제어 할 수 있습니다. 참고 : 작업이 여러 클라이언트에서 동일한 스케줄러에 제출되고 있습니다.

1열

1답변

dask-distributed : fire_and_forget으로 제출 된 작업을 취소하는 방법?

fire_and_forget을 사용하여 작업 그래프를 제출할 때 나중에 (새 프로세스/클라이언트에서) 해당 작업을 (예 : 키 이름으로) 취소 할 수 있습니까? 또한 모든 종속 작업을 취소 할 것인가, 아니면 이것 또한 'fire_and_forget'과 같은 것입니까?

1열

1답변

명령 줄에서 dask-distributed 로컬 클러스터를 실행하려면 어떻게해야합니까?

나는 명령 줄에서 Client(LocalCluster())과 동급의 것을하고 싶다. Jupyter 노트북에서 배포 할 때마다 자주 커널을 다시 시작하고 매회 LocalCluster을 새로 시작하고 내 bokeh 웹 페이지를 새로 고침합니다. 나는 단지 연결할 수있는 백그라운드에서 실행되는 프로세스를 가지고있을 가능성이 있습니까? 다른 터미널에서 $ dask

1열

1답변

Dask - 값과 일치하는 행을 검색 중

매우 큰 csv 파일의 폴더를 읽으려고 Dask를 사용하려고 시도하고 있습니다. (모두 메모리에 들어 있지만 크기는 매우 크지만 RAM이 많습니다) - 현재 솔루션은 다음과 같습니다 : val = 'abc' df = dd.read_csv('/home/ubuntu/files-*', parse_dates=['date']) # 1 - df_pd = df.c

1열

1답변

다중 사용자 dask.distributed 클러스터에서 파이썬 환경을 분리하기위한 옵션은 무엇입니까?

저는 여러 사용자가 동일한 파이썬 파일이나 zip 콘텐츠의 약간 다른 버전을 업로드 할 때 충돌을 피하는 데 특히 관심이 있습니다. 작업자 프로세스가 장기 실행되고 다른 환경의 변경/추가에 따라 실제로 지원되는 사용 사례가 아닌 것 같습니다. 로컬/원격 컨텍스트 스위칭이 용이 한 라이브러리가 좋기 때문에 사용자 별 작업자 프로세스를위한 원활한 배포와 같은

1열

1답변

Dask Dataframes에서 .set_index()를 지연 (또는 동시에 실행) 할 수 있습니까?

TL; DR : 은 동시에 병렬 여러 DASK Dataframes 에 .set_index() 방법으로 가능한가? 또는 여러 Dask Dataframes에 지연적으로 을 넣을 수 있습니까? 결과적으로 인덱스 이 동시에 으로 설정 될 수 있습니까? 여기 는 시나리오 : I가 저장되는 여러 시계열 때마다 시리즈를 .csv여러 개의 파일입니다. 각 파일에는 특정