dask

2열

2답변

우분투 16.04에서 분산 분산 스케줄러와 작업자를 자동으로 시작하고 제어하는 여러 가지 방법을 고려 중입니다. 현재 가장 관련있는 옵션은 systemd 데몬을 사용하는 것입니다. 이를 위해서는 unit files을 만들고 설치해야합니다. Systemd에서는 단위 파일에 서비스를 중지하는 명령 줄이 있어야하며 ExecStop으로 설정해야합니다. 구성을

1열

1답변

dask를 사용하여 코어를 groupby 및 recode 할 수 있습니까?

8GB의 csv 파일과 8GB의 RAM이 있습니다. : 나는 각 행의 매수가 처음 두 열의가 얼마나 카운트 중복을 제거하고 정수 as follows에 문자열을 코딩 작은 파일의 경우 a,c c,a f,g a,c c,a b,f c,a : 각 파일은이 형태로 한 줄에 두 개의 문자열을 가지고 import pandas as pd from skle

0열

2답변

Mac OS X에서 sudo로 dask.distributed 또는 dask.multiprocessing을 실행해야합니까?

분산/병렬 컴퓨팅을 위해 dask를 처음 사용했습니다. Mac에서 작동하게하는 데 큰 문제가 있지만 루트로 실행할 때 작동하는 것 같습니다. 이것은 장기 실행 프로그램을 실행하는 최선의 방법이 아닌 것 같습니다. 거기에 어떤 해결책이 있습니까? /Tomas

0열

1답변

덤프 백 read_text() 라인 순서

dask.bag.read_text()는 라인 순서를 보존합니까? 여러 파일을 읽을 때 여전히 보존됩니까? bag = db.read_text('program.log') bag = db.read_text(['program.log', 'program.log.1'])

2열

2답변

dask에서 GroupBy 객체를 반복합니다.

dask GroupBy 객체를 반복하여 기본 데이터 프레임에 액세스 할 수 있습니까? 나는 시도 : 그러나 import dask.dataframe as dd import pandas as pd pdf = pd.DataFrame({'A':[1,2,3,4,5], 'B':['1','1','a','a','a']}) ddf = dd.from_pandas(pdf

0열

1답변

dask/distributed 진행 막대가있는 응답 성 IPython 노트북

dask.distributed으로 클러스터를 실행 중입니다. 현재 GUI로 사용하는 Jupyter 노트북으로 작업을 클러스터에 제출합니다. 각 노트북 셀에는 다음 코드가 들어 있습니다. %pylab inline %load_ext autoreload %autoreload 2 from distributed import progress sys.path.

1열

1답변

dsk.distributed에서 진행률 표시 줄 위젯을 별도의 스레드로 실행하는 방법은 무엇입니까?

here의 예가 있습니다. 별도의 스레드에서 처리하기 위해 데이터를 삽입하는 것을 보여줍니다. 데이터가 수동 및 대화 형으로 삽입 될 때 역순으로 관심이 있고 백그라운드 스레드가 계산을 위해이를 클러스터에 제출합니다.

2열

1답변

는, 지연과 같이 보입니다 내가 게으르게 발전기에서 DASK의 dataframe을 만들려면 발전기

에서 DASK의 dataframe을 만들 수 있습니다. df = pd.DataFrame(parsed_rows) 을 DASK를 만들 수있는 가장 좋은 방법은 무엇 : parser.read 사용 후 목록에서 각 사전을 수집하고, 것이다 (나는 그냥 일반 팬더를 사용하는 경우) 키 - 값 쌍의 사전을 산출 이것에서 데이터 프레임? 그 이유는 a) 반드시 반환

2열

1답변

dsc와 함께 매끄럽게하는 필터를 적용하는 방법

2 차원 배열을 가지고 있습니다. 예를 들어 간단한 평면 정사각형 매트릭스와 같이 2 차원 컨볼 루션을 커널과 함께하고 싶습니다. 예를 들어보기 : http://nbviewer.jupyter.org/gist/zonca/f0d819048ef7318eff944396b71af1c4 dask이 멀티 스레드를 실행하는 방법이 있나요?

1열

1답변

하나의 키/그룹에서 여러 팬더 데이터 프레임을 HDF5 오브젝트로 결합하는 방법은 무엇입니까?

크기가 큰 CSV 800GB에서 데이터를 파싱 중입니다. 각 데이터 행마다 판다 데이터 프레임으로 저장합니다. readcsvfile = csv.reader(csvfile) for i, line in readcsvfile: # parse create dictionary of key:value pairs by csv field:value, "dict