dask

0열

1답변

현재 저는 paper을 파이썬으로 학부 논문에 구현하고 있습니다.하지만 mahalanobis 미터법 학습 만 사용합니다 (궁금한 점을 고려하여). 바로 가기에서 정수로 구성된 67K * 67K 크기의 행렬을 알아야 할 때 간단히 numpy.dot(A.T,A)으로 A 문제가 있습니다. 여기서 A는 크기가 무작위 인 벡터 (1,67K)입니다. 그렇게하면 PC에

10열

1답변

팬더에서 apply를 사용하여 많은 (퍼지) 문자열 비교를 병렬화하는 방법은 무엇입니까?

내가 가지고있는 다음과 같은 문제 나는 dataframe 문장을 포함 마스터, 마스터의 모든 행에 대해 같은 master Out[8]: original 0 this is a nice sentence 1 this is another one 2 stackoverflow is nice , 내가 사용 가장 일치하는 또 다른 Datafr

1열

1답변

파이썬에서 대형 배열을 곱하면

많은 수의 반복에도 큰 배열을 곱할 수 있습니다. 나는 약 1500 길이의 배열로 모델을 훈련하고 거의 1000000 시간 동안 3 번의 곱셈을 수행 할 것이다. 나는 DASK 발견 나는 정상적인 NumPy와 방법을 비교하려고하지만 난 빨리 NumPy와 발견 x = np.arange(2000) start = time.time() y = da.from_

3열

1답변

numpy.tile에 해당하는 dask는 무엇입니까?

Dask (http://dask.pydata.org/en/latest/array-api.html)는 분석을위한 유연한 병렬 컴퓨팅 라이브러리입니다. Numpy와 비교하여 큰 데이터로 확장되고 많은 유사한 방법이 있습니다. dask 배열에서 numpy.tile과 동일한 효과를 얻으려면 어떻게해야합니까?

1열

1답변

DASK와 from_pandas 함수의 RAM 문제

큰 데이터 세트의 RAM 문제를 피하기 위해 Python 3.4에서 DASK 패키지를 사용하려고하는데 문제가 있음을 알았습니다. 기본 기능 "read_csv"를 사용하면 150MB 미만의 RAM을 사용하여 dask 데이터 프레임에 큰 데이터 세트를로드합니다. PANDAS DB 연결 (제한 및 오프셋 옵션 사용) 및 dunge fuction "from_pan

2열

1답변

dask를 사용할 때`Bag.take (n)`을 사용하여 빈 결과를 피하는 방법?

컨텍스트 : Dask 설명서에 명확하게 Bag.take()은 첫 번째 파티션에서만 수집됩니다. 그러나 필터를 사용하면 첫 번째 파티션이 비어있는 반면 다른 파티션은 비어있을 수 있습니다. 질문 : 은 (n보다 작거나 가능한 최대까지) n 항목을 수집하는 파티션 충분한 개수에서 수집되도록 가능 Bag.take()을 사용하는 것이다.

2열

1답변

인덱스 목록을 기준으로 dask 데이터 프레임에서 데이터를 선택하려면 어떻게해야합니까?

보자. 다음과 같은 dask 데이터 프레임이 있습니다. dict_ = {'A':[1,2,3,4,5,6,7], 'B':[2,3,4,5,6,7,8], 'index':['x1', 'a2', 'x3', 'c4', 'x5', 'y6', 'x7']} pdf = pd.DataFrame(dict_) pdf = pdf.set_index('index') ddf = da

2열

1답변

dask 데이터 프레임의 .join 결과가 방법에 의존하는 것처럼 보입니다. dask 데이터 프레임이 생성되었습니다.

join을 적용하면 예기치 않은 결과가 발생하여 .from_delayed 메소드에서 생성 된 데이터 프레임을 마스킹합니다. 다음 세 가지 부분으로 구성된 예제를 통해이를 증명하고 싶습니다. compute 방법 dataframes을 판다 양쪽 dataframes를 변환] from_delayed 방법을 통해 DASK dataframe를 생성 from_panda

3열

1답변

dask는 스케줄러에서 어떻게 작업자에게 데이터를 분배합니까?

dask가 분할되어 작업자에게 데이터를 보내는 방법에 대한 문서가 있습니까? 공식 웹 사이트에서 찾을 수 없었습니다. 당신이 메시지 프로토콜에 관심이 있다면 http://distributed.readthedocs.io/en/latest/locality.html 다음이 블로그 게시물이 도움이 될 수 있습니다 : 당신은 데이터 이동 정책에 관심이 있다면

2열

1답변

, 나는 오류 "AttributeError를 'DICT'객체 'endswith'에는 속성이 없습니다"얻을

제목 말한다 그것을 의 가장하지만 해당 개체는 다음과 같습니다 >>> import dask.bag as db >>> b = db.from_sequence([{'name': 'Alice', 'balance': 100}, ... {'name': 'Bob', 'balance': 200}, ... {'name': 'Charlie', 'ba