Dask의 기본 groupby 작업

Question

대용량 파일 (50GB)을 처리하기 위해 Dask를 사용하려고합니다. 일반적으로 메모리에로드하고 팬더를 사용합니다. 두 개의 열 "A"와 "B"를 그룹화하고 열 "C"가 값으로 시작될 때마다 특정 그룹의 해당 열에서 해당 값을 반복하려고합니다. 팬더에서

, 나는 다음을 수행하게

df['C'] = df.groupby(['A','B'])['C'].fillna(method = 'ffill') 

은 무엇 DASK에 해당하는 것입니까? 또한 , 나는

내 진행 지금까지

당신을 감사합니다, 조금 팬더에 반대 DASK에 문제를 구조화하는 방법으로 손실입니다 :

첫 번째 설정된 인덱스 :

df1 = df.set_index(['A','B']) 

그런 GROUPBY :

df1.groupby(['A','B']).apply(lambda x: x.fillna(method='ffill').compute() 

Answer 1

그것은 DASK를 표시 현재 GroupBy 객체에 대해 fillna 메소드를 구현하지 않습니다. 나는 얼마 전에 PRing을 시도했고 아주 빨리 포기했다.

또한 dask는 method 매개 변수를 지원하지 않습니다 (지연 알고리즘을 구현하는 것이 항상 쉬운 것은 아니므로). 이것에 대한

해결 방법과 같이, 그룹화하기 전에 fillna을 사용할 수 있습니다 :

df['C'] = df.fillna(0).groupby(['A','B'])['C']

이 테스트되지 않았지만.

당신은 찾을 수 있습니다 내 여기 시도 (실패) :