스파크 파티션 - DISTRIBUTE BY 옵션 사용

Question

우리는 50MM 행을 처리해야하는 Spark 환경이 있습니다. 이 행에는 키 열이 들어 있습니다. 고유 한 키 수는 2000에 가깝습니다. 2000 개의 키를 모두 병렬로 처리하고 싶습니다. 따라서 우리는 다음과 같은

hiveContext.sql("select * from BigTbl DISTRIBUTE by KEY") 

같은 스파크 SQL을 사용하고 그 후 우리는 병렬로 모든 파티션에서 잘 작동하는 mapPartitions 있습니다. 그러나 문제는 기본적으로 200 개의 파티션 만 생성한다는 것입니다. 다음과 같은 명령을 사용하여 나는 고유 키의 숫자가 무엇인지 모르겠다 실제 생산 실행시 파티션 그러나

hiveContext.sql("set spark.sql.shuffle.partitions=500"); 

을 높일 수 있어요. 나는 이것이 자동 관리되기를 원한다. 이 작업을 수행 할 수있는 방법이 있습니까?

감사

발라

Answer 1

난 당신이 "다시 분할"기능을 사용하고 새로운 임시 테이블로 다시 파티션도 추가로 캐쉬 빠른 처리를 위해 등록 할 것을 제안합니다. 추가 쿼리에 대한

val distinctValues = hiveContext.sql("select KEY from BigTbl").distinct().count() // find count distinct values 

hiveContext.sql("select * from BigTbl DISTRIBUTE by KEY") 
     .repartition(distinctValues.toInt) // repartition to number of distinct values 
     .registerTempTable("NewBigTbl") // register the repartitioned table as another temp table 

hiveContext.cacheTable("NewBigTbl") // cache the repartitioned table for improving query performance 

는 "NewBigTbl"빠른 응답을 너무 많이