캐시 된 테이블에 대한 스파크 SQL 파티션 프 루닝

Question

아파치 스파크의 캐시 된 Temp 테이블에 대한 파티션 프룬이 활성화되어 있습니까? 그렇다면 어떻게 구성합니까?

내 데이터는 다른 설치에서 센서 판독 값의 묶음이며 한 행에는 installationName, tag, timestamp 및 value가 있습니다. 이제

val parquet = hc.read.parquet("/path_to_table/tablename") 
parquet.registerTempTable("tablename") 

나는 경우 :

rdd.toDF("installationName", "tag", "timestamp", "value") 
    .repartition($"installationName", $"tag") 
    .write.partitionBy("installationName","tag").mode("overwrite").parquet(config.output) 

내가 스파크 HiveContext를 사용하여 SQL 테이블에 다음 명령을 사용하여 해당 데이터를 읽어

나는 다음과 같은 명령을 사용하여 마루 형식의 데이터를 작성했습니다 이 테이블에서 SQL 쿼리를 실행하면 조각 정리가 예상대로 분할됩니다.

그리고 쿼리는 약 8 초 걸립니다. 그러나 메모리에 테이블을 캐시 한 다음 동일한 쿼리를 수행하면 항상 약 50 초가 걸립니다.

hc.sql("CACHE TABLE tablename") 
hc.sql("select * from tablename where installationName = 'XXX' and tag = 'YYY'") 

현재 Spark 1.6.1을 사용하고 있습니다.

Answer 1

캐시가 작동하는 이유 때문입니다.

당신이 계획은 아래 참조있는 DataFrame, RDD 또는 데이터 집합을 실행에 프로세스의 어떤 종류를 호출

:

val df = sc.parallelize(1 to 10000).toDF("line") 
df.withColumn("new_line", col("line") * 10).queryExecution 

명령 당신에게 queryExecution 복귀 계획. 아래 코드의 논리 계획을 참조하십시오.

== Parsed Logical Plan == 
Project [*,('line * 10) AS new_line#7] 
+- Project [_1#4 AS line#5] 
    +- LogicalRDD [_1#4], MapPartitionsRDD[9] at 

== Analyzed Logical Plan == 
line: int, new_line: int 
Project [line#5,(line#5 * 10) AS new_line#7] 
+- Project [_1#4 AS line#5] 
    +- LogicalRDD [_1#4], MapPartitionsRDD[9] at 

== Optimized Logical Plan == 
Project [_1#4 AS line#5,(_1#4 * 10) AS new_line#7] 
+- LogicalRDD [_1#4], MapPartitionsRDD[9] at intRddToDataFrameHolder at 

== Physical Plan == 
Project [_1#4 AS line#5,(_1#4 * 10) AS new_line#7] 
+- Scan ExistingRDD[_1#4] 

이 경우 코드에서 수행 할 모든 프로세스를 볼 수 있습니다. 이 같은 cache 함수를 호출 할 때 :

df.withColumn("new_line", col("line") * 10).cache().queryExecution 

이 결과는 다음과 같이 될 것입니다 :

이 실행이 당신에게 optmized 논리적 인 계획에 InMemoryRelation의 실행을 반환합니다

== Parsed Logical Plan == 
'Project [*,('line * 10) AS new_line#8] 
+- Project [_1#4 AS line#5] 
    +- LogicalRDD [_1#4], MapPartitionsRDD[9] at intRddToDataFrameHolder at <console>:34 

== Analyzed Logical Plan == 
line: int, new_line: int 
Project [line#5,(line#5 * 10) AS new_line#8] 
+- Project [_1#4 AS line#5] 
    +- LogicalRDD [_1#4], MapPartitionsRDD[9] at intRddToDataFrameHolder at <console>:34 

== Optimized Logical Plan == 
InMemoryRelation [line#5,new_line#8], true, 10000, StorageLevel(true, true, false, true, 1), Project [_1#4 AS line#5,(_1#4 * 10) AS new_line#8], None 

== Physical Plan == 
InMemoryColumnarTableScan [line#5,new_line#8], InMemoryRelation [line#5,new_line#8], true, 10000, StorageLevel(true, true, false, true, 1), Pro... 

이 저장됩니다 귀하의 메모리에있는 데이터의 구조, 또는 귀하의 데이터가 정말 큰 경우 디스크에 엎질러 질 것입니다.

클러스터에이 시간을 저장하는 데 시간이 걸리므로 처음 실행시 약간 느려지지만 다른 곳에서 동일한 데이터를 다시 액세스해야 할 경우 DF 또는 RDD가 저장되고 스파크는 실행을 다시 요청하지 않습니다.