맞춤 최적화에 SparkOptimizer 사용하기

Question

몇 가지 맞춤 최적화 된 논리적 계획을 SparkOptimizer에 연결하고 실행 계획을 확인하고 있습니다. 아래와 같이 xyz.Scala IN/스파크/SQL/촉매/맞춤 배치로 '브로 배치를'갖는 ABC :

Object xyz extends RuleExecutor{ 
val batches = Batch (custom rule1):: Batch(custom rule2) :: Batch(custom rule3) :: Nil 
} 

I 원하는

I는 RuleExecutor 확장 객체를 Spark에 예제 애플리케이션을 제출할 때 반영되는 규칙입니다. exerimental.extraOptimizations에 대해 읽었지 만,이 경우 구현하는 방법을 모르겠습니다.

Answer 1

알아 냈습니다. V 2.2. *와 함께 제공되는 새로운 실험 방법은 특정 응용 프로그램에 대한 사용자 지정 최적화가 필요하고 spark에 제출하는 모든 응용 프로그램에 대한 최적화가 필요한 경우에만 사용할 수 있습니다. 필자의 경우 모든 사용자 지정 배치를 optimizer.Optimizer에 포함시켜야했습니다. 따라서 규칙은 기본 규칙과 일괄 처리됩니다.