Apache Spark on Oozie : 추가 구성 파일을 제공 하시겠습니까?

Question

나는 Hue에서 Oozie와 함께 Cloudera를 실행할 Spark app (현재 1.6.0)을 만들고 있습니다. 우리는 Hue와 Oozie를 사용하기를 원합니다.이 작업을 수행 할 사람들은 Oozie XML 구성에서 해킹하거나 명령 행에서 spark-submit을 실행하는 것보다 브라우저 기반 인터페이스에 더 편합니다.

색조 (3.10)를 통해 기본 Oozie/Spark Action을 실행하는 방법을 알아 냈습니다. 하지만 일반적인 스칼라 앱처럼 런타임시 구성 파일을 통해 다양한 비 스파크 매개 변수를 제공 할 수 있기를 원합니다. 나는 (a) Oozie가 받아 들일 수있는 메커니즘을 찾기 위해 고심하고있다. (b) Spark은 런타임에 지정된 파일에서 config 매개 변수를 가져 오는 것을 인식 할 것이다.

나는 다양한 순열을 시도했다.

options "-Dconfig.file=/my/file/location/fubar.conf" 

을하지만 스파크 작업은 설정을 데리러 실패하거나 완전히 (로그에 명백한 오류가) 실패하지 : 색조의 Oozie 작업 "속성"탭에서 옵션 중 하나로 이러는.

spark-submit --class com.example.Sparky --master local[*] \ 
--driver-java-options "-Dconfig.file=/my/file/location/fubar.conf" \ 
target/scala-2.11/spark-dummy_2.11-1.0.jar 

그래서 내가 상당을 공급하는 방법을 찾아야 할 것 같아요 : 불꽃 제출하여 명령 줄에서 (즉,하지 클라우 데라에) 로컬 모드에서 스파크 코드를 실행

는

작동하는 것 같다 런타임 구성을 Cloudera의 Oozie/Spark Action으로 변경합니다.

누구나 올바른 방법을 알고 있습니까?

Answer 1

따라서 Oozie Spark Action을위한 Java 드라이버 옵션으로 옵션을 지정할 수 있습니다.

양식의 초기 페이지 오른쪽 상단 모서리에있는 작은 코르크 기호를 사용하여 스파크 동작을 편집하여 다양한 속성을 설정할 수 있습니다.

톱니 바퀴를 클릭하여 양식의 두 번째 페이지를 연 다음 '속성'탭을 선택하십시오.

이

--driver-java-options "-Dconfig.file=/my/file/location/fubar.conf" 

그래서 당신이 그렇지 않으면 응용 프로그램을 통해 설정되어있을 수 있습니다 귀하의 불꽃 응용 프로그램에 속성을 전달할 수 있습니다 : "옵션 목록", 스파크 제출 예에서와 동일한 자바 드라이버 옵션을 입력에서

설정 파일. 예를 들어 "app.fubar.var1"속성이있는 경우 Java 드라이버 옵션을 통해 직접이 속성을 전달할 수 있습니다.

--driver-java-options "-Dapp.fubar.var1=myvalue" 

하지만이 같은 Oozie 스파크 조치로를 통과하면 난 아직도 내 설정 파일의 위치를 ​​인식하는 내 스파크 응용 프로그램을 얻을 수 없습니다.