로드 소품 내가 사용하여 내 스파크 응용 프로그램에서 사용자 정의 속성을로드하려고

EMR 스파크 응용 프로그램에서 파일 - 그러나로드 소품 내가 사용하여 내 스파크 응용 프로그램에서 사용자 정의 속성을로드하려고

command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{input.directoryPath}/SWALiveOrderModelSpark-1.0-super.jar

, 나는 다음과 같은 예외가 점점 오전 : - 스레드

예외 "main"java.lang.IllegalArgumentException : 올바르지 않은 등록 정보 파일 's3 : //spark-config-test/myprops.conf' '. org.apache.spark에서 org.apache.spark.launcher.AbstractCommandBuilder.loadPropertiesFile (AbstractCommandBuilder.java:284) 에서 org.apache.spark.launcher.CommandBuilderUtils.checkArgument (CommandBuilderUtils.java:241)에서 . 조직

에서 launcher.AbstractCommandBuilder.getEffectiveConfig org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand (SparkSubmitCommandBuilder.java:233)에서 (AbstractCommandBuilder.java:264) 는 이 파일을로드하는 올바른 방법인가 S3에서?

출처

2017-11-28 Sanchay

S3에서 직접 등록 정보 파일을로드 할 수 없습니다. 대신 속성 파일을 어딘가에 마스터 노드에 다운로드 한 다음 해당 노드의 로컬 경로를 참조하는 스파크 작업을 제출해야합니다. command-runner.jar을 사용하여 다운로드를 수행하여 aws cli 유틸리티를 실행할 수 있습니다.

출처

2017-11-28 15:56:44 RyanW

이것은 spark-default.conf 및 yarn-xml 파일 같은 경우에도 해당됩니까? – Sanchay

아니요, Amazon은 spark/hadoop 특정 설정을 모두 구성하는 구성 API를 제공합니다. 본질적으로 JSON 객체에 "yarn.some.setting"과 같은 키를 제공합니다. 여기 세부 정보 : http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html – RyanW

spark-defaults 분류를 사용하고 다음 속성을 제공합니다. - spark.yarn.appMasterEnv.FOO = "foo". 유언 집행 인에게도 이것이 보이게됩니까? – Sanchay

로드 소품 내가 사용하여 내 스파크 응용 프로그램에서 사용자 정의 속성을로드하려고

답변

관련 문제