spark.jars와 spark.driver.extraClassPath의 차이점

나는 원사 클라이언트 모드에서 spark-submit을 사용하고 classNotFound Exception을 얻으려고 spark 프로그램을 실행하려고합니다. 그래서 내 질문은 내 항아리 (- 항아리 또는 - 드라이버 클래스 경로) 매개 변수를 전달해야합니다.spark.jars와 spark.driver.extraClassPath의 차이점

스파크 = 2.0.0 HDP 2.5 하둡 = 2.7.3

출처

2017-04-17 hayat

[스파크 작업에 jar 추가 - spark-submit] (http://stackoverflow.com/questions/37132559/add-jars)의 가능한 복제본 -to-a-spark-job-spark-submit) –

사용 --jars는 모두 드라이버와 집행자 클래스 경로에이 항아리를 사용할 수 있도록합니다. 필요한 jar가 드라이버 코드에서만 사용되는 경우 옵션을 사용하십시오. --driver-class-path

출처

2017-11-14 09:10:16

spark.jars와 spark.driver.extraClassPath의 차이점

답변

관련 문제