살아있는 동안 spark.executor.cores를 적용 할 수 없습니다.

spark job을 실행하기 위해 livy-server-0.2를 사용하고 있지만, spark.executor.cores의 기본 설정을 변경할 수 없습니다. 다른 설정을 적용하는 동안 효과가 나타나지 않습니다.살아있는 동안 spark.executor.cores를 적용 할 수 없습니다.

항상 실행 프로그램을 시작하기 위해 1 코어를 사용합니다. 여기

yarn  11893 11889 6 21:08 ?  00:00:01 
/opt/jdk1.7.0_80/bin/java -server -XX:OnOutOfMemoryError=kill 
%p -Xms1024m -Xmx1024m -Djava.io.tmpdir=/var/lib/hadoop-yarn/cache/yarn/nm-local-dir/usercache/root/appcache/application_1487813931557_0603/container_1487813931557_0603_01_000026/tmp 
-Dspark.driver.port=51553 
-Dspark.yarn.app.container.log.dir=/var/log/hadoop-yarn/containers/application_1487813931557_0603/container_1487813931557_0603_01_000026 
-XX:MaxPermSize=256m org.apache.spark.executor.CoarseGrainedExecutorBackend 
--driver-url spark://[email protected]:51553 --executor-id 19 
--hostname master01.yscredit.com --cores 1 --app-id application_1487813931557_0603 
--user-class-path file:/var/lib/hadoop-yarn/cache/yarn/nm-local-dir/usercache/root/appcache/application_1487813931557_0603/container_1487813931557_0603_01_000026/__app__.jar

는 $ SPARK_HOME/conf의 나의 불꽃은 defaults.conf 파일

spark.master=yarn 
spark.submit.deployMode=cluster 
spark.executor.instances=7 
spark.executor.cores=6 
spark.executor.memoryOverhead=1024 
spark.yarn.executor.memoryOverhead=1400 
spark.executor.memory=11264 
spark.driver.memory=5g 
spark.yarn.driver.memoryOverhead=600 
spark.speculation=true 
spark.yarn.executor.memoryOverhead=1400

아무도 나를 도울 수

입니까? 감사!

출처

2017-03-12 Ron.Lin

를 다시 시작해야합니다 살아있는 소스 코드, 나는 그것이 두 configur를 읽습니다 참조하십시오 e 파일, livy-client.conf 및 spark-defaults.conf가 있습니다. 그리고 livy-client.conf는 spark-defaults.conf보다 우선 순위가 높습니다. 그러나 defaults.conf에서 spark.executor.cores 설정을 설정했기 때문에 설정을 적용하지 않는 것이 근본 원인이 아닙니다. 어딘가에 spark.executor.cores에 대한 구성이 있어야한다고 가정합니다. –

클러스터에서 capacity-scheduler.xml 파일을 찾을 수 있습니까? – Achyuth

Livy 소스 코드를 읽는 것이 좋습니다. Livy는 거의 설명서가 없으므로 google.Livy에서 해결할 수없는 많은 문제를 만날 수 있습니다. Livy는 미들웨어이며 코드 양은 상대적으로 적습니다.

당신은 3 개 위치에서 스파크 매개 변수를 지정할 수 있습니다

는

이 위치는 : 이미 에 LivyServer로 만들기 세션 POST 요청을 스파크 매개 변수를 설정 한 경우, 어떤 구성가 발생했습니다 귀하의 게시물 요청에 어떤 구성 파일에 의해 무시 될 수 없습니다. 즉, 귀하의 게시물 요청에서 구성이 가장 높은 우선 순위를 가지고;
위치 B : 그런 다음, $LIVY_HOME/conf에서, 당신은 spark-defaults.conf 또는 livy-client.conf에서 스파크 매개 변수를 'spark.driver.memory'와 같은 을 설정할 수 있습니다;
위치 C : 마침내는, 리비 (Livy)는 $SPARK_HOME/conf/spark-defaults.conf에서 구성을 사용하여, 그러나 여기에서 구성은, 다시 말해서, 위치 A/B에서 발생 did't 단지 구성을 우선 순위가 가장 낮습니다 것 효과가 나타납니다.

출처

2017-11-13 11:14:18 wuchang

클러스터의 리소스를 제한하는 속성이 실에 있습니다. 위해 다음과 같은

"yarn.scheduler.capacity.resource-calculator": "org.apache.hadoop.yarn.util.resource.DominantResourceCalcul‌ator"

에 속성 적용이 속성을 만들 수

sudo vi /etc/hadoop/conf/capacity-scheduler.xml

변경 당신은에서 실

sudo hadoop-yarn-resourcemanager stop

재시작 원사

sudo hadoop-yarn-resourcemanager start

출처

2017-11-13 20:39:38 Achyuth

살아있는 동안 spark.executor.cores를 적용 할 수 없습니다.

답변

관련 문제