왜 원사 메모리 오류가 발생합니까?

Question

HDP 2.6.3에서 2.2 스파크 및 제플린 0.7.3은이 오류 얻을 : 최대 (8기가바이트)에서

java.lang.IllegalArgumentException: Required executor memory (12288+384 MB) is above 
the max threshold (8192 MB) of this cluster! Please check the values of 
'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'. 

yarn.nodemanager.resource.memory-mb이입니다.

각 노드가 16GB 인 노드가 4 개 있으므로 yarn.scheduler.maximum-allocation-mb = 14.25GB입니다.

이 나는 ​​시도했다 : 행운과

export ZEPPELIN_JAVA_OPTS="-Dspark.executor.memory=2g -Dspark.cores.max=7"

.

문제는 12288입니다. 어떻게 줄일 수 있습니까? TIA!

Answer 1

yarn.nodemanager.resource.memory-mb은 언제나 yarn.scheduler.maximum-allocation-mb과 같아야합니다. 최대 8GB가 기본값입니다.