원 사는 yarn.nodemanager.resource.cpu-vcores를 기려하지 않습니다

Question

저는 Hadoop-2.4.0을 사용하고 있으며 시스템 구성은 24 코어, 96GB RAM입니다. 나는 다음과 같은 CONFIGS

mapreduce.map.cpu.vcores=1 
yarn.nodemanager.resource.cpu-vcores=10 
yarn.scheduler.minimum-allocation-vcores=1 
yarn.scheduler.maximum-allocation-vcores=4 
yarn.app.mapreduce.am.resource.cpu-vcores=1 

yarn.nodemanager.resource.memory-mb=88064 
mapreduce.map.memory.mb=3072 
mapreduce.map.java.opts=-Xmx2048m 

용량 스케줄러 CONFIGS 내가 사는 노드 당 10 개 이상의 매퍼를 시작하지 않을 것으로 예상

위 CONFIGS와

queue.default.capacity=50 
queue.default.maximum_capacity=100 
yarn.scheduler.capacity.root.default.user-limit-factor=2 

를 사용하고 있지만, 그것은 28 매퍼를 출시

노드 당. 내가 뭔가 잘못하고있는거야 ??

Answer 1

기본적으로 DefaultResourceCalculator이 사용되므로 YARN은 할당 된 코어보다 많은 컨테이너를 실행하고 있습니다. 메모리 만 고려합니다.

public int computeAvailableContainers(Resource available, Resource required) { 
// Only consider memory 
return available.getMemory()/required.getMemory(); 
    } 

DominantResourceCalculator를 사용하십시오 .CPU와 메모리를 모두 사용합니다. 용량 scheduler.xml에서 설정 아래

이

세트

yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator 

상세 정보 DominantResourceCalculator