MapReduce 비효율 감속기

Question

MapReduce 작업의 단일 감속기가 맵 기능에 의해 출력되는 모든 키와 다른 점은 무엇입니까?

Answer 1

가능한 원인 :

1. 클러스터는 여전히 1 감속기 (= 기본값)을 갖는 기본 설정이 있습니다.
2. 코드가 명시 적으로 값을 1 감속기로 설정합니다.
3. 로컬 모드 (즉, 클러스터가 없습니다)로 실행 중입니다.

견적 mapred-default.xml

<property> 
    <name>mapred.reduce.tasks</name> 
    <value>1</value> 
    <description>The default number of reduce tasks per job. Typically set to 99% 
    of the cluster's reduce capacity, so that if a node fails the reduces can 
    still be executed in a single wave. 
    Ignored when mapred.job.tracker is "local". 
    </description> 
</property> 

에서