하둡 -

Question

내가 내 conf/mapred-site.xml

<property> 
    <name>mapred.tasktracker.map.tasks.maximum</name> 
    <value>4</value> 
</property> 

<property> 
    <name>mapred.tasktracker.reduce.tasks.maximum</name> 
    <value>1</value> 
</property> 

에서 다음 그러나 나는이 작업을 실행할 때, 그 여전히 2 maps(which is default one)를 실행 추가 실행하면 XML에서지도 작업을 증가하지지도 작업을 증가 하는가? 어떻게이 숫자를 늘릴 수 있습니까?

P.

Answer 1

소량의 데이터를 실행하고 있습니까? MapReduce 작업이 하나의 입력 분할로 실행되므로 더 많은 매퍼가 필요하지 않을 수 있습니다. 수백 MB의 데이터를 대신 실행하여 동일한 문제가 계속 발생하는지 확인하십시오.

단일 노드에서 실행할 수있는 최대 작업 수는 작업의 맵 작업 수와는 아무 관련이 없습니다. 귀하의 작업은 20 개의 맵 작업이 될 수 있으며 클러스터에는 5 개의 맵 슬롯이 있으며 시간이 오래 걸립니다. 또는 클러스터에 50 개의 맵 슬롯이있을 수 있지만 작업에는 2 개의 맵 슬롯 만 있습니다.

Answer 2

<property> 
    <name>mapred.tasktracker.map.tasks.maximum</name> 
    <value>1</value> 
    <final>true</final> 
</property> 

그 시도 나는

감사합니다 Ubuntu Quad core 상자를 사용하고 있습니다.

Answer 3

mapred.tasktracker.map.tasks.maximum은 tasktracker가 동시에 실행할 수있는 최대 작업 수입니다. 그러나 작업 전체의 맵 작업 수를 설정하려면 mapred.map.tasks을 4로 설정하십시오.