단일 노드에서 여러 매퍼를 동시에 실행하는 방법

Question

Mac에서 Hadoop 2.8.0을 사용하고 있습니다. 모든 매퍼를 동시에 실행하고 싶습니다. 필자는 입력 파일을 두 개 이상 분할하고 둘 이상의 입력 파일을 사용하여 여러 매퍼가 만들어 지도록 노력했습니다. 생성되지만 순차적으로 실행됩니다.

finising 작업 **** _ m_0 ...............

시작 작업 **** _ m_0

:이 같은 출력 뭔가 참조

시작 작업 **** _ m_1과

맵퍼 다른 후 하나를 실행 왜? 한 번에 시작할 수 있도록 구성하려면 어떻게해야합니까?

Answer 1

로컬 모드 (예 : eclipse)에서 mapreduce를 실행하는 경우 한 번에 하나의 매퍼와 하나의 감속기 만 실행합니다. 터미널에서 hadoop 명령을 사용하여 분산 (또는 의사 분포) 모드로 실행하는 경우 더 많은 매퍼로 실행할 수 있습니다.

최대 매퍼 수를 1보다 크게 설정하십시오

파일이 4 개 있고 Mac에 코어가 4 개 이상이면지도 작업이 동시에 4 개 이상 실행되어야합니다.