2 매퍼와 1 감속기를 사용하는 Hadoop mapreduce를 사용하여 C++

Question

this link의 지침에 따라 단일 매퍼와 단일 감속기를 사용하여 C++로 단어 수를 구현했습니다. 이제 같은 문제에 대해 두 개의 매퍼와 한 개의 감속기를 사용해야합니다.

이 점에 대해 제발 도와 줄 수 있습니까?

Answer 1

매퍼 수는 생성 된 입력 스플릿 수에 따라 다릅니다. 입력 분할 수는 입력 크기, 블록 크기, 입력 파일 수 (각 입력 파일은 적어도 하나의 입력 분할을 만듭니다), 입력 파일의 분할 가능 여부 등에 따라 달라집니다. this post in SO도 참조하십시오. .

원하는만큼 줄이기를 설정할 수 있습니다. hadoop 파이프를 사용하는 경우 hadoop을 실행할 때 -D mapred.reduce.tasks=...으로 설정하면됩니다. this post in SO을 참조하십시오.

하나 이상의 매퍼로 프로그램이 어떻게 작동하는지 신속하게 테스트하려면 입력 경로에 새 파일을 간단하게 넣을 수 있습니다. 이렇게하면 hadoop이 또 다른 입력 분할을 작성하여 다른 맵 태스크를 작성하게됩니다.

PS : 제공하신 링크에 연결할 수 없습니다.