2016-06-23 11 views
0

연령대가 다른 회사 직원의 데이터가있는 유스 케이스가 있습니다. 3 세 그룹 카테고리의 남성과 여성 직원의 가장 높은 급여를 찾아야합니다.하둡지도 축소 - 감속기 수

세부 사항을 위해 pls는 아래 링크로 이동 -

http://www.myhadoopexamples.com/2014/03/01/hadoop-mapreduce-example-with-partitioner/

내 질문은 - 여기에 우리가 매퍼 즉 남성과 여성에 의해 emited 두 개의 키가 있습니다. 그리고 드라이버 클래스에 3 감속기를 설정하여 3 개의 파티션이 생성됩니다.

가지 아래 두 가지가있을 수 있습니다 -

  1. 3 감속기는 어떤 inturn 각 partioner에서 최대 여성과 남성의 임금을 찾아 각 3 파티션에 대해 실행됩니다. 위의 링크와 같이 예상 결과를 제공합니다.

  2. 만 감속기는 감속기의 실제 납입을 알고 싶다면, 당신은 더 나은 클러스터에서 실행 줄 남자 하나와 여자 하나, 실제로 실행하고 계산을

+0

정확히 원하는 사항은 무엇입니까 ?? –

+0

런타임에 얼마나 많은 감속기가 생성됩니까? 그것은 한 번에 각 분할 자의 3 개의 감속기와 서버 데이터를 생성하고 출력을 처리하거나 매퍼가 두 개의 키만 있기 때문에 2 개의 감속기를 처리합니다. –

+0

약 24 시간 만에 세 번 째 질문이 아니십니까? http://stackoverflow.com/questions/37972288/number-of-reducer-in-map-reduce 및 http://stackoverflow.com/questions/37983319/number-of-reducer –

답변

0

을 할 것입니다.

Number of reducer in map reduce에서 말했듯이 3 개의 감속기가 실행되고 1 개의 감속기는 데이터를 처리하지 않습니다. 3 개의 감속기를 모두 사용하려는 경우 연령대별로 데이터를 분할하는 것처럼 Partioner 클래스를 변경할 수 있습니다