reduce 출력 파일의 출력을 파티션 번호로 바꾸는 방법

Question

각 reduce 작업의 출력 파일 이름을 파티션 번호로 지정하는 데 문제가 있습니다. 출력 파일의 이름을 그 파티션 번호로 어떻게 지정합니까? MultipleTextOutputFormat을 살펴 보았습니다. 각 키에 대해 선택한 이름으로 새 파일을 생성 할 수 있습니다. 하지만 각 파티션의 출력 파일 이름을 원하는대로, 즉 파티션 번호로 지정하고 싶습니다. 도와주세요.

감사

Answer 1

당신은 OutputFormat 클래스를 서브 클래스 및 솔루션을 달성하기 위해 거기에 몇 가지 메소드를 오버라이드 (override) 할 필요가 있습니다.

Answer 2

귀하의 감속기에 jobConf.getInt("mapred.task.partition", 0)을 시도해보십시오.