하둡 재귀 적 매핑

Question

내 매퍼가 다른 매퍼가 처리 할 새 키/값을 생성하는 경우가 있습니다. 이것을 할 수있는 좋은 방법이 있습니까? 이를 달성하기 위해 내 자신의 사용자 지정 입력 형식 (큐?)을 작성하는 방법에 대해 생각해 보았습니다. 어떤 아이디어? 감사!

편집 : 그래서 완전히 재귀입니다

방법 1

 
Map Step 1 
(foo1, bar1) -> out1 
(foo2, bar2) -> out2 
(foo3, bar3) -> (fooA, barA), (fooB, barB) 
(foo4, bar4) -> (fooC, barC) 

Reduction Step 1: 
(out1) -> ok 
(out2) -> ok 
((fooA, barA), (fooB, barB)) -> create Map Step 2 
((fooC, barC)) -> also send this to Map Step 2 

Map Step 2: 
(fooA, barA) -> out3 
(fooB, barB) -> (fooD, barD) 
(fooC, barC) -> out4 

Reduction Step 2: 
(out3) -> ok 
((fooD, barD)) -> create Map Step 3 
(out4) -> ok 

Map Step 3: 
(fooD, barD) -> out5 

Reduction Step 3: 
(out5) -> ok 

-- no more map steps. finished -- 

을 명확히해야한다. 일부 키/값은 감소를 위해 출력을 내보내고, 일부는 매핑을 위해 새 키/값을 생성합니다. 주어진 실행에서 얼마나 많은지도 또는 축소 단계가 발생할 수 있는지 실제로 알지 못합니다.

이 방법은 그 자체가 입력 목록을 공급하는 매퍼를 얻을 것 2

 
Map Step 1 
(foo1, bar1) -> out1 
(foo2, bar2) -> out2 
(foo3, bar3) -> (fooA, barA), (fooB, barB) 
(foo4, bar4) -> (fooC, barC) 
(fooA, barA) -> out3 
(fooB, barB) -> (fooD, barD) 
(fooC, barC) -> out4 
(fooD, barD) -> out5 

Reduction Step 1: 
(out1) -> ok 
(out2) -> ok 
(out3) -> ok 
(out4) -> ok 
(out5) -> ok 

방법. 마지막으로 어떤 방법으로 구현하는 것이 더 쉬운 지 잘 모르겠습니다.

Answer 1

"방법 1"방법을 사용하면 Hadoop을 통해 전체 데이터 집합을 실행하고 Map을 통해 전체 "재귀 깊이"를 줄일 수 있습니다. 이것은 이것이 얼마나 깊은지를 반드시 확인해야하며 엄청난 성능 영향을 받게 될 것임을 의미합니다.

재귀 깊이가 제한적이라고 말할 수 있습니까?

그렇다면 필자는 확실히 "방법 2"로 가서 실제로 한 매퍼 호출 내에서 필요한 재귀를 수행하는 방식으로 매퍼를 작성합니다. 더 간단하고 많은 성능을 절약 할 수 있습니다.

Answer 2

oazie [그리드 워크 플로우 정의 언어]를 사용하여 두 개의 M/R 작업을 처음으로 매퍼 (mapper) 만 갖는 문자열로 묶습니다. http://yahoo.github.com/oozie

Answer 3

작업의 시작 부분에있는 Hadoop MR 프레임 워크는 맵 작업을 실행해야하는지 계획하고 있으며 새 맵 작업이 동적으로 표시 될 준비가되어 있지 않습니다.
두 가지 가능한 해결책을 제안합니다 : a)지도 단계에서 다른 쌍을 방출하는 경우 동일한 매퍼로 피드하십시오. 따라서 매퍼는 일반적인 인수를 취하고 처리 후에는 추가 쌍이 처리 할 내부 로컬 대기열을 조사합니다. 작은 쌍의 보조 쌍이 있고 데이터 지역성이 그다지 중요하지 않은 경우 유용합니다.
b) 실제로 디렉토리 또는 이와 유사한 것을 처리하는 경우 - 작업 패키지의 기본 구조를 반복 할 수 있으며 즉시 필요한 모든 분할을 빌드 할 수 있습니다.