2011-09-24 6 views
7

Hadoop : The Definitive Guide에 따르면.지도/축소 기능에서 데이터를 가져 오는 방법은 무엇입니까?

새 API는 "푸시"및 "풀"스타일의 반복을 지원합니다. 두 API 모두에서 키 - 값 레코드 쌍이 매퍼로 푸시되지만 추가적으로 매퍼가 map() 메소드 내에서 레코드를 가져올 수 있습니다. 감속기에 대해서도 마찬가지입니다. "끌어 오기"스타일이 유용 할 수있는 방법의 예는 레코드를 하나씩 처리하는 것이 아니라 배치로 처리하는 것입니다.

지도/축소 기능에서 데이터를 가져온 사람이 있습니까? API 나 예제에 관심이 있습니다.

답변

5

@ [email protected]에 대한 질의를 게시하고 답변을 얻었습니다.

다음 키 값 쌍은 nextKeyValue()을 호출하여 맵에 전달 된 컨텍스트 개체에서 검색 할 수 있습니다. 따라서 새로운 API에서 다음 데이터를 가져올 수 있습니다.

이 시나리오에서 푸시 성능이 밀어 넣기 성능보다 우수합니까? 또한 끌어 당기는 것이 유용한 시나리오는 무엇입니까?

+0

이 시나리오는 현재 키/값 처리가 다음 keyvalue 쌍에 종속 될 때 유용 할 것으로 생각합니다. –

+0

이전 API와 새 API를 사용했을 수 있습니다. 하지만 문제는 데이터가 여러 블록으로 퍼져 나가는 상황을 처리하는 것입니다. –

+0

어떻게 이전 API로 할 수 있습니까? –