2013-05-14 6 views
0

리듀서 대신 집계 기능을 사용하는 경우 Hadoop이 결합 자 단계와 동일한 기능을 사용할만큼 충분히 똑똑합니까?어 그리 게이터 기능이있는 하둡 결합 자

+0

직접 결합기를 지정합니다. 그러니 설정해야한다면 무엇이 영리해야할까요? 내가 뭔가를 놓치고 있어야합니다 – greedybuddha

+0

잘 똑똑한 말은, 내가'-combiner' 속성을 건너 뛰면 집계 기능을 기반으로 결합 단계를 수행합니까? 아니면'-combiner aggregate -reducer aggregate'처럼 지정할 필요가 있습니까? – spacemonkey

+0

계단식 애그리 게이터에 대해 이야기하고 있습니까? – greedybuddha

답변

0

그들은 부분적으로 동일한 목적을 수행하지만 집계 도구는보다 일반적인 것이기 때문에 결합자가 할 수없는 경우에 사용할 수 있습니다.

따라서 수집기는 자동으로 결합 자로 사용되지 않습니다. 만약 당신이 그것을 결합 자로 사용하기 원한다면, 그것을 지정해야합니다.

폭포에서 인용, "Combiners are limited to Associative and Commutative functions only, like 'sum' and 'max'. And in order to work, values emitted from the Map task must be serialized, sorted (deserialized and compared), deserialized again and operated on는"당신은이