0
저는 MapReduce 프레임 워크에 관해 꽤 혼란 스럽습니다. 그것에 대해 다른 출처에서 읽는 것을 혼란스럽게합니다. 그건 그렇고, 이것이 MapReduce 욥의 나의 생각이다.셔플 위상과 결합기 위상의 차이점은 무엇입니까?
1. Map()-->emit <key,value>
2. Partitioner (OPTIONAL) --> divide
intermediate output from mapper and assign them to different
reducers
3. Shuffle phase used to make: <key,listofvalues>
4. Combiner, component used like a minireducer wich perform some
operations on datas and then pass those data to the reducer.
Combiner is on local not HDFS, saving space and time.
5. Reducer, get the data from the combiner, perform further
operation(probably the same as the combiner) then release the
output.
6. We will have n outputs parts, where n is the number
of reducers
그것은 기본적으로 맞습니까? 내 말은, 나는 combiner가 셔플 페이즈이고 기본적으로 각 레코드를 키에 의해 groupby라고 말하는 몇 가지 소스를 찾았습니다. ...
메시지의 번호는 각 작업이 수행되는 순서를 나타 냅니까? – Amit
예, 제 마음 속에는 그렇습니다. – rollotommasi
어쨌든, 나는 아래 답변이 그 요점을 설명한다고 생각한다. – Amit