다소 이상한 질문이지만 MapReduce가 셔플/정렬의 정렬 부분에서 어떤 종류의 정렬을 사용하는지 알 수 있습니까? Merge 나 Insert (전체 MapReduce 패러다임을 유지하면서)라고 생각 하겠지만 확실하지는 않습니다.MapReduce 셔플/정렬 방법
9
A
답변
9
Quicksort인데, 나중에 분류 된 중간 출력이 함께 병합됩니다. 퀵 소트는 재귀 깊이를 확인하고 너무 깊을 때 포기합니다. 이 경우 Heaport가 사용됩니다.
org.apache.hadoop.util.QuickSort
당신은 hadoop-default.xml의 map.sort.class 값을 통해 사용되는 알고리즘을 변경할 수 있습니다
는 퀵 클래스에서보세요. 내 블로그에Map-Reduce:Shuffle and sort
을 :
-1
더 깊이에 대한 자세한 내용을 읽으려면 게시물에 대해 읽어 주시기 편집에 대한 Hadoop: Some Salient Understandings
들으. –
정렬 기술의이 스위치는 표준 하이브리드 정렬 AFAIK입니다. IntroSort라고하는 : http://en.wikipedia.org/wiki/Introsort –