각 매퍼가 수행하는 작업

Question

여러 개의 조인이있는 sql이 있습니다.

2017-12-28 05:15:53,140 Map 1: 15/15 Map 6: 9/9 Map 7: 29/29 Map 8: 198(+2)/200 Map 9: 1/1 Reducer 2: 1/1 Reducer 3: 0(+1)/1 Reducer 4: 0(+3)/3 Reducer 5: 0(+11)/11 

위의 내용은 지난 몇 시간 동안 로그를 기록한 행입니다. 2 맵퍼는 각 매퍼가 도움이 될 것입니다 TEZ에서 무엇을하는지에

map 8: 198(+2)/200 

어떤 생각 너무 오래 걸리는 이유는 어떻게 무엇을하고 있는지지도 8 확인 않습니다.

Answer 1

DAG 그래픽보기/정점 카운터를보고 분석하는 것이 좋습니다. 정점이 왜 그렇게 오래 걸리는지에 대한 통찰력을 얻을 수 있습니다.