Hadoop에서 Map/Reduce 작업이 실패하지 않도록하는 방법

Question

너무 많은 반복 횟수와 감속 기능에서 계산량이 많은 함수가있는 루프가 있습니다.

while (context.getCounter(SOLUTION_FLAG.SOLUTION_FOUND).getValue() < 1 && itrCnt < MAX_ITR) 

MAX_ITR은 반복 카운트입니다 - 사용자 입력

문제는 내가 하둡 클러스터에서 실행하는 경우가 타임 아웃 오류이며, 감속기 작업이 살해

17/05/06 21:09:43 INFO mapreduce.Job: Task Id : attempt_1494129392154_0001_r_000000_0, Status : FAILED 
AttemptID:attempt_1494129392154_0001_r_000000_0 Timed out after 600 secs 

내가 피하기 위해 무엇을해야합니까 시간 초과? (내 생각 엔 하트 비트 신호입니다.)

Answer 1

시간 초과의 이유는 작업 진행률을 Hadoop 프레임 워크에 다시보고하지 않고 감속기에서 장기간 계산 일 수 있습니다. 아래 명령을 사용하여 시간 제한 간격을 기본 600 초에서 늘릴 수 있습니다.

mapred.task.timeout=1800000 

여기에 reference이 더 있습니다.

이러한 설정이 작동하지 않으면 코드를 다시 검사 해보십시오. 코드 논리에도 문제가있을 수 있습니다.