실패한 작업이 중단 된 입력 파일의 지점에서 새 Hadoop 작업이 다시 시작되도록 보장 할 수 있습니까?

Question

Hadoop 2.7.2를 실행 중입니다.

10 개의 Hadoop 작업이 실행 중이며 각 작업이 1 개의 HDFS 입력 텍스트 파일을 처리한다고 가정 해 보겠습니다.

작업 중 하나가 실패하면 HDFS 입력 파일 file05의 566 행을 읽는다고 가정 해 봅시다.

기본적으로 어떤 일이 발생합니까? Hadoop의 두 번째 작업 시도가 file05의 567 행에서 재개됩니까? 또는 두 번째 작업 시도가 file05의 첫 번째 줄에서 시작됩니까?

사용 사례에 따라 실패한 처리가 중단 된 곳을 찾아야 할 수도 있습니다. 그렇지 않으면, 다른 경우에, 나는 그 파일을 새로 처리하기 시작할 수 있습니다.

Hadoop의 두 번째 작업 시도가 file05의 567 행에서 재개되도록하려면 어떻게해야합니까?

두 번째 작업 시도가 file05의 첫 번째 줄에서 시작되도록하려면 어떻게해야합니까?

Answer 1

작업이 실패하면 응용 프로그램 마스터가 다시 시작하려고 시도합니다. 작업이 다시 시작됩니다. 재 시도가 허용되는 횟수에 대한 매개 변수가 있습니다. 초과되면 전체 응용 프로그램이 종료됩니다.