2
이 시나리오가 있습니다. JobA와 JobB. 이 작업이 여전히 진행되는 동안 JobA 감소 단계에서 제공 한 데이터를 사용하여 JobB 매핑 단계를 시작할 수 있습니까?축소 단계가 작동하는 동안 맵 단계를 시작하는 방법
감사합니다.
A
답변
0
내 마음에 유일한 것은 JobA의 출력 디렉토리를 영구적으로 검사하는 스레드 (드라이버 클래스에서 시작됨)를 갖는 것입니다. 특정 (세트의) part-r-xxxx 파일을 작성하여 완전히 작성한 경우 JobB가 해당 특정 (세트의) part-r-xxxx 파일을 입력으로 시작할 수 있습니다.
내가 확인할 수있는 유일한 문제는 part-r-xxxx 파일이 완전히 작성되었는지 확인하는 것과 관련된 문제입니다.
part-r- 파일은 특정 감속기에 의해 완전히 작성 될 때까지 보지 않을 것입니다. 따라서 part-r 파일이 나타날 때 처리 할 수 있고 완료되면 알 수 있습니다. –