0
hadoop-common/src/util에있는 클래스를 읽었지만 작업을 해당 데이터 세트와 관련시키는 클래스를 찾을 수 없습니다.hadoop 소스 코드에서 mapreduce 작업과 해당 데이터 세트를 연결하는 클래스는 무엇입니까?
하둡은 어떤지도 축소 작업이 어떤 데이터 세트와 관련되어 있는지 어떻게 알 수 있습니까?
A
답변
0
이 값은 InputFormat에 의해 결정됩니다.
보다 정확하게 : 각 MapReduce 작업에는 org.apache.hadoop.mapreduce.InputFormat (org.apache.hadoop.mapreduce.Job#setInputFormatClass 참조)의 구현이 할당되어 있으며 입력 분할 (= 입력 '데이터 세트')을 결정하기 위해 프레임 워크에서 사용됩니다.
키 mapreduce.job.inputformat.class을 검색하면 어떤 구현이 직장에서 사용되었는지 확인할 수 있으며 물론 자신의 구현을 설정할 수 있습니다.