MapReduce 기본 사항

Question

텍스트 파일의 크기가 300MB이고 크기가 128MB입니다. 총 3 블록 128 + 128 + 44MB가 생성됩니다. 수정하십시오 - 맵 축소 기본 입력 분할은 구성 할 수있는 128MB의 블록 크기와 같습니다. 이제 레코드 판독기는 각 분할을 읽고 키가 오프셋되고 값이 한 줄인 키 값 쌍을 만듭니다. (TextInputFormat) 질문 : 내 블록의 마지막 줄에서 블록이 끝났지 만 줄이 다른 블록에서 끝나면 나머지 줄이 다른 노드에서 가져 오거나 나머지 줄은 다른 노드에서 실행됩니다. 또한 어떻게 두 번째 노드가 첫 번째 줄이 처리를 위해 이미 사용되고 있다는 것을 알 수 있으며 다시 처리 할 필요가 없습니다.

예 : 이것은 스택 오버플로입니다.이 블록 끝 (블록 1의 끝)은 맵 축소 예제입니다. (줄 끝)

Answer 1

3이 시나리오에 대해 매퍼가 생성됩니다. Hadoop은 다음 블록의 위치를 ​​나타내는 모든 블록의 끝에 포인터를 사용하므로 매퍼 1은 블록 2의 일부일 수있는 전체 라인을 처리하고 매퍼 2는 해당 라인을 나가서 처리를 시작합니다.