이해 하둡 시뮬레이터 Mumak

Question

최근에 내가 Mumak의 작업을 (참조, 예를 들어,이 MAPREDUCE-728)

그것은 기본적으로 작업 추적 및 토폴로지의 추적을 받아 하둡을 시뮬레이션 이해하려고 노력했다. 노드간에 스플릿을 할당하는 방법을 이해할 수 없습니다. mumak은 로컬 맵 작업과 로컬이 아닌 작업으로 무엇을 의미합니까?

Answer 1

MapReduce에는 작업중인 데이터에서 "멀리"작업을 실행하는 방법을 나타내는 "지역성"이라는 개념이 있습니다. 최상의 지역은 필요한 데이터가 포함 된 노드에서 작업을 실행하는 것입니다. 두 번째로 좋은 지역은 데이터가있는 노드와 같은 랙에있는 노드입니다.

Mumak은 구성에서 다음 설정을 사용하여 비 로컬 노드에서 예약 된 작업을 느리게 할 수 있습니다 파일 :

<property> 
    <name>mumak.scale.racklocal</name> 
    <value>1.5</value> 
    <description>Scaling factor for task attempt runtime of rack-local over 
    node-local</description> 
</property> 

<property> 
    <name>mumak.scale.rackremote</name> 
    <value>1.8</value> 
    <description>Scaling factor for task attempt runtime of rack-remote over 
    node-local</description> 
</property>