Hadoop 클러스터의 모든 노드 대신 일부 특정 노드에서 맵 축소 작업을 예약 할 수 있습니까? 예를 들어, 10 개의 사용 가능한 노드 중 4 개의 슬레이브 노드에 대해 말하십시오. Google에서 검색을 시도했지만 관련 결과를 찾지 못했습니다. This page은 기본적으로 모든 작업이 전체 클러스터에서 예약되도록 지정합니다. 내 요구 사항의맵 축소 작업을 특정 슬레이브 노드에서 예약 할 수 있습니까?
이유 :
는 내가 대학원 수준의 할당 작업으로 분산 관계형 데이터베이스 (RDB)를 구현해야합니다. Hadoop을 사용 중이며 할당 요구 사항에 따라 클러스터의 연결된 시스템에 데이터를 복제해야합니다. 이제 복제 모델 중 하나는 사용 가능한 시스템의 하위 집합에서 쿼리를 실행하도록 요청합니다.
hadoop 클러스터에서 일부 데이터를 처리한다고 가정하면 맵 축소 작업을 제출했습니다. 이제 작업 추적기마다 다른 작업을 할당, 모니터링 및 조정하여 마스터 역할을하는 작업 추적기가 수행됩니다.
작업 추적기는 namenode가 메타 데이터의 모든 정보를 보유하고 있으므로 처리해야하는 데이터에 대해 다시 마스터 역할을 담당하는 namenode와 대화하므로 해당 특정 데이터가있는 곳의 모든 정보를 제공합니다. 어떤 블록이 구직자에게 어떤 데이터 노드에 상주하는지에 관한 용어.
hadoop 프레임 워크 작업 추적기의 일부로 데이터 블록이있는 데이터 노드의 작업 추적기가 호출됩니다. 노드의 최악의 시나리오 작업 추적기는 데이터 블록의 일부가있는 데이터 노드에 가장 가까운 노드입니다.
요약하면 특정 작업에 데이터 블록이있는 위치에 따라 달라지는 특정 머신을 제어 할 수 없습니다. 4 대의 기계에 위치해 있다면 그 순간에 10 대의 기계가 10 대가 사용될 경우 4 대의 기계가 사용됩니다.
왜 이렇게하고 싶습니까? –
@ chiastic-security 이유를 추가했습니다. 어떤 아이디어/관련 아이디어가 있는지 알려주세요. –
이게 당신이 찾고 있는게 있나요? http://wiki.apache.org/hadoop/FAQ#I_want_to_make_a_large_cluster_smaller_by_taking_out_a_bunch_of_nodes_semultaneously__How_can_this_be_done.3F 또한 작업 추적자와 동일한 프로세스를 수행 할 수 있습니다. – vefthym