-1
방금 하둡 작업을 시작했습니다.
hadoop이 부하 분산을 관리하는 방법을 알고 싶습니다.Hadoop의로드 밸런싱 관리 방법
하나의 클러스터에 5 개의 노드가있는 경우 어떻게 각 노드의 작업로드가 동일한 지 확인하십시오.
로드 밸런싱을 위해 Hadoop에서 사용되는 알고리즘이 있습니까?
하둡을 배우시겠습니까?
A
답변
1
파일 시스템 인 HDFS가 아니라 ResourceManager 인 YARN을 가정합니다.
YARN은 동일한 처리를 보장하거나 보장하지 않습니다.
MapReduce의 경우 데이터가 특정 키 쌍으로 크게 비뚤어진다면 한 노드의 한 프로세스가 작업의 병목 현상이됩니다.
HDFS를 의미하는 경우 문자 그대로 HDFS Rebalancer라고 부르지 만 데이터가 클러스터 내에 널리 분산되어 작업이 "데이터 지역성"측면에서 더 잘 분산 될 수 있습니다. 그러나 이는 여전히 데이터의 왜도에 도움이되지 않습니다.