0
간단한 수준에서 Hadoop FairScheduler의 내부는 무엇입니까? 그들은 각 대기열에 대해 보관 된 시간을 결정하기 위해 priorty queue, heap을 사용합니까? 또는 다른 기술이 사용됩니까?Hadoop FairScheduler의 고급 내부 데이터 구조 및 알고리즘은 무엇입니까?
A
답변
1
시작하기 좋은 곳은 공정한 스케줄러를 설명하는 paper입니다. 알고리즘을 자세히 설명하고 다양한 유형의 작업에 대한 벤치 마크를 제공합니다. 간략한 요약은 작은 작업을 앞이나 큰 작업의 측면에서 실행하여 전체 클러스터 처리량을 늘리려고한다는 것입니다. 어떤 수준에서는 우선 순위 대기열로 설명 할 수도 있지만 데이터 또는 랙 로컬 작업을 배치하려고하기 때문에 더 복잡합니다. 그리고 만드는 데에는 다른 장단점이 있습니다. 대부분의 스케줄러는 작업의 임의의 블록을 수행하는 데 걸리는 시간을 줄이기 위해 최소화 알고리즘으로 생각하는 것이 좋습니다.