우리는 tasktracker 당 map/reduce 작업의 수를 설정할 수 있지만 클러스터의 노드 당 tasktrackers 수는 어떻게 설정합니까?클러스터의 노드 당 tasktracker 수는 어떻게 설정합니까?
노드마다 하나 이상의 tasktracker를 실행할 수 있도록 보안을 어떻게 해제합니까? hdfs-site.xml에서 dfs.permissions를 false로 설정하는 것으로 충분합니까?
아룬
왜 여러 개의 tasktrackers가 필요합니까? 작업 추적기에서 설정 한 슬롯 수에 따라 여러 작업을 실행할 수 있습니다. JobTracker는 tasktracker와 대화하여 서버에 여유 슬롯이 있는지 찾아냅니다 (동일한 노드로 시작하여 데이터가없는 경우). 여러 작업 추적자가있는 경우 실제로드를 인식하지 못합니다 성능이 저하 될 수 있습니다.
노드의 메모리 및 CPU 기능에 따라 슬롯 수, 최대 맵 수 및 최대 감소 수를 설정해야합니다 (코어 - 작업 당 CPU 사용량이 적다는 것을 알고 있다면 더 높게 설정할 수 있습니다.
단일 스레드 모델을 사용하는 경우 8 개의 시스템에 1 개의 데이터 노드를 할당하고 1 개를 tasktracker로 설정하면 6 스레드를 사용할 수 있습니다. 프로그램의 필요성에 따라 4 개의지도와 2 개의 감속기가있을 수 있습니다. 지도가 CPU를 많이 사용하지 않는 경우 매퍼 수를 늘릴 수 있습니다. 시스템의 RAM에 따라 각 맵/축소 작업에 적절한 메모리를 할당하십시오.
이렇게해야하는 이유는 무엇입니까? –
당신은이 일을하고 싶지 않을 것입니다 ... –
@Arun : hadoop 슬레이브 노드 당 하나의 TaskTracker 만 있습니다. –