Hadoop 데이터 노드 구성 코어 및 RAM

Question

노드가 9 개인 Hadoop 클러스터를 사용하고 있습니다. Hadoop 클러스터의 기본 datanode 구성이 무엇인지 알고 싶습니다.

네임 노드 및 데이터 노드에서 다음 구성을 사용하고 있습니다.

RAM = 4GB 
    Cores = 4 
    Disk = 8 (Total 16GB storage space) 

hadoop 네트워크 성능을 검사하기 위해 샘플 정렬 작업과 단어 계산 작업을 실행 중입니다.

내가 선택한 구성이 맞습니까?

감사 & 감사합니다,

압둘 및 Navaz

당신만큼 제대로 구성으로, 원하는 구성을 사용할 수 있습니다 이론적으로

Answer 1

(하둡 서버 기능 등을 알 수 있도록).

실제로 서버 당 최소 4GB의 RAM이 있어야합니다 (경험상). 코어 수가 성능에 영향을 미치고 서버를 실행하기에 충분한 디스크 여유 공간이 있어야합니다 (서버 작업과 같이 비 HDFS 작업에 예약 된 공간을 의 dfs.datanode.du.reserved으로 설정).

정상적인 Hadoop 작업을 위해 얼마나 많은 여유 공간이 있어야할지 확신하지 못합니다. 귀하의 작업에 따라 다를 수 있습니다. 어쨌든 16GB는별로 중요하지 않습니다.

일반적으로 올바르게 설정되어있는 한 설정은 잘되어 있어야합니다.