2017-03-18 11 views
1

일반 바닐라 Hadoop을 사용하여 5 개의 가상 시스템으로 구성된 Hadoop 클러스터를 설정했습니다. 클러스터 세부 정보는 다음과 같습니다.마스터 노드는 hadoop 클러스터의 모든 프로세스를 어떻게 시작합니까?

192.168.1.100 - NameNode 및 SNN 데몬을 실행하도록 구성했습니다.
192.168.1.101 - ResourceManager 데몬을 실행하도록 구성되었습니다.
192.168.1.102 - DataNode 및 NodeManager 데몬을 실행하도록 구성되었습니다.
192.168.1.103 - DataNode 및 NodeManager 데몬을 실행하도록 구성되었습니다.
192.168.1.104 - DataNode 및 NodeManager 데몬을 실행하도록 구성되었습니다.

저는 각 가상 서버에 마스터 및 슬레이브 파일을 보관하고 있습니다.

주인 :

노예가 파일 192.168.1.100
192.168.1.101

:

이제 192.168.1.102
192.168.1.103
192.168.1.104

내가 실행할 때 start-all.sh 명령에서 NameNode 기계, 어떻게 할 수 있습니까? 모든 데몬을 시작 하시겠습니까? 나는 그것을 이해할 수 없다? 어떤 어댑터도 설치되어 있지 않거나 알지 못합니다. 모든 머신에 간단한 hadoop jar가 있습니다. 따라서 NameNode 머신은 모든 머신 (가상 서버)에서 모든 데몬을 시작할 수 있습니다.

아무도 이해할 수 있습니까?

답변

1

namenode는 SSH를 통해 슬레이브에 연결하고 슬레이브 서비스를 실행합니다. 그런 이유로 슬레이브에서 공개 ssh-keys가 ~/.ssh/authorized_keys에 있어야하며, Hadoop namenode를 실행하는 사용자에 대해 개인 대응 물을 제공해야합니다.

+0

정보를 보내 주셔서 감사합니다. 네임 노드는 ssh를 통해 슬레이브에 연결하고 슬레이브 프로세스를 실행하기위한 명령을 실행합니다. 이 이해가 맞습니까? – CuriousMind

+0

@CuriousMind 예, 정확하게 작동합니다. 그래서 hadoop_env.sh 파일에서 ENV 변수를 통해 특정 옵션을 지정하는 것입니다 (해당 파일은 종속 파일에 있음). –