Amazon Elastic MapReduce의 Apache Hama

Question

https://github.com/awslabs/emr-bootstrap-actions/tree/master/hama 스크립트를 사용하여 Amazon Elastic MapReduce에서 Apache Hama를 실행하려고합니다. 그러나 하나의 마스터 노드와 두 개의 슬레이브 노드로 시도 할 때 BSP 코드의 peer.getNumPeers()은 오직 하나의 피어만을보고합니다. 하마가 local 모드로 실행되는지 의심 스럽습니다.

또한, https://hama.apache.org/getting_started_with_hama.html에서 구성을보고, 나의 이해는 모든 서버의 목록이 groomservers 파일에도 부동산 hama.zookeeper.quorum에 대한 hama-site.xml 파일에 가서해야한다는 것입니다. 그러나, 그들이 올바르게 구성되어 있는지 궁금하다 install script. 누군가 스크립트의 제한 사항인지 또는 내가 잘못한 것을 지적했는지 정말 고맙겠습니다. @Madhura

하마가하는

Answer 1

은 항상 완전 분산 모드를 실행하는 groomserver 파일이 필요합니다. 만을 사용하여 하마 클러스터를 실행하려면 파일이 필요합니다. 하지만 hama의 emr-bootstrap-action은 hama-daemon.sh 파일을 사용하여 각 슬레이브 노드에서 groomservers를 실행합니다. install script에서 실행되는 코드는 다음과 같습니다.

$ /bin/hama-daemon.sh --config ${HAMA_HOME}/conf start groom

나는 그들이 오류가 아닌지 여부 EMR 로그를 확인 할 필요가 있다고 생각합니다.