EMR의 Apache Giraph

Question

EMR에서 Apache Giraph를 사용해 본 적이 있습니까?

EMR에서 실행하는 유일한 요구 사항은 적절한 부트 스트랩 스크립트를 작업 흐름 구성에 추가하는 것입니다. 그렇다면 표준 GiX 실행 단계를 사용하여 Giraph Runner를 Giraph 프로그램에 적절한 인수로 시작해야합니다.

모든 문서/튜토리얼 또는 EMR에서 Giraph와 경험을 공유 할 수 있다면 많은 도움이 될 것입니다.

Answer 1

예, 저는 정기적으로 EMR에서 Giraph 작업을 실행하지만 "작업 흐름"을 사용하지 않고 수동으로 마스터 노드에 로그인하여 일반 Hadoop 클러스터로 사용합니다 (단지 hadoop jar 명령으로 작업 제출).

맞습니다. Zookeeper를 실행하고 Zookeeper 세부 정보를 핵심 사이트 구성에 추가하기 위해 부트 스트랩 스크립트를 추가해야합니다.

는

#!/bin/bash 
wget --no-check-certificate http://apache.mesi.com.ar/zookeeper/zookeeper3.4./zookeeper3.4.5.tar.gz 
tar zxvf zookeeper-3.4.5.tar.gz 
cd zookeeper-3.4.5 
mv conf/zoo_sample.cfg conf/zoo.cfg 
sudo bin/zkServer.sh start 

그런 다음에 Giraph jar 파일을 복사 -

Configure Hadoop s3://elasticmapreduce/bootstrap-actions/configure-hadoop --site-key-value, io.file.buffer.size=65536, --core-key-value, giraph.zkList=localhost:2181, --mapred-key-value, mapreduce.job.counters.limit=1200

Run if s3://elasticmapreduce/bootstrap-actions/run-if instance.isMaster=true, s3://hpc-chikitsa/zookeeper_install.sh

zookeeper_install.sh의 내용입니다

부트 스트랩 동작 : 여기 그것을 어떻게입니다 마스터 노드 (scp 사용)를 실행 한 다음 마스터 노드에 ssh를 입력하고 hadoop jar 명령을 사용하여 작업을 제출하십시오.

희망이 있습니다.

https://www.mail-archive.com/user%40giraph.apache.org/msg01240.html