Amazon EMR은 사용자 정의 jar에 시스템 특성을 전달할 수 있습니까? hadoop jar -Dkey=value myjob.jar? (오히려 다음의 Configuration 오브젝트를 하둡 속한 응용 프로그램 자체의 초기화 중에 사용 위 key, value.)Amazon EMR : Java 시스템 특성을 사용자 정의 jar에 전달
관련 스레드 How to specify mapred configurations & java options with custom jar in CLI using Amazon's EMR?은, 분명히, '원 부트 스트랩 작업을 통해 데몬을 하둡 시스템 등록 정보를 전달하는 방법에 대해 설명합니다 자바 엔트리 포인트 클래스에 대해서도 동일한 작업을 수행 할 수 있습니다.
당신이 매퍼 또는 감속기에 통과하지 않으려면, 당신은 터미널이나 스크립트에서 다음을 수행 할 수 있습니다 - 당신이 원하는 경우,
가export HADOOP_OPTS="-Dkey=value"
hadoop jar ...
또한 $HADOOP_HOME/conf/hadoop-env.sh 사람들을 넣을 수 있습니다 모든 작업에 대해 작업을 실행할 때마다 명시 적으로 정의하지 않아도됩니다.
희망적입니다.
저는 오히려 EMR에 익숙하지 않습니다. 작업 흐름이 EMR에서 작성되면 사용자 정의 jar 위치와 인수를 제공해야합니다. 어떤 시점에서 클러스터에 대한 터미널 액세스 권한이 있습니까? 그렇다면 작업을 시작하기 전에이 작업을 수행해야합니까? 감사, –
부트 스트랩 작업을 확인하고 환경 변수를 전달할 수 있는지 확인하십시오. 제 생각에'export HADOOP_OPTS = "- Dkey = value"는 환경 변수입니다. ssh를 사용하여 직접 터미널에 액세스하려면 [이 설명서를 참조하십시오] (http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-connect-master-node-ssh.html)를 참조하십시오. 감사합니다 –
또한 [이 봐] (http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-config.html) –
어떻게 든 할 수는 있지만 문맥에서 설정하지 않는 한은 모든 맵퍼와 리듀서에서 액세스 할 수 없습니다. –
그건 정확히 목표입니다. –
그럴 경우 내 대답을 확인하십시오. 도움이 될 수 있습니다. 감사! –