Amazon Mapreduce에서 실행되는 돼지 스크립트의 STREAM 키워드

다른 Python 프로그램을 활성화하는 돼지 스크립트가 있습니다. 내 자신의 hadoop 환경에서 그렇게 할 수 있었지만 Amazon지도에서 스크립트를 실행하면 WS가 항상 실패합니다.Amazon Mapreduce에서 실행되는 돼지 스크립트의 STREAM 키워드

는 로그 말 :

org.apache.pig.backend.executionengine.ExecException : ERROR 2090 : 수신 오류를이 계획을 줄일 수 처리하는 동안 ''종료 상태로 실패했습니다 : 127 org.apache.pig에서 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.processOnePackageOutput (PigMapReduce.java:288)에서 .backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.runPipeline (PigMapReduce.java:347) org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce (PigMapReduce.java:260) at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce (PigMapRed (ReduceTask.java:321) at org.apache.hadoop.mapred.TaskTracker $ Child.main (TaskTracker.java:2216)

아이디어가 있으십니까?

출처

2010-01-24 sagie

문제가 해결되었습니다. 스트리밍 명령을 정의 할 때 캐시 ('s3 : //') 옵션을 사용하면됩니다.

출처

2010-01-24 16:57:21 sagie

작업 구현을 보여 주시겠습니까?를 참조하십시오. 나도 같은 보트에있다. 파이썬 UDF를 로컬 모드에서 실행할 수는 있지만 클러스터에 배치하면 실패한다. –

스크립트가 Elastic MapReduce 작업으로 전송되었는지 확인 했습니까?

출처

2010-01-24 14:06:32 Theo

번호 어떻게 확인할 수 있습니까? – sagie

잘 모르겠지만 스크립트의 경로를 s3 : // 및 JAR과 마찬가지로 전체 URL로 지정할 수도 있습니다. http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/index.html?introduction.html#UsingJarsWithPig – Theo

Amazon Mapreduce에서 실행되는 돼지 스크립트의 STREAM 키워드

답변

관련 문제