OOzie의 PySpark Job을위한 기본 클래스

나는 pySpark Job을 만들었고 spark-submission을 통해 제출할 때 완벽하게 작동합니다. 지금 내가 시도했을 때 Oozie는 실패했다. 필자는 필자가 입력 한 밭에 문제가 있음을 의심합니다. 이 필드는 Oozie의 Spark Action에 필요합니다. OOzie의 PySpark Job을위한 기본 클래스

로그인 표준 출력

Spark Master : local 
Mode : client 
Main class : DO I need to enter anything here as its Python + Spark code (Pyspark) 
Jars/py files : My py module

당신은 "메인 클래스"입력에 아무것도 넣을 필요가 없습니다

================================================================= 

    >>> Invoking Main class now >>> 

    Fetching child yarn jobs 
    tag id : oozie-653992fdf1609a2d4e19a863dff21a1 
    Child yarn jobs are found - 
    Spark Action Main class  : org.apache.spark.deploy.SparkSubmit 

    Oozie Spark action configuration 
    ================================================================= 

    --master 
    local[*] 
    --deploy-mode 
    client 
    --name 
    POC1L 
    --verbose 
    /user/sachinkerala6174/pgm/poc1l.py 

    ================================================================= 

    >>> Invoking Spark class now >>> 

    python: can't open file '/user/sachinkerala6174/pgm/poc1l.py': [Errno 2] No such file or directory 
    Intercepting System.exit(2) 

    <<< Invocation of Main class completed <<< 

    Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], exit code [2] 

    Oozie Launcher failed, finishing Hadoop job gracefully 

    Oozie Launcher, uploading action data to HDFS sequence file: hdfs://ip-172-31-53-48.ec2.internal:8020/user/sachinkerala6174/oozie-oozi/0000509-170711051319609-oozie-oozi-W/spark-fea0--spark/action-data.seq 

    Oozie Launcher ends

출처

2017-09-19 Sachin Sukumaran

을 같은 우는 소리입니다. 파이썬 파일 경로에 접두사 hdfs://을 추가하고 마스터를 yarn으로 변경하고 모드를 cluster으로 변경하십시오 (소스 코드가 HDFS 인 경우 AFAIR가 필요합니다).

출처

2017-09-20 22:42:57 Mariusz

OOzie의 PySpark Job을위한 기본 클래스

답변

관련 문제