"예외 읽기 매퍼 출력을 다시 시도 중입니다"와 함께 qubole에서 pyspark 작업이 실패합니다.

Question

qubole을 통해 실행중인 pyspark 작업이 다음 오류와 함께 실패합니다.

Qubole > Shell Command failed, exit code unknown 
Qubole > 2016-12-03 17:36:53,097 ERROR shellcli.py:231 - run - Retrying exception reading mapper output: (22, 'The requested URL returned error: 404 Not Found') 

Qubole > 2016-12-03 17:36:53,358 ERROR shellcli.py:262 - run - Retrying exception reading mapper logs: (22, 'The requested URL returned error: 404 Not Found') 

작업은 다음과 같은 구성으로 실행됩니다 :

--num-executors 38 --executor-cores 2 --executor-memory 12288M --driver-memory 4000M --conf spark.storage.memoryFraction=0.3 --conf spark.yarn.executor.memoryOverhead=1024 

클러스터는 30 슬레이브 수를 포함합니다. m2.2xlarge, 4 코어 마스터 및 슬레이브 노드

문제의 근본 원인에 대한 통찰력이 유용 할 것입니다.

Answer 1

대부분의 경우 위의 오류는 실제로 오류의 주요 원인이 아닙니다. qubole에서 spark 작업은 shellCli (슬레이브 노드 중 하나에서 spark-submit을 사용하여 주 pyspark 작업을 호출하는 1 개의 mapper 명령)를 통해 제출됩니다. 동일한 shellCli 프로세스가 yarn-client 모드에서 드라이버를 호출하기 때문에 종종 어떤 이유로 든이 프로세스가 안좋아지면 (예 : 드라이버 관련 메모리 문제)이 문제가 발생할 수 있습니다. 다른 가능성이 낮은 이유는 다음과 같을 수 있습니다. -이 1 매퍼 호출자 작업이 실행중인 프로세스/슬레이브 노드에 쿼 볼트 계층이 연결할 수없는 네트워크 연결.