Livy에서 Spark 작업에 대한 재시도 구성을 요청합니다.

Question

Livy를 통해 장시간 실행되는 Spark 배치 작업을 제출할 때 작업은 기본적으로 5 회 재시도로 끝나며 결국에는 결국 실패합니다. 작업을 즉시 실패 할 수 있도록 어떻게 변경합니까?

내 환경은 Azure HDInsight (HDP)에서 실행되는 Spark 1.6입니다.

감사합니다.

Answer 1

이것은 원사의 구성이며 Livy의 구성은 아닙니다. "advanced yarn-site"아래의 원사 구성 페이지로 가서 재사용하지 않으려면 "yarn.resourcemanager.am.max-attempts"를 5에서 1로 변경하십시오.