0
스파크 응용 프로그램이 있는데 예기치 않은 양의 데이터가 응용 프로그램으로 유입되어 런타임에 메모리 예외가 발생하는 시나리오가있을 수 있습니다.스파크 런타임에서 executor 메모리 예외 처리가 어려움
이 시나리오를 어떻게 처리 할 수 있습니까?
A
답변
0
메모리 오류는 사실상 치명적이며 실행 프로그램 메모리 설정은 런타임에 변경할 수 없기 때문에 새롭고 더 높은 메모리 제한으로 응용 프로그램을 다시 시작하는 것 외에는 할 수있는 일이 많지 않습니다.
0
더 높은 실행 메모리로 작업을 다시 실행 해보십시오. 다음 구성 매개 변수를 시도하십시오. 이 같은 문제가 발생 또한 경우
--conf "spark.executor.memory = 16g"
는 드라이버 메모리를 높이기 위해 다음과 같은 시도 할 수 있습니다 드라이버입니다.
--conf "spark.driver.memory = 16g"
이 도움이 기대.
건배!
이것이 더 관련이 있는지는 잘 모르겠지만 응용 프로그램의 런타임에 지속성 수준을 업데이트 할 수 있습니까? 또한 응용 프로그램이 제작 중이라면 어떻게됩니까? –