실행자 탭/작업 작업 문제

Question

여기에 스파크 UI의 스파크 작업 실행자 탭이 있는데, 왜 하나의 실행 프로그램에만 많은 작업이 있는지, 아무에게도 설명해 줄 수는 없습니다.

또한, 아래 그림에서 왜 내가 얼마나 많은 같은 번호를 알고 있다면/17, 20/20 (17) 등, 내가 코어의 적절한 수를 사용하여 만든 작업의 ​​수에 많은 차이가있다 작업의 스파크가 다른 것보다 가장 가까운 그래서 가장 가까운 집행자가 모든 일을 할 것입니다 귀하의 노드의 1을 실현하기 때문에 가

같아요

Answer 1

를 조언을 주시기 바랍니다 생성되고있다.

그럼 기본 설정은 3 초이므로 spark.locality.wait을 10 또는 15로 늘려보십시오. 그런 것을보고 확인해야합니까?

하지만 최선의 방법은 아닙니다. 네트워크 전송 비용이 많이 들기 때문에 데이터 소스를 실행 프로그램과 더 가깝게 이동해야합니다.

참조 : http://spark.apache.org/docs/latest/configuration.html#scheduling