스파크 작업 서버 멀티 스레딩 및 동적 할당

Question

나는 꽤 큰 기대를 Spark Job Server에서 가졌지 만 문서가 부족하다는 사실을 알게되었습니다. 당신이 다음 질문 중 하나/모두 답변을 주시겠습니까

:

1. 이 작업 서버는 스파크 세션을 통해 작업을 제출 스파크합니까?
2. Spark Job Server와 병행하여 작업을 거의 수행 할 수 있습니까?I saw people faced some troubles, 아직 해결책을 찾지 못했습니다.
3. 다른 CPU, 코어, 실행 프로그램 configs와 병렬로 몇 가지 작업을 실행할 수 있습니까? 아직 SparkSession를 지원하지 않는 jobserver

Answer 1

1. 스파크. 우리는 그것에 대해 연구 할 것입니다.
2. 여러 컨텍스트를 만들거나 컨텍스트를 실행하여 FAIR 스케줄러를 사용할 수 있습니다.
3. 다른 리소스 구성으로 다른 컨텍스트를 사용하십시오.

기본적으로 작업 서버는 스파크 컨텍스트를 만들기위한 나머지 API입니다. 그래서 당신은 스파크 컨텍스트로 할 수있는 일을 할 수 있어야합니다.