동일한 클러스터에서 실행되도록 여러 응용 프로그램이 제출되면 spark가 먼저이를 먼저 실행하고 처음 작업이 끝날 때까지 작업을 시작할 수 없습니다. 응용 프로그램이 대기열을 건너 뛰고 스케줄러에서 실행할 다음 응용 프로그램이되도록 만드는 방법을 찾으려고합니다. 이것을 할 수있는 방법이 있습니까? 설명서 나 사용자 인터페이스에서 아무 것도 찾을 수 없습니다.Spark Scheduler 실행 응용 프로그램 강제 실행
첫 번째 응용 프로그램/작업 후에 시작된 개별 응용 프로그램이나 작업이 다른 응용 프로그램이나 작업보다 먼저 시작되도록 할 수 없다는 결론이 나왔습니다.
그러나 클러스터에서 큐를 올바르게 설정하여 대기열이 실행 프로그램을 위해 싸우지 않도록해야합니다. 이 경우 대기열 중 하나가 spark 실행자의 100 %까지 사용할 수있었습니다. 대기열에서 스파크 작업이 대기 중이었고 응용 프로그램/작업의 버그로 인해 처리되지 않았습니다. 실행 된 큐는 executor의 최대 100 %에 액세스 할 수 있었으므로 큐에 상관없이 실행 후 각 작업이 완료되기를 기다려야 만 전체 클러스터를 백 로그했습니다.