여기 내 문제가 있습니다. 이제는 spark 셸을 사용하기 시작할 때 리소스가 많이 소모되고 제한되거나 유지 될 수 있습니다. 다른 병렬 실행 응용 프로그램에 영향을줍니다.spark-shell 소모 원사 리소스, 그 방법을 막으십시오.
예를 들어, 일부 spark-shell 명령을 실행하고 실수로 셸을 열어두고 세션을 닫지 않고 모든 리소스를 유지하고 다른 모든 사용자는 내가 닫지 않으면 내 세션
원사 관점에서이 문제를 해결하는 방법.
Cloudera의 Yarn에 대한 리소스 풀 사용을 설정할 수 있습니다. 각 사용자에게 자원을 할당 할 수 있습니다. 모든 리소스를 사용하더라도 다른 사용자가 사용할 수있는 리소스가 있습니다.
사용자간에 원사 자원을 분할하지 않으려는 경우. 동적 할당을 사용하도록 SPARK를 설정할 수 있습니다 (http://spark.apache.org/docs/latest/configuration.html에서 spark.dynamicAllocation.enabled 속성 확인). 따라서 스파크 쉘을 열어두고 작업이 끝나면 스파크가 자원을 원사에게 돌려 줄 것입니다. 아르노
안부, 을 동적 할당을 사용하는 동안 하지만 집행의 수를 설정할 수 없습니다