, 각각의 메모리 2G 및 16 개 코어를 얼마나 메모리 예외 스파크 중 조정에, 나는 추가하지 않은 정보 파일이내가 11 개 노드가
./bin/spark-submit --class myapp.Main --master spark://Name:7077 --conf spark.shuffle.memoryFraction=0 --executor-memory 2G --deploy-mode client /home/mbala/fer/myjars7/etlpersist.jar /home/mfile80.csv
노예에서 사용하여 내 스파크 신청서를 제출하려고 내가 클라이언트 모드에서 드라이버가이 노드에서 실행 중이어야하기 때문에이 명령을 실행하면 노드의 IP가 표시됩니다.
하지만 난 그것을 실행하려고 할 때마다, 내가 (힙 때로는 때문에 GC 또는 때문에) 메모리 예외 나가, 내가 스파크 웹 사이트에 제시된 많은 해결책을 시도하고 여기에 유래에서, 나는 또한 최소화하기 위해 시도 내 코드, 내가 MemoryAndDiskStorage을 사용하지만, 난 여전히이 문제
시에도 있음 : 내가 그것을 발견하기 때문에 나는이 포럼에서 솔루션이 줄을 사용을
--conf spark.shuffle.memoryFraction = 0
코어 수를 최소화해야합니까? 나는 단지 2G 메모리와 16 개 개의 코어를 사용하는 경우가 셔플에 충분하지 않을 것이라고 생각하기 때문에
1G 이상 입력 파일로 시도 할 때 아직 가지고 있습니다. – asma
메모리 관리 구성과 관련된 세부 사항을 추가했습니다. 그것을 통해 가십시오. – Hokam
@asma, 돌파구를 찾으셨습니까? – Hokam