pyspark에서 브로드 캐스트 변수에 사용할 수있는 메모리 양을 파악하는 방법은 무엇입니까?

Question

나는 pyspark에서 사용하고있는 브로드 캐스트 변수를 가지고 있으며 사용 가능한 공간이 얼마나되는지 알고 싶습니다.

브로드 캐스트 된 변수가 spark.executor.memory 내에 있지만 저장소의 범위 내에 있어야한다는 것을 알고 있습니까? 아니면 처리의 경계?

spark.memory.fraction은 처리에 사용 된 금액에 비해 저장에 사용 된 spark.executor.memory의 비율을 결정하는 데 사용되는 것으로 알고 있습니다. 하지만 spark.executor.memory은 10GB이고 spark.memory.fraction은 0.75입니다.

브로드 캐스트 된 변수가 2.5GB보다 작거나 5GB보다 작습니까?

이것은 pyspark 1.6.1입니다.

또한 여기에 참조 점으로 유용한 리소스가 있습니다. https://0x0fff.com/spark-memory-management/
해당 기사의 "사용자 메모리"가 무엇인지 이해할 수 없습니다.

편집 :이 질문의 연장으로 cached 테이블이 저장된 위치를 확인하는 것이 좋습니다. 브로드 캐스트 변수와 같은 위치에 있습니까? 어딘가 다른가? 내 안에는 마치 spark.memory.storageFraction 안에있는 것 같습니다.

Answer 1

브로드 캐스트 된 변수는 파이썬 프로세스의 메모리에 저장됩니다 (JVM에서 직렬화 된 복사본도 있음). 따라서 사용되는 메모리 부분은 실행 메모리입니다.

PySpark는 각 Spark 코어에 대한 변수 사본을 보관합니다. 실제 메모리 제한은

에 근접합니다.

(`spark.executor.memory` * `spark.memory.fraction`)/`spark.executor.cores`