Spark Driver가 로컬 파일을 읽어야하는 이유

Question

Spark Cluster Standalone을 사용합니다.

마스터와 단일 슬레이브가 동일한 서버 (서버 B)에 있습니다.

Luigi (서버 A)를 사용하여 내 응용 프로그램을 제출하고 배포 (클라이언트 모드)합니다.

내 응용 프로그램은 서버 B의 로컬 파일을 읽습니다. 그러나 응용 프로그램은 서버 A에서도 파일을 읽으려고합니다. 왜 그렇습니까?

sc.textFile('/path/to/the/file/*') 

Answer 1

클라이언트 모드에서 드라이버는 응용 프로그램을 제출하는 클라이언트와 동일한 프로세스에서 시작됩니다.

그러나 클러스터 모드에서 드라이버는 클러스터 내부의 작업자 프로세스 중 하나에서 시작됩니다.

클러스터 모드를 사용해야합니다.