0
내 스파크 애플리케이션에 PySpark 1.6.1을 사용하고 있습니다. 인수가 --py-files 인 추가 모듈을로드하고 있습니다. 또한 ApolloNet을 초기화하기 위해 모듈 중 하나에서 액세스해야하는 h5 파일이 있습니다.zip에 h5 파일을 추가하여 PySpark와 함께 사용하기
모듈을 같은 아카이브에 저장하면 모듈에서 해당 파일에 액세스 할 수있는 방법이 있습니까? 이 방법을 시도했지만 파일이 모든 작업자에 없기 때문에 오류가 발생했습니다. 파일을 각 작업자에게 복사하는 방법을 생각할 수 있지만 더 나은 방법이 있는지 알고 싶습니다.