실행자가 Spark 독립 실행 형 배포에 실패했습니다.

Question

로컬 Windows 컴퓨터에서 spark를 실행하고 있습니다. 그것은 완벽하게 잘 때 나는 로컬로 마스터를 설정하지만, 나는 그것을 클러스터 마스터 URI를주고, 그것은 다음과 같은 예외를 throw합니다 각각의 모든 executor가 시작됩니다.
17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20171005172719-0006/0 is now FAILED (java.lang.IllegalStateException: Library directory 'C:\Spark\bin\.\assembly\target\scala-2.10\jars' does not exist; make sure Spark is built.)

저는 로컬에서 스파크 독립 실행 형 환경을 시도하고있었습니다. 그래서 나는 마스터 노드와 작업자 노드를 시작하고 내 드라이버 프로그램에 마스터 URL을 주었다. 내 SPARK_HOME 환경 변수가 C:\Spark (내 스파크 배치 장소)로 설정되어 있는지 확인했습니다.

이 문제를 해결하는 데 도움이 되시면 감사하겠습니다.

Answer 1

어떻게 든이 문제에 대한 해결책을 찾을 수있었습니다. 이 문제는 spark home의 path 변수로 인해 발생합니다. 경로 변수 %SPARK_HOME%\bin을 추가 할 때 SPARK_HOME (환경 변수)을 선택하지 않았습니다. 그런 다음 환경 변수와 경로 변수를 제거하고 다시 추가 한 다음 시스템을 재시작했습니다. 그것은 일했다.