2017-01-04 7 views
-1

dcos spark-submit을 실행 중이며 처음으로 실행중인 것처럼 보이는 docker 이미지를 계속 다운로드합니다. Dint는 Google에서이 검색어에 대한 검색 결과를 찾습니다.mesos dcos : spark가 docker 이미지를 계속 다운로드합니다.

spark_submit_jobs$ dcos spark run --submit-args='-Dspark.mesos.coarse=true --driver-cores 1 --driver-memory 1024M --class org.apache.spark.examples.SparkPi https://downloads.mesosphere.com/spark/assets/spark-examples_2.10-1.4.0-SNAPSHOT.jar 30' 

스파크 배포판 spark-1.6.2가 로컬에 없습니다. Spark를 처음 실행하는 것처럼 보입니다! 다운로드 중 https://downloads.mesosphere.com/spark/assets/spark-1.6.2.tgz ...

스파크 제거 및 설치를 시도했습니다.

내가 실행하고 : 1.0.1-1.6.2와 1.0.6-2.0.2 - 하둡 2.6

을 내가 한 모든 것에 불꽃 서로 다른 두 가지 버전을 실행하는 두 개의 클러스터를 확인하지만, 다른 한편으로 자사의 이전 버전에 문제가 발생합니다.

+0

"스파크 제거 및 설치"란 무엇을 의미합니까? 당신이 Docker 이미지를 실행하고있는 것처럼 보이기 때문에 이것은 "설치"되지 않을 것임을 의미하기 때문에 실제로 IMO를 이해하지 못합니다 ... – Tobi

+0

@Tobi 내가 설치를 말했을 때, 패키지 설치 : dcos package install --package-version = 1.0.1-1.6.2 --options = spark.json spark – cloudvar

답변

0

두 가지 이유 :

1.6.2마다 dcos 명령을 실행 1.6.3

를 사용하여 루트 계정으로 시도 기록을 통해 얻을 수의 tmp 디렉토리에 파일을 유지합니다.