spark-jobserver

0열

1답변

스파크 작업 서버 API 종속성을 찾을 수 없습니다. 내가 무엇을 할 수 있을지? 내 pom.xml 파일에 다음을 넣어

임 : <dependency> <groupId>spark.jobserver</groupId> <artifactId>job-server-api_2.11</artifactId> <version>0.8.0</version> </dependency> 너무 다른 버전을 사용하지만 받는다는 그들 중 하나를 찾을 수가 없습니다 시도했다.

0열

1답변

Spark Cassandra Connector with Spark Job Server를 사용하려면 어떤 설정이 필요합니까?

저는 Spark와 Cassandra와 함께 일하고 있습니다. 특히 spark-shell과 .scala 프로세스를 실행하여 결과를 얻으십시오. 이제 저는 Spark Job Server의 활용을 살펴보고 있습니다. Job Server를 설치하고 실행하고 두 테스트 항목 모두에 대해 예상대로 작업하고 초기의 간단한 .scala를 개발했습니다. 그러나 이제는 sp

0열

1답변

는

내가 사용하고 제대로 메모리 응답에서 스파크 작업 서버를 시작 했 스파크 jobserver-0.6.2-스파크 1.6.1 (1) 수출 OBSERVER_CONFIG = /custom-spark-jobserver-config.yml (2) ./ server_start.sh 오류없이 위의 시작 쉘 파일 반환 실행. 9999 : 나는 lsof -i와 실행했을 때 나

2열

2답변

fat jar을 spark-jobserver (akka.pattern.AskTimeoutException)에 제출할 때 시간 초과가 발생했습니다.

sbt assembly을 사용하여 내 작업 jar을 빌드하여 하나의 jar에 모든 종속성을 포함 시켰습니다. 나는 내 바이너리를 제출하려고 할 때 불꽃 jobserver 내가 akka.pattern.AskTimeoutException을 얻고 나는 큰 항아리를 제출 할 수 있도록 내 구성을 수정 (I 내 구성에 parsing.max-content-length

0열

1답변

java.lang.UnsatisfiedLinkError : java.library.path에 메소가 없습니다.

Mesos 클러스터 배치 모드에서 spark job-sever를 구성하려고합니다. jobserver config에 spark.master = "mesos : // mesos-master : 5050"을 설정했습니다. 내가 작업 서버의 사용에 대한 컨텍스트를 생성하려고 할 때 , 그것은 다음과 같은 예외와 함께 실패 : 나는 변수 MESOS_NATIVE_JA

1열

1답변

runJob (sc : SparkContext, config : Config)의 각 호출에서 값 비싼 재구성 객체를 피하기위한 Spark 및 Spark JobServer 모범 사례

아래의 JobServer runJob API를 호출 할 때마다 반복적으로 객체를 작성하는 시간 비용 논리가 있습니다. runJob 호출 runJob(sc: SparkContext, config: Config) 각 호출 runJob 메모리에 저장된 객체를 재사용 할 수 있도록 runJob의 API의 모든 호출에 대한 개체의 반복 건설을 방지하기 위해 메모

0열

1답변

스파크 작업에 대한 작업 완료율을 얻는 방법?

해당 작업 ID에 대해 완료된 작업의 비율을 얻는 방법을 찾고있었습니다. 내가하고 싶은 것은 { "duration": "5.909 secs", "classPath": "jobserver.spark.sql.SparkJobServerClient", "startTime": "2017-11-13T11:22:46.030+05:30",

1열

1답변

속성이있는 Spark 2.1.1 spark.akka.threads = 12

Apache Spark 2.1.1 및 Spark JobServer Spark 2.0 Preview를 사용하고 있습니다. 제가 설정 속성을 spark.akka.threads이 있다는 불꽃 UI 환경 탭에보고있다 = 12 그러나이 매개 변수가 존재하지 않는 Spark 2.1.1 Configuration의 설명서에, 나는 스파크 1.2를 발견했다. 1 구성이며

0열

1답변

스파크 작업 서버 멀티 스레딩 및 동적 할당

나는 꽤 큰 기대를 Spark Job Server에서 가졌지 만 문서가 부족하다는 사실을 알게되었습니다. 당신이 다음 질문 중 하나/모두 답변을 주시겠습니까 : 이 작업 서버는 스파크 세션을 통해 작업을 제출 스파크합니까? Spark Job Server와 병행하여 작업을 거의 수행 할 수 있습니까?I saw people faced some troubles,

0열

1답변

spark 작업 서버에서 namedObject가있는 sparkSession을 지원하지 않는 이유는 무엇입니까?

스파크 작업 서버 API (2.2.0 용)를 사용하여 응용 프로그램을 빌드하려고합니다. 하지만 sparkSession과 함께 namedObject를 지원하지 않는다는 것을 알게되었습니다. 같은 내 외모 : import com.typesafe.config.Config import org.apache.spark.sql.SparkSession import o