apache-spark

0열

1답변

다음 SQL 문을 SparkAPI java로 다시 작성하고 싶습니다. 어떻게이 일을 성취 할 수 있습니까? CASE WHEN column1='abc' AND id='0' AND colNumber='31' THEN 'Group A' WHEN column1='def' AND id='0'

0열

1답변

평균 및 표준 편차를 계산할 때 아무 값도 없음

PySpark DataFrame에서 중첩 된 데이터 products의 평균 및 표준 편차를 계산 중입니다. +----------+--------------------------------+ |product_PK| products| +----------+--------------------------------+ | 686 | [[686,

0열

1답변

YARN 클러스터 모드는 감소 집행 인스턴스의 수

나는 다음과 같은 방법으로 Google 클라우드 통해 Dataproc 클러스터를 프로비저닝하고있어 : spark.driver.cores=1 spark.driver.memory=1g와 yarn-cluster 모드에서 스파크 응용 프로그램을 시작 gcloud dataproc clusters create spark --async --image-version 1.

0열

1답변

SpruckStreaming 및 Tranquility를 통해 Druid에 쓸 수 없습니다.

Druid 데이터 소스에 Spark Streaming 작업의 결과를 쓰려고합니다. 스파크가 사제와 일을 성공적으로 완료했습니다. 드루이드는 색인 생성을 시작하지만 아무 것도 쓰지 않습니다. 다음과 같이 내 코드와 로그는 다음과 같습니다 import org.apache.spark._ import org.apache.spark._ import org.apa

1열

3답변

동일한 열이있는 데이터 집합을 결합하고 하나를 선택하는 방법?

나는 두개의 Spark 데이터 프레임을 가지고 있는데, 나중에 합류하고 선택한다. Dataframes 중 하나의 특정 열을 선택하고 싶습니다. 그러나 다른 열에는 동일한 열 이름이 있습니다. 따라서 모호한 열에 대한 예외가 발생합니다. d1.as("d1").join(d2.as("d2"), $"d1.id" === $"d2.id", "left").select(

-1열

1답변

Spark 어플리케이션이 "IOException : (null) command string : null chmod 0644"항목과 함께 실패하는 이유는 무엇입니까?

나는 JAVA dataset.write().mode(SaveMode.Overwrite).option("header",true).csv("C:\\tmp\\csvs"); 를 사용하여 아래 사용하여 단일 CSV로 데이터 세트의 결과를 작성하는 중이 야하지만 시간이 초과 파일이 작성되지 않는 간다. 예외 org.apache.spark.SparkException

1열

1답변

java.lang.IllegalArgumentException : 클래스가 등록되어 있지 않습니다. scala.reflect.ClassTag $$ anon $ 1

Spark, GraphX 2.0.2 및 IntelliJ를 사용하고 있습니다. Class is not registered: org.apache.spark.graphx.impl.GraphImpl 그래서 내가 추가 : 나는 오류가있어 kryo.register(classOf[GraphImpl[Object,Object]]) 을하지만 난이 오류가있어 : j

1열

1답변

spark.streaming.blockInterval은 RDD 파티션과 관련이 있습니까?

spark.streaming.blockInterval의 블록과 Spark Streaming의 RDD 파티션의 차이점은 무엇입니까? 스파크 스트리밍 2.2.0 문서를 인용 대부분 수신기의 는 수신 된 데이터는 스파크의 메모리 안에 저장하기 전에 데이터의 블록들로 함께 병합된다. 각 일} 처리의 블록 수는 맵과 같은 변환에서 수신 된 데이터를 처리하는 데 사용

0열

1답변

는 rsparkling, 물 실행, sparklyr

나는 H2O (rsparkling) 2.2, master=yarn 스파크 실행하는 데 노력 해왔다하지만 h2o_context(sc)을 실행할 때 나는 예외를 얻을 : Error: java.lang.NoSuchMethodError: org.apache.spark.util.Utils$.getUserJars(Lorg/apache/spark/SparkConf;Z)

0열

1답변

Amazon EC2에서 공용 IP를 스파크 노드에 바인딩하는 방법은 무엇입니까?

두 개의 다른 지역에있는 두 인스턴스 사이에 Spark 클러스터를 만들려고합니다. 동일한 VPC/보안 그룹에 속하지 않으므로 한 영역에서 다른 영역의 종속 장치로 마스터를 연결하는 데 문제가 있습니다 (반대의 경우도 마찬가지 임). 지금까지 나는 다음과 같은 짓을 : 마스터 및 슬레이브의 공용 IP를 추가 할 수 편집/etc/hosts 파일을 54.208.