apache-spark-1.6

1열

1답변

통제가없는 환경에서 Kmeans()을 사용하고 있으며 < 1 개월 후에 포기합니다. 스파크 1.6.2. 설치되어 있습니다. 출발하기 전에 '그들'에게 Spark 2.0.0으로 업그레이드하라는 대가를 지불해야합니까? 다시 말해서, Spark 2.0.0은 중요한 개선점을 소개합니다 에 관해서는 Spark Mllib KMeans()? 필자의 경우 품질은 속도보다

0열

1답변

클러스터에서 알 수없는 오류, 로컬에서 작동 함 - 두 스파크 버전이 동일 함

Spark v1.6.0에서 spark.ml.util.SchemaUtils를 사용하는 데 문제가 있습니다. Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.ml.util.SchemaUtils$.appendColumn(Lorg/apache/spark/sql/types/Struct

0열

1답변

창 함수/scala/spark 1.6

스칼라에서 창 함수를 사용하고 싶습니다. 내가 다음 하나 인 CSV 파일이 :이 데이터 프레임을 통해 윈도우 함수를 적용 할 때 id;date;value1 1;63111600000;100 1;63111700000;200 1;63154800000;300 을 는 때로는 작동하고 때로는 실패 val df = loadCSVFile() val tw = W

2열

1답변

Spark Streaming에 대한 동적 할당

다른 작업 (Spark core jobs)을 사용하여 Spark Streaming 작업을 클러스터에서 실행하고 있습니다. Spark Streaming을 포함한 이러한 작업에 Dynamic Resource Allocation을 사용하고 싶습니다. 아래의 JIRA Issue에 따르면 동적 할당은 Spark Streaming (1.6.1 버전에서)을 지원하지 않

0열

1답변

스파크에 하이브 테이블을로드 할 수 없습니다.

spark-sql을 사용하여 하이브 테이블에서 데이터를로드하려고합니다. 그러나 그것은 아무것도 돌려주지 않습니다. 하이브에서 같은 쿼리를 실행하려고 시도하고 결과를 출력합니다. 아래는 스칼라에서 실행하려고하는 코드입니다. sc.setLogLevel("ERROR") import org.apache.spark.sql.DataFrame impo

1열

1답변

중복되지 않은 Spark 스키마 결합?

내가 가지고있는 데이터를 처리하기 전에 스키마를 추출하기 때문에 데이터 집합을 읽을 때 스키마를 추정하는 비싼 단계를 거치지 않고 스키마를 제공합니다. 스키마를 구축하기 위해 , 나는 최종 스키마로 여러 가지 다른 스키마에 병합해야, 그래서 나는 union (++) 및 distinct 방법을 사용하여왔다,하지만 난 org.apache.spark.sql.An

1열

1답변

응용 프로그램에서 SQLContext를 사용하여 하이브 테이블에 대해 SQL을 실행하는 데 실패합니다 (하지만 spark-shell의 동일한 쿼리가 정상적으로 작동합니까?).

나는 불꽃을 사용하고있다 1.6. 나는에 의해 나의 불꽃-SQL 자바 코드의 테이블에 연결하려고 는 : JavaSparkContext js = new JavaSparkContext(); SQLContext sc = new SQLContext(js); DataFrame mainFile = sc.sql("Select * from db.table");

0열

1답변

Spark 작업자 프로세스 내에서 파일을 작성하십시오.

통계가있는 일련의 결과를 생성하는 Spark 작업이 있습니다. 내 작업 항목 수는 슬레이브 수 이상입니다. 그래서 나는 슬레이브 당 하나 이상의 처리를하고있다. I cache 결과는 여러 개의 쓰기 작업 (결과 개체에 대한 개체와 통계 개체에 대한 개체)을 사용하기 때문에 RDD 개체를 다시 생성 한 후 결과입니다. 두 쓰기 작업 모두 saveAsHadoo

0열

1답변

Spark 1.6에서 jars 폴더는 어디에서 찾을 수 있습니까?

Spark downloads page에서 tar file for v2.0.1을 다운로드하면 내 응용 프로그램에 포함시킬 수있는 유용한 항아리가 포함되어 있습니다. 대신 tar file for v1.6.2을 다운로드하면 거기에 jars 폴더가 없습니다. 해당 사이트에서 사용해야하는 대체 패키지 유형이 있습니까? 현재 기본값 (Hadoop 2.6에 기본 제공)

10열

1답변

타임 스탬프 및 날짜 유형이 포함 된 스파크 데이터 프레임으로 CSV 읽기

스파크가있는 CDH 1.6입니다. 은 나는 아파치 스파크 DataFrame에이 가설 CSV를 가져 오기 위해 노력하고 있어요 : $ hadoop fs -cat test.csv a,b,c,2016-09-09,a,2016-11-11 09:09:09.0,a a,b,c,2016-09-10,a,2016-11-11 09:09:10.0,a 나는 databrick