apache-spark-sql

1열

1답변

원사에 대한 스파크 제출 YarnConfiguration.useHttps NoSuchMethodError

원사에 스파크 제출을하고 있는데 오류가 발생합니다. 내가 잘못하고있는 어떤 단서? 16/07/05 14시 21분 49초 정보 spark.SparkContext은 : 실패 (DIAG 메시지와 함께 등록 해제 ApplicationMaster : 성공적으로 SparkContext 16/07/05 14시 21분 49초 정보 yarn.ApplicationMaster

8열

2답변

PySpark에서 분해하십시오

단어 목록이 들어있는 DataFrame에서 각 단어가 자체 행에있는 DataFrame으로 변환하고 싶습니다. DataFrame에서 열을 어떻게 폭발합니까? 다음은 각 코드 줄의 주석 처리를 제거하고 다음 주석에 나열된 오류를 얻을 수있는 예제입니다. 파이크 2.7에서 스파크 1.6.1을 사용한다. from pyspark.sql.functions import

0열

1답변

인상에 ValueError (항목) SparkSQL

에 테이블을 표시 할 때 나는 내가 그 테이블, DataFrame를 만들 테이블로 저장하고 보여주기 위해 노력하고 어디 PySpark 및 SparkSQL를 사용하여 다음과 같은 코드가 있습니다 schema = StructType([StructField("int_field", IntegerType()), StructField("string_

1열

3답변

Spark SQL 데이터 프레임을 저장하려고하면 빈 디렉토리가 항상 나타납니다.

df이라는 DataFrame이 있다고 가정 해보십시오. 파일이 디렉토리 example에, 나는 두 개의 파일과 디렉토리를 참조 (만들어 졌는지 여부를 확인하기 위해 나는이 작업을 수행 할 때, 그러나 df.coalesce(1). write. format("com.databricks.spark.csv"). option("header

5열

1답변

Spark SQL에서 여러 테이블을 지정하는 방법은 무엇입니까?

3 개의 테이블을 설정해야하는 코드가 있습니다. 그렇게하려면 각 테이블에 대해 jdbc 함수를 세 번 호출해야합니다. 아래 코드 참조 val props = new Properties props.setProperty("user", "root") props.setProperty("password", "pass") val df0 = sqlC

-2열

2답변

Spark에서 어떻게 두 개의 RDD [문자열]을 병합 할 수 있습니까?

두 개의 RDD [문자열], 하나는 라벨, 다른 하나는 기능입니다. 그들에는 동일한 선이있다. 줄마다 어떻게 병합 할 수 있습니까? feature: org.apache.spark.rdd.RDD[String] res127: String = 11,0,7,18 label: org.apache.spark.rdd.RDD[String] res160: String

4열

1답변

pyspark은 (pyspark.mllib.linalg.DenseVector에 대한) ClassDict의 건설을위한 제로 인수를 예상

나는 오류가 이것을 시도하여 "(pyspark.mllib.linalg.DenseVector에 대한) ClassDict의 건설을위한 제로 인수를 기대"얻을 : 데이터 프레임에서 열의 값을 변환하기 위해 udf로 변환하는 함수가 있습니다. 이렇게 : def func(vector): #does something return Vector.den

4열

1답변

Spark를 사용하여 RDB (MySQL)에 데이터를 삽입하는 방법은 무엇입니까?

MySQL 테이블에 데이터를 넣으려는 시도가 Spark SQL입니다. 여기 내 테이블 : CREATE TABLE images ( id INT NOT NULL AUTO_INCREMENT, name VARCHAR(100) NOT NULL, data LONGBLOB NOT NULL ); 내 Spark 코드 : case clas

6열

1답변

scala wrappedArray를 반복하는 방법은 무엇입니까? (스파크)

나는 다음과 같은 작업을 수행합니다 :이 포장 배열을 반복하거나 목록에이 변환 어떻게 val tempDict = sqlContext.sql("select words.pName_token,collect_set(words.pID) as docids from words group by words.pName_token")

2열

2답변

java.lang.ClassNotFoundException가 : org.apache.spark.sql.Dataset

나는 다음과 같은 스택 추적을 얻을 불꽃 Dataset 형식을 사용하는 스칼라 파일을 실행 : Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/Dataset at java.lang.Class.getDeclaredMethods0(Native Method)