apache-spark-sql

0열

1답변

scala.collection.immutable.Iterable [org.apache.spark.sql.Row] to DataFrame? 오류 : 나는 스파크 1.6.x 이상인 경우에 <code>DataFrame</code>로 변환하고자하는 좀 <code>sql.Row</code> 개체가

대안으로 오버로드 된 메서드 값 createDataFrame 내 행과 같이 : events: scala.collection.immutable.Iterable[org.apache.spark.sql.Row] = List([14183197,Browse,80161702,8702170626376335,59,527780275219,List(NavigationLevel

2열

1답변

pyspark의 목록에있는 값의 열을 필터링하는 방법?

나는 값이 CB, CI 및 CR 인 열 X에 필터 조건을 적용해야하는 데이터 프레임 rawdata를 가지고 있습니다. 그래서 아래의 코드를 사용 : df = dfRawData.filter(col("X").between("CB","CI","CR")) 을하지만 다음과 같은 오류가 점점 오전 : between() takes exactly 3 arguments

1열

2답변

오라클 connetion 나는 다음과 같은 코드로 스파크 SQL에서 오라클 DB에 연결을 시도하고

: 우리는 스파크 SQL을 통해 오라클과 연결 기본적으로 val dataTarget=sqlcontext.read. format("jdbc"). option("driver", config.getString("oracledriver")). option("url", config.getString("jdbcUrl")). option("user

-2열

1답변

pyspark.sql.utils.IllegalArgumentException : u'Field "기능"이 존재하지 않습니다.

랜덤 포레스트 분류기를 실행하고 교차 유효성 검사를 사용하여 모델을 평가하려고합니다. 나는 pySpark와 함께 일한다. 입력 된 CSV 파일은 Spark DataFrame 형식으로로드됩니다. 하지만 모델을 만드는 동안 문제가 있습니다. 다음은 코드입니다. from pyspark import SparkContext from pyspark.sql impor

0열

1답변

왜 Spark Sql은 Inet 데이터 형식을 제외합니까?

스키마에 inet 유형을 사용하는 postgres 데이터베이스 (9.2)가 있습니다. 스파크 (1.6)로 포스트 그레스에 글을 쓰려고합니다. df.write.mode(mode).jdbc(db, table, props) 나는 df에 스키마를 적용 할 예정입니다. context.createDataFrame(rdd, schema()) 인해 스키마 불일치에

0열

1답변

SparkSQL 부모/자식 데이터 집합 합류

SparkSQL 2.2.0을 사용하여 Cassandra에서 데이터를로드하고 Elasticsearch에 인덱스를 지정합니다. 내가 가지고있는 데이터는 고객 (첫 번째 테이블 people)과 주문 (두 번째 테이블 orders)으로 구성됩니다. 테이블 주문에는 해당 고객을 가리키는 열 person_id이 있습니다. 내 고객은 people 테이블과 orders을

0열

1답변

선언 된 패키지 "org.apache.hive.service.cli.thrift"가 예상 패키지 "java.org.apache.hive.service.cli.thrift"와 일치하지 않습니다.

Eclipse 소스로 스파크 소스를 가져옵니다. enter image description here 하지만 약간의 오류가 있습니다. 선언 된 패키지 "org.apache.hive.service.cli.thrift" "java.org.apache.hive.service.cli.thrift" enter image description here 을 예상 패키지와

0열

1답변

템플릿을 사용하여 교육하는 동안 오류가 발생합니다. https://github.com/apache/incubator-predictionio-template-text-classifier.git

나는 PredictionIo를 처음 사용합니다. 몇 가지 템플릿을 테스트하기 시작합니다. 나는 텍스트 분류를 사용하고 난 pio train 작업을 수행 할 때 나는 다음과 같은 예외 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext$implicits$

0열

1답변

하이버/스파크 SQL 용 하이버 네이트 사투리?

나는 MySQL에 연결하는 데 사용되는 응용 프로그램을 가지고, 나는 Hibernate이 같은 그것을위한 설정 이 : 내가 대신 Hive/SparkSQL에 연결하려는 경우, 지금 <hibernate-configuration> <session-factory> <property name="hibernate.dialect">org.hibern

1열

3답변

스파크 데이터 프레임 열 목록 가져 오기

스파크 데이터 프레임의 모든 열 이름을 Seq 변수로 가져 오는 방법. 입력 데이터 & 스키마 val dataset1 = Seq(("66", "a", "4"), ("67", "a", "0"), ("70", "b", "4"), ("71", "d", "4")).toDF("KEY1", "KEY2", "ID") dataset1.printSchema() roo