apache-spark-sql

1열

1답변

Spark SQL이 'insert overwrite directory'와 같은 HQL을 지원한다면?

Spark SQL에서 'insert overwrite directory'와 같은 HQL을 지원하는지 묻고 싶습니다. 또는 spark sql jdbc 서버의 결과 집합을 HDFS에 직접 저장하는 다른 방법이 있습니까?

1열

1답변

Spark SQL에서 Avro 테이블을 쿼리하는 방법

하이브 0.13에 키/값 테이블이 있습니다 (키와 값은 avro 타입 임). 나는 스파크 SQL 내가 spark-sql> describe construct; ... key struct<constructtype:string,...> from deserializer value struct<...> from deserializer ... spark-s

9열

2답변

Spark SQL을 사용하여 SQL Server에서 데이터 읽기

Microsoft SQL Server (및 oracle, mysql 등)의 데이터를 Spark 응용 프로그램의 rdd로 읽을 수 있습니까? 또는 메모리 세트를 만들고이를 RDD에 parallize해야합니까?

8열

2답변

EntityTooLarge 오류가 아마존 S3에 5G 파일을 업로드 할 때

아마존 S3 파일 크기 제한이 announcement에 따라 5T 있어야하지만, '/mahler%2Fparquet%2Fpageview%2Fall-2014-2000%2F_temporary%2F_attempt_201410112050_0009_r_000221_2222%2Fpart-r-222.parquet' XML Error Message: <?xml v

0열

1답변

스파크 코드 제공 오류

필자가 작성한 아래의 SPARK 코드를 실행하는 중에 오류가 발생합니다. 열쇠를 기반으로하는 모든 벡터의 합을 찾으려고합니다. 각 입력 행은 키 (정수)로 시작하여 127 개의 부동 소수점 숫자로 시작됩니다.이 부동 소수점 수는 127 개의 치수를 갖는 단일 벡터입니다. 즉, 각 행은 키와 벡터로 시작합니다. input.txt 6.0 156.0 26.0 3

4열

2답변

스칼라의 기호가 열 참조로 허용되지 않는 이유는 무엇입니까? 스파크 SQL의 예를 시도

, 그들은 표현이 필요한 경우를 제외하고 잘 작동하는 것 : scala> val teenagers = people.where('age >= 10).where('age <= 19).select('name) <console>:23: error: value >= is not a member of Symbol val teenagers = people.

5열

1답변

스파크 오류 RDD를 만들 때 RDD 유형을 찾을 수 없습니다.

사례 클래스 객체의 RDD를 만들려고합니다. . <console>:28: error: not found: type RDD val people: RDD[Person] =sc.textFile("/user/root/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)) 무엇이

0열

1답변

impala/hive/spark sql에서 "spark registered table"에 액세스 할 수 없습니다.

나는 spark를 사용하여 spark에서 데이터 소스를 만듭니다. 저는 사례 수업을 가지고 있으며 RDD를 만들어 테이블로 등록했습니다. 스파크 문서에 나와있는 예와 같습니다. val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.createSchemaRDD case cla

0열

1답변

RDD [String]을 Array [String]과 연결하여 String을 생성하는 방법은 무엇입니까?

RDD[String] 및 Array[String]을 String으로 변환하려면 어떻게해야합니까? 나는 아래의 오류를 얻고있다 , <console>:34: error: type mismatch; found : org.apache.spark.rdd.RDD[String] required: String 아이디어는 SchemaRDD과 /home/tmp/dat

1열

1답변

RDD 밖으로 저장된 텍스트 파일로 상어 쿼리를 만드는 방법은 무엇입니까?

나는 JavaPairRDD<String, String> results하고 난 호출하여 저장 : results.saveAsTextFile("data") 그런 다음 내가 좋아하는 파일의 콘텐츠를 : (www.abc.com,0.15712321 www.def.com,www.aaa.com,www.ccc.com) 지금, 내가 좋아하는 상어를 사용하여 세 개의