apache-spark-sql

4열

4답변

하이브 테이블의 데이터를 스파크로 가져 와서 RDD에서 조인을 수행합니다.

하이브/임팔라에 두 개의 테이블이 있습니다. 테이블에서 rdd로 스파크로 데이터를 가져오고 조인 작업을 수행하려고합니다. 하이브 컨텍스트에서 조인 쿼리를 직접 전달하고 싶지 않습니다. 이것은 단지 예일뿐입니다. 표준 HiveQL로는 사용할 수없는 사례가 더 많습니다. 모든 행을 가져와 열에 액세스하고 변환을 수행하는 방법은 무엇입니까? 나는이 "ACCOUN

7열

2답변

Spark SQL : csv의 자동 스키마

spark sql이 csv 데이터를 자동으로로드하는 방법을 제공합니까? 나는 다음과 같은 락스를 발견 https://issues.apache.org/jira/browse/SPARK-2360 있지만 다음과 같이 은 현재 내가 csv 파일을로드 할 것입니다 .... 폐쇄되었다 : CSV 파일에서 자동 스키마 공제에 case class Record(id: Str

1열

1답변

Spark SQL에서 SpecificMutableRow의 장점은 무엇입니까?

의견 : 가치가 변경 될 때 다시 사용되는 변경 가능한 컨테이너 객체의 부모 클래스 인 은 가비지가 적습니다. 및 각 열의 데이터 유형에 기초하여 선택된 유형 MutableValue의 배열 전문 컨테이너 객체를 보유 열 타입,. 기본 열의 값을 수정할 때 가비지를 줄이려고합니다. 소스 - https://github.com/apache/spark/blob/m

3열

1답변

SparkSQL : 유효하지 않은 json 파일을 무시합니다.

SparkSQL을 사용하여 많은 JSON 파일을로드하지만 일부는 문제가 있습니다. 나쁜 파일을 무시하는 동안 다른 파일을 계속 처리하고 싶습니다. 어떻게해야합니까? try-catch를 사용해 보았지만 여전히 실패합니다. 예 : try { val sqlContext = new org.apache.spark.sql.SQLContext(sc)

0열

2답변

스파크 SQL : 해결되지 않은 속성은

나는 SQL 결과 수를 읽으려고 할 때 다음 오류 메시지가 나타납니다 : 오류 : val results= sqlContext.sql("select * from tablename") results.collect().foreach(println) : 여기 Exception in thread "main" org.apache.spark.sql.catalyst

1열

1답변

통합 된 언어를 사용하여 schemaRDD가있는 SQL 함수

SQL 함수를 기반으로하는 언어 통합 SQL을 사용하여 schemaRDD를 필터링하려고합니다. 예를 들어 나는 어떻게 people.where 이러한 SQL 기능을 사용할 수 있습니다 SELECT name FROM people WHERE name LIKE '%AHSAN%' AND name regexp '^[A-Z]{20}$' 를 실행하려면()? 참조 :

1열

2답변

스파크 지연 변환 실행 장애

나는 스파크 SQL을 연구 중이다. JavaPairRDD를 사용하여 HBase에서 데이터를 얻은 다음지도를 작성했습니다. 지도에서 모든 키를 세트에 저장했습니다. 이 맵을 강제 실행하려면 collect()를 수행하십시오. 그런 다음 Set의 값을 사용하여 다른 작업을 수행했습니다. 이 프로그램은 내 로컬 PC에서 완벽하게 작동 할 수 있습니다. 그러나 그것

0열

1답변

스파크 SQL은 자바

내가 두 RDDs을 생성하고 자바를 사용하여 지속 한을 사용하여 만든 두 RDDs에 가입 할 수 있습니다. 항아리를 스파크 마스터에게 제출했습니다. 이제 스파크 쉘이 쿼리를 입력하라는 메시지를 표시 할 때 SQL 문에 두 개의 RDD에 대한 조인 조건을 부여했습니다. 결과 집합에 대해 collect()를 수행하는 동안 예외가 발생합니다. 결합 조건 : a.

0열

1답변

Spark SQL - 성능 진단

Spark SQL을 사용하고 있지만 일부 쿼리가 매우 느립니다. 쿼리가 느려서 시스템을 최적화하려고 할 수있는 이유에 대해 몇 가지 통찰력을 얻을 수있는 방법을 알고 싶습니다.

1열

1답변

Spark SQL - 에포크에서 UTC millis로 저장된 날짜를 선택하는 방법은 무엇입니까?

Spark SQL을 사용하여 신기원에서 UTC 밀리 초로 저장된 날짜를 검색하는 방법에 대한 해결책을 찾지 못했습니다.이 |-- dateCreated: struct (nullable = true) ||-- $date: long (nullable = true) 전체 스키마는 다음과 같다 : 나는이되는 NoSQL 데이터 소스 (MongoDB의에서 JSO