hivecontext

2열

1답변

스파크 1.6에서 hivecontext 쿼리로 작동하지 않는 카운트 (distinct)가 있습니다

최근에 우리는 1.3 버전에서 1.6 버전으로 스파크 업데이트를했고이 업데이트 후에 "카운트 (distinct)"조건을 가진 쿼리가 작동하지 않습니다. 오류 쿼리 ::와 쿼리로 hiveContext.sql( "select A1.x, A1.y, A1.z from (select concat(g,h) as x, y, z from raw_parquet where

0열

1답변

Oozie에서 HiveContext가 작동하지 않습니다.

HiveContext 개체를 사용하여 스파크 코드에서 일부 하이브 쿼리를 실행하려고했습니다. 그것은 spark 제출을 사용하여 명령 줄에서 실행할 때 잘 작동했다. 그러나 oozie 워크 플로에서 동일한 것을 실행하려고하면 아래 예외가 발생합니다. User class threw exception: java.lang.RuntimeException: java.

0열

2답변

Spark 프로그램을 실행하는 동안 오류가 발생했습니다. (Ljava/lang/String;) Lorg/apache/spark/sql/DataFrame

스파크 제출. 내 spark-cluster 버전 2.0.0이고 내 코드를 컴파일하기 위해 sbt를 사용하며 아래는 내 sbt 종속성입니다. 모든 libraryDependencies ++= Seq( "commons-io" % "commons-io" % "2.4", "com.google.guava" % "guava" % "19.0",

0열

1답변

SparkJob 파일 이름

나는 비슷한을 포함하는 HQL 쿼리를 사용하고 은 ... INSERT OVERWRITE TABLE ex_tb.ex_orc_tb select *, SUBSTR(INPUT__FILE__NAME,60,4), CONCAT_WS('-', SUBSTR(INPUT__FILE__NAME,71,4), SUBSTR(INPUT__FILE__NAME,75,2), SUBSTR(

2열

1답변

Spark HiveContext - 외부 파티션 하이브 테이블 구분 기호에서 읽음

밑줄이있는 외부 파티션 된 하이브 테이블이 있습니다. 행 형식이 제한된 필드가 '|' 하이브를 통해 데이터를 직접 읽는 것은 좋지만 스파크의 Dataframe API를 사용할 때 구분 기호 '|' 고려되지 않았습니다. 외부 분할 된 테이블 만들기 : hive> create external table external_delimited_table(value1

0열

1답변

HiveException는 :</p> <p>2) 우리가 사용하여이 SQL 파일을 호출하는, 우리가 두 개의 서로 다른 하이브 테이블에서 데이터를 수집하고 하나의 하이브 테이블에 삽입되는 SQL 파일을 만든

1) 스파크 클라이언트를 만들 수 없습니다 쉘 스크립트 3) 샘플 스파크 설정 : SET hive.execution.engine=spark; SET spark.master=yarn-cluster; SET spark.app.name="ABC_${hiveconf:PRC_DT}_${hiveconf:JOB_ID}"; --SET spark.driver.memo