hivecontext

0열

1답변

아파치 스파크의 캐시 된 Temp 테이블에 대한 파티션 프룬이 활성화되어 있습니까? 그렇다면 어떻게 구성합니까? 내 데이터는 다른 설치에서 센서 판독 값의 묶음이며 한 행에는 installationName, tag, timestamp 및 value가 있습니다. 이제 val parquet = hc.read.parquet("/path_to_table/table

0열

2답변

는 JavaSparkContext

일부 스파크 코드에서 에서 HiveContext을 얻는 방법, 나는 프로그래머가 SparkSession session = SparkSession .builder() .appName("Spark Hive Example") .config("spark.sql.warehouse.dir", warehouseLocation)

1열

1답변

스파크 작업을 통해 하이브 테이블 만들기

hadoop 클러스터 (BigInsight 4.1 배포본)에서 spark (1.5.1 버전) 작업의 출력으로 하이브 테이블을 생성하려고하는데 권한 문제가 있습니다. 내 생각 엔 spark는 테이블을 만들기 위해 기본 사용자 (이 경우 '원사'및 작업 제출자의 사용자 이름이 아님)를 사용하므로 그렇게하지 못합니다. 하이브 테이블을 만들 수있는 권한이있는 인증

0열

3답변

스파크 HiveContext : 삽입 읽은 동일한 테이블을 덮어 씁니다

HiveContext에서 PySpark를 사용하여 SCD1과 SCD2를 적용하고 싶습니다. 내 접근 방식에서, 나는 증분 데이터와 목표 테이블을 읽고있다. 읽은 후, 나는 그들을 업서 트 접근에 합류시키고있다. 모든 소스 데이터 프레임에 registerTempTable을 수행하고 있습니다. 대상 테이블에 최종 데이터 세트를 쓰려고하는데 삽입 된 덮어 쓰기를

0열

2답변

Hive Merge 명령이 Spark HiveContext에서 작동하지 않습니다.

1.6.3 spark 버전의 Spark HiveContext를 사용하여 하이브 병합 명령을 실행하고 있지만 아래 오류로 인해 실패합니다. 2017-09-11 18:30:33 Driver [INFO ] ParseDriver - Parse Completed 2017-09-11 18:30:34 Driver [INFO ] ParseDriver - Parsing

0열

1답변

spark를 사용하여 하이브에 데이터를 쓸 수 없습니다.

spark1.6을 사용 중입니다. 나는 스파크 컨텍스트를 사용하여 hivecontext를 만들고있다. 데이터를 하이브에 저장하면 오류가 발생합니다. 나는 cloudera VM을 사용하고 있습니다. 내 하이브는 cloudera VM 내부에 있으며 내 시스템에서 발동합니다. IP를 사용하여 VM에 액세스 할 수 있습니다. 나는 thrift 서버와 VM에 hiv

1열

1답변

Spark HiveContext : Spark Engine 또는 Hive Engine?

나는 불꽃 hiveContext을 이해하려고 애 쓰고있다. 우리가 점화 엔진 또는 하이브 엔진을 사용하고 hiveContext sqlContext=new HiveContext(sc) sqlContext.sql("select * from TableA inner join TableB on (a=b) ") 처럼 사용하여 쿼리를 작성하면? 위의 쿼리는 Spa

0열

1답변

Spark 및 Scala를 사용하여 하이브 테이블에 데이터를 삽입 할 때 발생하는 문제

Spark를 처음 사용했습니다. 여기에 내가하고 싶은 것이있다. 두 개의 데이터 스트림을 만들었습니다. 첫 번째는 텍스트 파일에서 데이터를 읽고 hivecontext를 사용하여 유혹 할 수있는 것으로 등록합니다. 다른 하나는 카프카 (Kafka)에서 RDD를 연속적으로 가져 오며 각 RDD에 대해 데이터 스트림을 생성하고 유혹스러운 내용으로 등록합니다. 마

0열

1답변

ozzie에서 하이브 컨텍스트를 사용하지 않는 스파크 작업

우리 파이프 라인 중 하나에서 spark (java)를 사용하여 집계를 수행하고 있으며 oozie를 사용하여 조정합니다. 이 파이프 라인은 집계 된 데이터를 다음 행을 사용하여 ORC 파일에 씁니다. HiveContext hc = new HiveContext(sc); DataFrame modifiedFrame = hc.createDataFrame(aggr

0열

1답변

구조체의 Array에 대해 Spark SQL의 스키마를 만드는 방법은 무엇입니까?

아래 json이 스키마를 읽도록 스키마를 만드는 방법. hiveContext.read.schema() .json ("input.json")을 사용하고 있는데 처음 두 개의 "ErrorMessage"및 "IsError"읽기 전용 보고서를 무시하고 싶습니다. 아래는 JSON입니다 : val schema = StructType( Array(