spark-hive

0열

1답변

선언 된 패키지 "org.apache.hive.service.cli.thrift"가 예상 패키지 "java.org.apache.hive.service.cli.thrift"와 일치하지 않습니다.

Eclipse 소스로 스파크 소스를 가져옵니다. enter image description here 하지만 약간의 오류가 있습니다. 선언 된 패키지 "org.apache.hive.service.cli.thrift" "java.org.apache.hive.service.cli.thrift" enter image description here 을 예상 패키지와

1열

1답변

종속성이 제공 될 때 HiveContext에 대한 테스트를 시도하면 java.lang.SecurityException이 throw됩니다.

스파크 컨텍스트를 만드는 단위 테스트를 실행할 때 java.lang.SecurityException이 표시됩니다. 나는 그 원인이 무엇인지 이해하지만 어떻게 해결할지를 어떻게 추적 할 지 확신하지 못한다. 이것은 서로 다른 서명자 정보를 갖는 동일한 패키지 javax.servlet을 공유하는 여러 종속성 때문입니다. // Dependencies libra

3열

1답변

스파크 CSV IOException이 Mkdirs 파일

TL을 작성하는 데 실패 세부 정보 : 스칼라를 사용하는 로컬 파일 시스템 (실행중인 컴퓨터에 HDFS가없는 컴퓨터)을 사용하는 독립 실행 형 클러스터에서 실행되는 Spark 1.6.1 응용 프로그램에서 작업하고 있습니다. 이 데이터 프레임은 HiveContext를 사용하여 CSV 파일로 저장하려고합니다. 이 내가 실행 해요 것입니다 : 내가 사용 expo

0열

1답변

하이브에 spark.writeStream 결과를 저장하려면 어떻게해야합니까?

나는 spark.readStream을 사용하여 Kafka에서 데이터를 읽고 결과 데이터 프레임에 폭발을 실행합니다. 하이브 테이블에 폭발의 결과를 저장하려고하는데 그 해결책을 찾지 못했습니다. 나는 다음과 같은 방법을 시도하지만 (이 실행하지만 새로운 생성 된 파티션이 표시되지 않습니다) 작동하지 않습니다 는 당신이 필요로하는 파일 시스템의 dt 파티션

1열

1답변

동일한 키를 가진 feild 배열 생성하기

나는 스파크 컨텍스트 위에 존재하는 하이브 테이블을 가지고있다. 나는 그래서 마지막 표가 될 위의 표 에서 스키마 val dataSchema = new StructType( Array( StructField("key", StringType, nullable = true), StructField("param", ArrayType(

1열

1답변

커스텀 하이브 바인딩이있는 스파크

1.2 대신에 현재 (하이브 2.1) 바인딩으로 스파크를 빌드하려면 어떻게해야합니까? http://spark.apache.org/docs/latest/building-spark.html#building-with-hive-and-jdbc-support 어떻게 작동하는지 언급하지 않습니다. 스파크는 하이브 2.x에서 잘 작동합니까?

3열

1답변

HiveContext createDataFrame이 pySpark (jupyter)에서 작동하지 않습니다.

Jupyter 노트북을 사용하여 pySpark에 대한 분석을하고 있습니다. 내 코드는 원래 sqlContext = SQLContext (sc)을 사용하여 데이터 프레임을 만들었지 만 이제는 윈도우 기능을 사용하기 때문에 HiveContext으로 전환했습니다. 내 문제는 dataframe을 만들려고 할 때 지금은 자바 오류 받고 있어요 것입니다 :이 후 ##