2016-06-13 2 views
2

스파크를 처음 접했습니다. 포스트 그레스에서 자바 스파크로 데이터를로드하고 싶습니다. 이를 위해 저는는 SqlContext를 작성하지만, 다음과 같은 오류가 무엇입니까 :SQLContext가 작성되지 않았습니다. NoClassDefFoundError : org/apache/spark/sql/catalyst/rules/RuleExecutor

enter image description here

내가 잘못 무엇입니까를? 어떻게 해결할 수 있습니까?

+0

클래스 경로에 불꽃 촉매제 용기가 있는지 확인할 수 있습니까? – uday

+0

촉매 항아리가 추가되었습니다. 이제 스레드 "main"의 예외가 발생합니다. java.lang.NoClassDefFoundError : org/apache/parquet/hadoop/ParquetOutputCommitter 오류 – z22

+0

parquet-hadoop jar를 classpath에 추가하십시오. 애플리케이션의 종속성을 어떻게 관리하고 있습니까? – uday

답변

2

다음 종속성을 maven pom.xml에 추가하십시오.

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-catalyst_2.10</artifactId> 
    <version>1.6.1</version> 
</dependency> 
0

빌드/클래스 경로에 'spark-catalyst_2.10.jar'를 추가하여이 문제를 해결하십시오.

+0

이 추가되었습니다. 스레드 "main"의 예외가 발생합니다. java.lang.NoClassDefFoundError : org/apache/parquet/hadoop/ParquetOutputCommitter 오류 – z22

+1

이 jar-parquet-hadoop-1.2.4.jar을 build/class 경로에 추가하십시오. 지원되는 병이 모두 추가되었는지 확인하십시오. – Bhuvanwaitz