Oozie에서 HiveContext가 작동하지 않습니다.

HiveContext 개체를 사용하여 스파크 코드에서 일부 하이브 쿼리를 실행하려고했습니다. 그것은 spark 제출을 사용하여 명령 줄에서 실행할 때 잘 작동했다. 그러나 oozie 워크 플로에서 동일한 것을 실행하려고하면 아래 예외가 발생합니다.Oozie에서 HiveContext가 작동하지 않습니다.

User class threw exception: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

출처

2016-08-03 yAsH

하이브 클래스가 사용되는 경우 스파크 동작에 하이브 공유 라이브러리를 추가해야합니다.

<configuration> 
    <property> 
     <name>oozie.action.sharelib.for.spark</name> 
     <value>spark,hive</value> 
    </property> 
</configuration>

출처

2016-08-03 22:59:49 gezapeti

내가 위의 속성을 사용하여 워크 플로우를 업데이트하고, 워크 플로우는 성공 : 당신은 워크 플로우 또는 조치 구성에서, 다음 특성 중 하나 oozie-default.xml에에 설정할 수 있습니다. 그러나 나는 내가 만든 테이블을 찾을 수 없었습니다. – yAsH

워크 플로의 태그에 hive-site.xml을 삽입하고 태그의 --file pathi/to/hive-site.xml을 사용하여 Spark에 hive-site.xml을 삽입해야 할 수 있습니다. – gezapeti

Oozie에서 HiveContext가 작동하지 않습니다.

답변

관련 문제