일부 Hive 쿼리를 테스트하기 위해 Spark/Shark를 실행하기 위해 5 노드 카산드라 클러스터를 구성하려고합니다. 스파크, 스칼라, 상어를 설치하고 Amplab [클러스터에서 상어를 달리는 행위] https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster에 따라 구성했습니다.Cassandra에서 Apache Spark & Shark를 성공적으로 실행 한 사람이 있습니까
나는 상어의 CLI에 얻을 수 그리고 난 내 카산드라 ColumnFamily 테이블 중 하나에서 외부 테이블을 만들려고 할 때, 나는
예외 org.apache에 실패이 오류가 계속. hadoop.hive.ql.metadata.HiveException : org.apache.hadoop.hive에서 실행 오류, 리턴 코드 1 :로드 저장 handler.org.apache.hadoop.hive.cassandra.CassandraStorageHandler
실패 오류 .ql.exec.DDLTask
HIVE_HOME, HADOOP_HOME, SCALA_HOME을 (를) 구성했습니다. 아마도 HIVE_HOME과 HADOOP_HOME을 잘못된 경로로 가리키고 있을까요? HADOOP_HOME이 Cassandra hadoop 폴더 (/ etc/dse/cassandra)로 설정되어 있고, HIVE_HOME이 압축 해제 된 Amplad의 Hadoop1/hive 다운로드로 설정되어 있으며, HIVE_CONF_DIR을 Cassandra Hive 경로 (/ etc/dse/hive)로 설정했습니다. 단계가 누락 되었습니까? 또는이 위치를 잘못 구성 했습니까? 어떤 아이디어라도 제발? 어떤 도움이라도 대단히 감사하겠습니다. 감사합니다
하둡 2.0? 상어에 '병 추가'명령을 사용하여 추가해야 할 수도 있습니다. – Richard
답장을 보내 주셔서 감사합니다. Cassandra 노드 전체에서 Storage Handler jar 파일을 검색했지만 찾지 못했습니다. Datastax를 사용하여 Hive CLI에서 호출 된 Hive 쿼리를 실행할 수 있어야합니다. 'StorageHandler.jar'가 아닌 다른 파일입니까? – kwasbob
하이브가 DSE 하에서 실행될 때 하이브가로드되는지 검사 할 수 있습니다. 그런 다음 'add jar'를 사용하거나 실행중인 하이브 lib 디렉토리에 복사 할 수 있습니다. 또는 https://github.com/milliondreams/hive에서 오픈 소스 cassandra 스토리지 핸들러를 빌드 할 수 있습니다. – Richard