Spark Thrift Server에 연결하는 ODBC 구성

이 질문은 반복되는 것처럼 보일 수 있습니다. 실제로 이와 관련된 몇 가지 질문을 보았지만 똑같은 오류는 아닙니다. 누군가가 실마리.Spark Thrift Server에 연결하는 ODBC 구성

기본 설정으로 실행되는 Spark Thrift Server를 설정했습니다. Spark 버전은 2.1이고 YARN (Hadoop 2.7.3)에서 실행됩니다.

실제로 Simba 하이브 ODBC 드라이버 나 Microsoft 하나를 설정할 수 없으므로 ODBC 설정의 테스트가 성공합니다.

이

내가 마이크로 소프트 하이브 ODBC 드라이버를 사용하고는 config입니다 :

: 나는 테스트 버튼을 누르면

표시된 오류 메시지는 다음과

Spark Thrift Server 로그에는 다음 내용이 표시됩니다.

17/09/15 17:31:36 INFO ThriftCLIService: Client protocol version: HIVE_CLI_SERVICE_PROTOCOL_V1 
17/09/15 17:31:36 INFO SessionState: Created local directory: /tmp/00abf145-2928-4995-81f2-fea578280c42_resources 
17/09/15 17:31:36 INFO SessionState: Created HDFS directory: /tmp/hive/test/00abf145-2928-4995-81f2-fea578280c42 
17/09/15 17:31:36 INFO SessionState: Created local directory: /tmp/vagrant/00abf145-2928-4995-81f2-fea578280c42 
17/09/15 17:31:36 INFO SessionState: Created HDFS directory: /tmp/hive/test/00abf145-2928-4995-81f2-fea578280c42/_tmp_space.db 
17/09/15 17:31:36 INFO HiveSessionImpl: Operation log session directory is created: /tmp/vagrant/operation_logs/00abf145-2928-4995-81f2-fea578280c42 
17/09/15 17:31:36 INFO SparkExecuteStatementOperation: Running query 'set -v' with 82d7f9a6-f2a6-4ebd-93bb-5c8da1611f84 
17/09/15 17:31:36 INFO SparkSqlParser: Parsing command: set -v 
17/09/15 17:31:36 INFO SparkExecuteStatementOperation: Result Schema: StructType(StructField(key,StringType,false), StructField(value,StringType,false), StructField(meaning,StringType,false))

내가 (작동 확인) 최단 거리에 의해 JDBC 드라이버를 사용하여 연결하는 경우

, 이러한 로그는 다음과 같습니다

17/09/15 17:04:24 INFO ThriftCLIService: Client protocol version: HIVE_CLI_SERVICE_PROTOCOL_V8 
17/09/15 17:04:24 INFO SessionState: Created HDFS directory: /tmp/hive/test 
17/09/15 17:04:24 INFO SessionState: Created local directory: /tmp/c0681d6f-cc0f-40ae-970d-e3ea366aa414_resources 
17/09/15 17:04:24 INFO SessionState: Created HDFS directory: /tmp/hive/test/c0681d6f-cc0f-40ae-970d-e3ea366aa414 
17/09/15 17:04:24 INFO SessionState: Created local directory: /tmp/vagrant/c0681d6f-cc0f-40ae-970d-e3ea366aa414 
17/09/15 17:04:24 INFO SessionState: Created HDFS directory: /tmp/hive/test/c0681d6f-cc0f-40ae-970d-e3ea366aa414/_tmp_space.db 
17/09/15 17:04:24 INFO HiveSessionImpl: Operation log session directory is created: /tmp/vagrant/operation_logs/c0681d6f-cc0f-40ae-970d-e3ea366aa414 
17/09/15 17:04:24 INFO SparkSqlParser: Parsing command: use default 
17/09/15 17:04:25 INFO HiveMetaStore: 1: get_database: default 
17/09/15 17:04:25 INFO audit: ugi=vagrant ip=unknown-ip-addr cmd=get_database: default 
17/09/15 17:04:25 INFO HiveMetaStore: 1: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore 
17/09/15 17:04:25 INFO ObjectStore: ObjectStore, initialize called 
17/09/15 17:04:25 INFO Query: Reading in results for query "[email protected]" since the connection used is closing 
17/09/15 17:04:25 INFO MetaStoreDirectSql: Using direct SQL, underlying DB is DERBY 
17/09/15 17:04:25 INFO ObjectStore: Initialized ObjectStore

출처

2017-09-15 Daniel Martínez

그럼 내가 대신 하이브 하나는 Microsoft 스파크 ODBC 드라이버를 설치하여 성공적으로 연결하기 위해 관리 . 일부 서버 속성을 기반으로하는 Hive2 서버가 아니라는 것을 발견했을 때 Spark Thrift Server에 연결하는 것을 거부하는 드라이버와 관련된 문제가있는 것 같습니다. Hive2와 Spark 중고품 서버 사이의 와이어 레벨 차이는 프로토콜 레벨 (Thrift)에서 변경되지 않은 이전 포트이기 때문에 의심 스럽지만 어떤 경우에는이 드라이버로 이동하여 그것은 Hive2와 같은 방식입니다 :

Microsoft® Spark ODBC Driver

출처

2017-09-16 08:48:32

Spark Thrift Server에 연결하는 ODBC 구성

답변

관련 문제