임팔라 데이터베이스에 스파크 데이터 프레임을 작성하는 방법

Question

다음 코드를 사용하여 스파크 데이터 프레임을 JDBC 연결을 통해 임팔라로 작성합니다. java.sql.SQLException의 :

df.write.mode("append").jdbc(url="jdbc:impala://10.61.1.101:21050/test;auth=noSasl",table="t_author_classic_copy", pro) 

그러나 나는 다음과 같은 오류가 없음 적합한 드라이버가

발견 한 후 나는 모드 변경 :

df.write.mode("overwrite").jdbc(url="jdbc:impala://10.61.1.101:21050/test;auth=noSasl",table="t_author_classic_copy", pro) 

을하지만 여전히 오류가 발생 :

CAUSED BY: Exception: Syntax error 
), Query: CREATE TABLE t_author_classic_copy1 (id TEXT NOT NULL, domain_id TEXT NOT NULL, pub_num INTEGER , cited_num INTEGER , rank DOUBLE PRECISION). 

Answer 1

나를 위해 일하는이 :

아주 명시 적 - 0

스파크 쉘은 --driver 클래스 경로 ImpalaJDBC41.jar *이 ImpalaJDBC41.jar

val jdbcURL = s"jdbc:impala://192.168.56.101:21050;AuthMech=0" 

val connectionProperties = new java.util.Properties() 

import org.apache.spark.sql.SaveMode 

sqlContext.sql("select * from my_users").write.mode(SaveMode.Append).jdbc(jdbcURL, "users", connectionProperties)