HBase 테이블을 pyspark 데이터 프레임으로 읽는 방법?

Question

Hive 또는 Phoenix 또는 Hortonworks에서 제공하는 스파크 -Hbase 커넥터를 사용하지 않고 Hys 테이블을 Pyspark Dataframes로 직접 읽을 수 있습니까?

저는 Hbase에 비교적 익숙하며 Hbase 테이블을 Pyspark 데이터 프레임으로 변환하는 직접적인 Python 예제를 찾을 수 없습니다. 필자가 본 대부분의 예제는 Scala 또는 Java에서 사용되었습니다.

Answer 1

귀하는 Phoenix를 통해 HBase에 연결할 수 있습니다. 샘플 코드가 될 수 있습니다
df=sqlContext.read.format('jdbc').options(driver="org.apache.phoenix.jdbc.PhoenixDriver",url='jdbc:phoenix:url:port:/hbase-unsecure',dbtable='table_name').load()

당신은 불꽃의 피닉스 커넥터 항아리를 얻을 필요가 있습니다 phoenix-spark-4.7.0-HBase-1.1.jar 및 phoenix-4.7.0-HBase-1.1-client.jar을. 감사합니다.