Flink 1.1.3 하이브와 상호 작용 2.1.0

Question

불편을 끼쳐 드려 죄송하지만 문서 나 인터넷에서 답변을 찾지 못했습니다.

내가 가진 플랫폼이 있습니다

• 하둡 2.7.3
• 하이브 2.1.0
• HBase를 1.2.4
• 내가 FLINK 1.1 통합 한 1.6

불꽃 .3 로컬 모드와 실 모드에서 사용.

나는 Hive (hiveContext with Spark)와 함께 Flink를 사용하여 scala-shell에서 데이터를 읽는 것이 가능합니까? 그리고 어떻게 ?

감사합니다.

Answer 1

Flink는 Spark with SQL 컨텍스트에서 지원되므로 하이브에 대한 직접 연결을 지원하지 않습니다. 그러나 Flink의 Hive 테이블에서 데이터를 분석하는 간단한 방법이 있습니다.

먼저 Flink로 분석하고자하는 Hive 테이블의 정확한 HDFS 위치를 얻습니다.

hdfs://app/hive/warehouse/mydb/mytable 

그런 다음 당신은 데이터 집합에서 테이블을 만든 다음 TableEnvironment와

Table mytable = tableEnv.fromDataSet(csvInput); 
tableEnv.registerTable("mytable", mytable); 

를 등록해야

DataSet<Record> csvInput = env 
      .readCsvFile("hdfs://app/hive/warehouse/mydb/mytable/data.csv") 
      .pojoType(MyClass.class, "col1", "col2", "col3"); 

그런 다음 데이터를 읽고 지금 당신은 모든 쿼리로 설정되어 이 테이블은 Table API 구문을 사용합니다.

예제 코드는 link입니다.

희망이 도움이됩니다.