executeQuery가 하이브 결과를 반환하지 않습니다.

Question

하이브에서 테라 데이타로 데이터를 내보내려고합니다.

/* Code Start */ 
import java.sql.Connection; 
import java.sql.DriverManager; 
import java.sql.PreparedStatement; 
import java.sql.ResultSet; 
import java.sql.SQLException; 
import java.sql.Statement; 

public class HiveToTd { 
private final static String tdUser = "**********"; 
private final static String tdPass = "**********"; 

private final static String hiveUser = "**********"; 
private final static String hivePass = "**********"; 

private static String driverName = "org.apache.hive.jdbc.HiveDriver"; 
/** 
* @param args 
* @throws ClassNotFoundException 
* @throws SQLException 
*/ 
public static void main(String[] args) throws ClassNotFoundException, SQLException { 
    // Get the Teradata connection 
    Class.forName("com.teradata.jdbc.TeraDriver"); 
    Connection tdcon = DriverManager.getConnection("jdbc:teradata://database.XXXXX.com/TMODE=ANSI,TYPE=FASTLOAD", tdUser, tdPass); 
    System.out.println("Connected to Teradata."); 

    // Get our hive connection 
    Class.forName(driverName); 
    System.out.println("Connecting to Hive."); 
    Connection hivecon = DriverManager.getConnection("jdbc:hive2://bigdatabase.xxxxxx.com:10000/default", hiveUser, hivePass); 
    System.out.println("Connected to Hive."); 

    // Select our table from Hive 

    Statement hst = hivecon.createStatement(); 
    System.out.println("Executing Statement"); 
    ResultSet hrs = hst.executeQuery("SELECT COL1, COL2, COL3 FROM db.table limit 100"); 

    System.out.println("Get DATA"); 
    int count= 0; 
    if(hrs.next()) 
    { 
     count++; 
    } 
    System.out.println(count); 

이 카운트는 "1"을 반환하지 (100) 내가 하이브의 테이블에 1 개 백만 개 이상의 레코드가 있음을 확인했습니다 : 아래 나도 같은 위해 가지고있는 코드입니다. 내가 도대체 ​​뭘 잘못하고있는 겁니까? 그냥 헤더 행을 반환하고 그게 다야. 내가 문제가 연결과 함께있을 거라 생각했지만 그때 그것은 나에게 오른쪽 헤더 행을 제공합니다. 그래서 다른 것이되어야합니다.

이 문제를 긴급히 해결해야합니다 .... 감사합니다.

코드가 실제로 작동하는 것처럼 보입니다. Suchitha 문제를 해결해 주셔서 감사합니다.

다음 부분은 더 문제가됩니다. 이는 TD에 대한 빠른로드를위한 것입니다.

// Empty the staging table 
    tdcon.createStatement().executeUpdate("delete from dbname.staging_table"); 

    // Create prepared statement for Teradata 
    System.out.println("Begin load to Teradata"); 
    tdcon.setAutoCommit(false); 

    PreparedStatement ps = tdcon.prepareStatement("insert into dbname.staging_table values (?,?,?)"); 
    System.out.println("Start Fastload"); 
    int i; 
    for (i = 1; hrs.next(); i++){ 
     ps.setString(1, hrs.getString(1)); 
     ps.setString(2, hrs.getString(2)); 
     ps.setString(3, hrs.getString(3)); 
     ps.addBatch(); 
     System.out.println(i); 
     if (i % 10000 == 0){ 
      ps.executeBatch(); 
     } 
    } 



    if (i % 10000 != 0){ 
     ps.executeBatch(); 
    } 



    tdcon.commit(); 
    tdcon.setAutoCommit(true); 
    ps.close(); 
    hrs.close(); 

    sideLoad("dbname.staging_table", "dbname.final_table", tdcon); 
    tdcon.close(); 
    hivecon.close(); 

} 

public static int sideLoad(String fromTable, String toTable, Connection conn) throws SQLException{ 
    return (conn.createStatement().executeUpdate("INSERT INTO " + toTable + " SELECT * FROM " + fromTable)); 

} 

}

내가 "빠른로드를 시작합니다"메시지 후 얻을 오류 :

Exception in thread "main" java.sql.SQLException: [Teradata JDBC Driver] [TeraJDBC 15.00.00.20] [Error 1103] [SQLState HY000] Cannot add an empty batch of rows to a database table 
    at com.teradata.jdbc.jdbc_4.util.ErrorFactory.makeDriverJDBCException(ErrorFactory.java:94) 
    at com.teradata.jdbc.jdbc_4.util.ErrorFactory.makeDriverJDBCException(ErrorFactory.java:64) 
    at com.teradata.jdbc.jdbc.fastload.FastLoadManagerPreparedStatement.executeBatch(FastLoadManagerPreparedStatement.java:2049) 
    at com.optus.insights.HiveToTd.main(HiveToTd.java:84) 

Answer 1

당신은 그래서 그것은 단지의 첫 번째 행에 갈 것이다 카운트 if 조건을 가지고있다 ResultSet 및 증분 수 1

모든 행을 반복하려면대신 while loop을 사용하십시오. 내가 코드를 디버깅하고 때, 그러나

while(hrs.next()){ 
    count++; 
}