Spark SQL 임시 테이블에서 자동 증가 필드 만들기

Question

Spark 환경이 처음입니다. 내 프로젝트에서 Spark SQL을 사용한다. Spark SQL 임시 테이블에 자동 증가 필드를 생성하려고합니다. UDF를 만들었지 만 제대로 작동하지 않았습니다. 나는 인터넷에서 다양한 예를 시도했다.

이

public class AutoIcrementId { 
    int lastValue; 
    public int evaluate() { 
     lastValue++; 
     return lastValue; 
    } 
} 

Answer 1

우리는 자동 증가 값을 하이브 상태 UDF을 사용할 수 있습니다 : 이것은 내 자바 POJO 클래스입니다. 코드는 이렇게 될 것입니다.

package org.apache.hadoop.hive.contrib.udf; 

import org.apache.hadoop.hive.ql.exec.Description; 
import org.apache.hadoop.hive.ql.exec.UDF; 
import org.apache.hadoop.hive.ql.udf.UDFType; 
import org.apache.hadoop.io.LongWritable; 

/** 
* UDFRowSequence. 
*/ 
@Description(name = "row_sequence", 
    value = "_FUNC_() - Returns a generated row sequence number starting from 1") 
@UDFType(deterministic = false, stateful = true) 
public class UDFRowSequence extends UDF 
{ 
    private LongWritable result = new LongWritable(); 

    public UDFRowSequence() { 
    result.set(0); 
    } 

    public LongWritable evaluate() { 
    result.set(result.get() + 1); 
    return result; 
    } 
} 

// End UDFRowSequence.java 

등록 UDF :

CREATE TEMPORARY FUNCTION auto_increment_id AS 
    'org.apache.hadoop.hive.contrib.udf.UDFRowSequence' 

사용법 :

SELECT auto_increment_id() as id, col1, col2 FROM table_name 

이 비슷한 질문이 여기에 대답 (How to implement auto increment in spark SQL)