하이브에서 2 행 중에서 계산하는 방법은 무엇입니까?

Question

이 테이블이 있습니다. 내가 싶어하는 각 행에 대해입니다

+------------------------------------------------------------+ 
    |  ks  |  time  |  val1  | val2  | 
    +-------------+---------------+---------------+--------------+ 
    |  A  |  1  |  1  |  1  | 
    |  B  |  1  |  3  |  5  | 
    |  A  |  2  |  6  |  7  | 
    |  B  |  2  |  10  |  12  | 
    |  A  |  4  |  6  |  7  | 
    |  B  |  4  |  20  |  26  | 
    +------------------------------------------------------------+ 

,

ks | time | val1 | val1 of next ts of same ks | 

가 명확하게하려면, 위의 예제의 결과는

+------------------------------------------------------------+ 
    |  ks  |  time  |  val1  | next.val1 | 
    +-------------+---------------+---------------+--------------+ 
    |  A  |  1  |  1  |  6  | 
    |  B  |  1  |  3  |  10  | 
    |  A  |  2  |  6  |  6  | 
    |  B  |  2  |  10  |  20  | 
    |  A  |  4  |  6  |  null | 
    |  B  |  4  |  20  |  null | 
    +------------------------------------------------------------+ 

(나는 값 2에 대해 동일한 다음을 필요로해야한다 뿐만 아니라)

나는 이것에 대한 하이브 쿼리를 내놓기 위해 많은 노력을했지만 여전히 운이 없다. 내가 쿼리 here (Quassnoi의 대답) 언급 한 바와 같이 SQL에 대한 쿼리를 작성할 수 있지만 하이브가 하위 쿼리를 지원하지 않기 때문에 하이브에 상응하는 항목을 만들 수 없습니다.

누군가가 도와 드릴 수 있습니까?

미리 감사드립니다.

편집 : 나는 시도

쿼리

SELECT ks, time, val1, next[0] as next.val1 from 
(SELECT ks, time, val1 
     COALESCE(
     (
     SELECT Val1, time 
     FROM myTable mi 
     WHERE mi.val1 > m.val1 AND mi.ks = m.ks 
     ORDER BY time 
     LIMIT 1 
     ), CAST(0 AS BIGINT)) AS next 
FROM myTable m 
ORDER BY time) t2; 

Answer 1

조회에 재무보고에 편재보고 "전에 년"매우 유사 보인다이었다. 제 생각에는 LEFT OUTER JOIN이 당신이 찾고있는 것입니다.

테이블 myTable을 자체 테이블에 조인하여 동일한 테이블 m 및 n의 두 인스턴스를 명명합니다. 첫 번째 표의 모든 항목에 대해 m 의 일치하는 레코드를 찾으려고 시도하지만 동일한 ks 값이지만 증가 된 값은 time입니다. 이 레코드가 존재하지 않으면 n의 모든 열 값은 NULL이됩니다.

SELECT 
    m.ks, 
    m.time, 
    m.val1, 
    n.val1 as next_val1, 
    m.val2, 
    n.val2 as next_val2 
FROM 
    myTable m 
LEFT OUTER JOIN 
    myTable n 
ON (
    m.ks = n.ks 
AND 
    m.time + 1 = n.time 
); 

다음을 반환합니다.

ks time val1 next_val1 val2 next_val2 
A 1  1  6   1  7 
A 2  6  6   7  7 
A 3  6  NULL  7  NULL 
B 1  3  10   5  12 
B 2  10 20   12 26 
B 3  20 NULL  26 NULL 

희망이 있습니다.

Answer 2

하이브 사용자 정의 맵/감소 기능을 사용하면 이와 유사한 쿼리를 해결하는 데 효과적이라는 것을 알았습니다. 그것은 입력의 집합을 고려하고 하나 이상의 결과로 "감소"할 수있는 기회를 제공합니다.

이 answer은 해결책을 설명합니다.

열쇠는 CLUSTER BY을 사용하여 유사한 키 값을 가진 모든 결과를 동일한 감속기에 전송하므로 동일한 축소 스크립트를 사용하고 그에 따라 수집 한 다음 키가 변경되면 축소 된 결과를 출력하고 새 키를 수집하기 시작합니다 .