U-SQL 테이블에 중복을 피하는 방법

Question

파티션 추가/절단 이외의 U-SQL 테이블에서 중복 레코드를 추가하지 않도록하는 방법이 있습니까? 두 레코드 모두 고유 식별자 만 다르다고 가정 해 봅시다.

Answer 1

확장 성이 제한되어 U-SQL 테이블이 UNIQUE 제약 조건을 제공하지 않기 때문에 삽입하기 전에 고유 한 열에 ANTI SEMIJOIN을 사용하여 가능한 중복 된 데이터를 필터링해야합니다.

Answer 2

또한 파일에 고유 한 기록을 얻을 것이다 U-SQL 쿼리

@transactions = 
    SELECT *, 
    ROW_NUMBER() OVER(PARTITION BY Id ORDER BY Id DESC) AS RowNumber 
    FROM @searchlog; 

@result = 
    SELECT Id,Name,Description,Age 
    FROM @transactions 
    WHERE RowNumber == 1; 

이에 ROWNUMBER()를 사용할 수 있습니다.