U-SQL 테이블에 데이터를 삽입하는 데 너무 오래 걸립니까?

Question

U-SQL 테이블에 데이터를 삽입하는 데 너무 많은 시간이 걸립니다. 우리는 분할 된 테이블을 사용하여 이전에 처리 된 데이터를 다시 계산합니다. 첫 번째 삽입은 11, 5 및 1 개의 파티션이있는 세 개의 테이블에서 약 10-12 분이 걸렸으며 병렬 처리는 10으로 설정되었습니다. 동일한 데이터를 두 번 삽입하면 거의 4 시간이 걸렸습니다. 현재 우리는 연도 기반 파티션을 사용하고 있습니다. 파티션을 추가하지 않고 삽입 및 쿼리를 테스트하여 성능이 훨씬 향상되었습니다. 파티션 된 테이블에 문제가 있습니까?

Answer 1

동일한 작업이 동일한 데이터 및 스크립트를 동일한 병렬 처리 수준으로 실행하는 데 훨씬 오래 걸리는 것은 매우 이상합니다. VisualStudio 내에서 작업 그래프 (또는 버텍스 실행 정보)를 보면 시간이 어디에서 소비되었는지 확인할 수 있습니까?

(굵은 입자) 파티션은 테이블의 개별 파티션을 주소 지정할 수있는 데이터 수명주기 관리 기능에 더 가깝지만 성능 향상 기능은 아님을 유의하십시오 (파티션 제거가 쿼리 성능에 도움이 될 수 있음). 그러나 동일한 스크립트, 리소스 및 데이터로 몇 분에서 몇 시간으로 진행해서는 안됩니다.