U-SQL 준비 시간을 최소화 할 수있는 방법이 있습니까?

Question

U-SQL 작업 준비 시간은 약 30 초입니다. 그것을 낮출 수 있습니까? 다음과 같이

내 코드는 다음과 같습니다

USE DATABASE x; 
USE SCHEMA y; 

@results = SELECT RowKey 
FROM y.tableName 
WHERE USQLApplication2.queryHelper.func().Contains(PartitionKey) AND TimestampTicks < new System.DateTime(2016,12,30).Ticks 
     AND TimestampTicks > new System.DateTime(2016,12,29).Ticks; 
OUTPUT @results TO "/data/output.csv" 
USING Outputters.Csv(); 

Answer 1

준비 시간은 주로 스크립트의 컴파일, 최적화 및 코드 생성으로 구성되어 있습니다. U-SQL은 현재 일괄 처리 모드로 실행되기 때문에 대용량 데이터에 대한 런타임을 단축하기 위해 시스템은 준비 중에 시간을 소비하도록 최적화되어 있습니다.

제공된 스크립트를 기반으로 사용자 정의 함수를 호출하면 준비 시간이 늘어날 것으로 생각됩니다. 함수 호출을 인라이닝하는 것이 그 단계에서 시간을 절약 할 수 있다면 팀과 점검하겠습니다.

편집 : 다른 스레드에서 질문에 따라 크게 파티션 된 테이블이있는 것 같습니다. 그게 맞다면, 파티션과 유니온에 접근하기위한 컴파일이 준비 시간에 추가 될 것입니다. 우리는 그 측면을 개선하기위한 백 로그 항목이 있습니다.