U-SQL : 사용자 지정 출력기의 모든 열에 데이터베이스의 데이터 추가

Question

csv 파일의 일괄 처리를 처리하는 U-SQL 스크립트가 있습니다. 가상 컬럼을 사용하여 각 파일의 제품 ID를 검색하고 있습니다. 읽히는 모든 파일에는 동일한 제품 ID가 있습니다.

사용자 지정 출력기에서 제품 ID를 기반으로 메타 정보를 검색하는 데이터베이스에 연결했습니다. 이것은 작동하지만 db에 대한 호출은 모든 파일에 대해 수행됩니다 (예상되는 동작 임).

그러나 한 번만 실행되고 모든 파일의 출력에 추가되는 전역 기능을 만들 수 있습니까? 모든 파일이 동일한 제품 ID를 가지고 있기 때문에 이것은 나를 위해 작동 할 것입니다.

Answer 1

늦게 답장을 드려 죄송합니다. 당신이 성취하려는 것을 분명히하지 못합니다.

먼저 사용자 코드가 컨테이너 경계를 넘을 수 없으므로 코드가 클러스터에 배포되면 실행되지 않습니다 (자세한 내용은 Does U-SQL allow custom code to call external services 참조).

두 번째로, U-SQL 스크립트는 선언적 쿼리입니다. 따라서 결과의 중간 스냅 샷이 없습니다. "전역"함수가 해당 쿼리의 일부이고 작업 그래프의 올바른 위치에서 한 번만 실행하면 그렇게 할 수 있습니다. 그러나 당신이하고 싶은 것에 대한 세부 사항을 알지 못하면 조언을하기가 어렵습니다.