스트림 분석 작업 참조 데이터가 중복 생성 됨

Question

스트리밍 분석을 사용하여 스트리밍 데이터 (IoT 허브를 통해)와 참조 데이터 (BLOB 저장소를 통해)를 결합합니다. 참조 데이터 blob 파일은 최신 데이터로 매분마다 생성되며 "filename- {date} {time} .csv"형식입니다. 참조 blob 파일 데이터는 Azure Machine Learning 기능에서 SA 작업의 매개 변수로 사용됩니다. 스트림 분석 작업 (Azure SQL 또는 Power BI)의 출력은 Azure Machine Learning 기능의 출력에 대해 하나가 아닌 여러 행을 생성하는 것처럼 보입니다. 이전의 blob 파일의 매개 변수 값 각각에 대해 하나씩. 내 이해는 최신 BLOB 파일 내용 만 사용해야하지만 모든 BLOB 파일을 사용하고 AML 출력에서 ​​여러 행을 생성하는 것처럼 보입니다. 여기에 내가 사용하고있는 쿼리입니다.

SELECT AMLFunction (Ref.Input1, Ref.Input2), * IoTInput 스트림 왼쪽에서이 가입 RefBlobInput 참조 ON Stream.DeviceId = 참고 [의 DeviceID]

하세요 레코드 중복을 피하기 위해 쿼리 또는 파일 경로를 변경해야하는 경우 조언을받을 수 있습니까? 감사합니다

Answer 1

최신 파일 만 적용하려면 특정 폴더 구조로 파일을 저장해야합니다.

메모 다운이있는 경우 참조 데이터 파일을 스트림 입력으로 선택할 때마다; 스트림 입력 대화 상자는 날짜 및 시간 형식과 함께 폴더 구조를 묻습니다.

스트림은 항상 최신 {date}/{time} 폴더에서 참조 파일을 검색합니다. 30/filename.json (YYYY-MM-DD/HH-mm/filename.json)

참고 : 즉, 당신은 같은 파일을 저장하기 위해

2018년 1월 25일/07를 필요로 여기에 시간을 폴더는 매분마다 고유해야합니다. 날짜 폴더는 날짜와 동일해야합니다. 새 파일을 만들 때마다 새 타임 스탬프 폴더와 현재 날짜 폴더 아래에 새 파일을 만듭니다.

스트림 입력이 지원하는 모든 datetime 형식을 사용할 수 있습니다.