BLOB 입력으로 느린 스트림 분석

Question

BLOB와 함께 스트림 분석을 입력으로 사용하고 Azure SQL 데이터베이스에 쓰는 솔루션을 상속 받았습니다.

처음에는 솔루션이 정상적으로 작동했지만 컨테이너에 수백만 개의 얼룩을 추가 한 후에 (오래된 얼룩을 삭제하지 않음) Stream 애널리틱스는 새로운 얼룩을 처리하는 속도가 느립니다. 또한 일부 얼룩이 놓치거나 건너 뛴 것처럼 보입니다.

질문 : 스트림 분석은 컨테이너에 새로운 얼룩이 있음을 어떻게 알 수 있습니까?

EventGrid 이전에는 Blob 저장소에 스트림 분석에서 새 BLOB를 처리해야한다는 것을 알려주는 푸시 알림 메커니즘이 없었기 때문에 스트림 애널리틱스가 컨테이너를 폴링하여 BLOB 목록을 가져오고 있다고 가정합니다. CloudBlobContainer.ListBlobs()과 같은 것으로), blob의 목록을 내부적으로 저장하여 다시 폴링 할 때 새 목록을 이전 목록과 비교하고 어떤 blob이 새롭고 처리되어야 하는지를 알 수 있도록합니다.

documentation 상태 :

스트림 웹 로그 분석, 한 번만

그러나 각각의 파일을 볼 것은 주 외에, 나는 스트림 웹 로그 분석에 어떤 얼룩이 알고있는 방법을 설명하는 다른 문서를 보지 못했다 방법.

Answer 1

ASA는 BLOB 목록을 가져 오기 위해 목록 BLOB를 사용합니다.

블롭 경로를 날짜 시간 패턴으로 분할 할 수 있다면 더 좋을 것입니다. ASA는 날짜 패턴없이 새로운 얼룩을 발견 할 수있는 특정 경로 만 나열하면 모든 얼룩을 나열해야합니다. 이것은 방대한 수의 얼룩으로 인해 속도가 느려지는 이유 일 것입니다.