압축 된 데이터를 Azure Stream Analytics로 보내는 방법은 무엇입니까?

Question

장치에서 데이터를 수집하고 JSON 형식의 데이터를 Azure Eventhub로 보내는 시스템이 있습니다. Azure 스트림 분석 스트림이 있습니다.이 스트림은 이벤트 허브에서 데이터를 가져와 PowerBI로 출력합니다. 매초마다 데이터를 보냅니다. 때때로 인터넷 연결이 끊어지고 시스템이 장치에서 데이터를 수집하는 경우가 있습니다. 인터넷 연결이 다시 시작되면 수집 된 모든 데이터가 eventhub로 전송됩니다. 전송하기 전에 데이터를 압축하거나 압축하고 싶습니다.

하지만 스트림 분석 입력 형식은 JSON, CVS 또는 Avro뿐입니다. 압축 된 Json은 자동으로 압축 해제됩니까? 아니면 압축 된 데이터를 Azure 스트림 분석으로 보낼 수 없습니까?

Answer 1

Azure Stream Analytics는 입력 데이터 압축 해제를 지원하지 않습니다.

감사합니다, 카티 Iceva

Answer 2

브로 당신이 행의 무리를 보내야 할 때 (JSON) 데이터를 압축 할 수있는 좋은 방법입니다.

감사

필립

Answer 3

브로 ... 다소 압축이다. 페이로드는 Deflate로 압축됩니다. 그러나 메시지 스키마는 압축되지 않은 형태로 포함됩니다. 경우에 따라 단일 이벤트의 스키마가 페이로드보다 클 수 있습니다. 각 메시지와 함께 보내는 동일한 유형의 이벤트가 많을수록 Avro에서 더 많은 이점을 얻을 수 있습니다.

매우 작은 이벤트를 보내고 페이로드 크기와 관련이있는 경우 Azure 기능이나 WebJob과 같은 것을 사용하여 자체 압축을 수행하고 "원시"이벤트 허브에서 끌어 압축을 해제하는 것이 더 적합 할 수 있습니다 그런 다음 스트림 분석에서들을 수있는 "압축 해제 된"이벤트 허브에 제출하십시오.