Azure Data Lake Store 및 WebJob/Azure 기능이있는 Azure SQL

Question

Azure Data Lake에 WEB API 응답 파일을 업로드해야합니다. 그런 다음이 파일을 Azure SQL 테이블에 덤프해야합니다.

위의 두 프로세스는 시간별로 실행되도록 예약해야합니다. Azure Web Jobs 또는 Azure 기능을 사용해야합니까?

Answer 1

Azure Functions for Consumption 계획을 실행중인 경우 함수 호출은 5 분 이내에 완료해야합니다. 이는 큰 데이터 세트로는 충분하지 않을 수 있습니다.

나머지 기능 및 웹 작업은 해당 시나리오에서 비슷합니다. 기능은 실제로 웹 작업 위에 실행됩니다. 함수의 고급 기능 (예 : 바인딩)이 필요하지 않으면 작업을 수행 할 것입니다.

Answer 2

아마도 Azure Data Factory가이 반복적 인 시간별 파이프 라인을 구동하는 더 좋은 메커니즘 일 것입니다. 자세한 내용은 여기.

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution