많은 양의 데이터를 처리하는 데 AWS 단계 함수를 사용 하시겠습니까?

Question

CSV 파일에서 많은 양의 데이터를 처리하는 데 AWS 단계 함수를 사용하려고하지만 이것이 최선의 선택인지는 확실하지 않습니다.

사례 : - 많은 양의 줄 (50K와 같이)이있는 CSV를 업로드하고 각 줄마다 작은 특성을 처리합니다 (각 특성은 람다 함수로 처리됩니다). 현재 CSV의 각 줄을 DynamoDB에 삽입하고 각 줄마다 람다 함수를 시작하는 것이 가장 좋습니다.

이 점에 대해 어떻게 생각하십니까?

Answer 1

람다가있는 대용량 파일을 처리 할 패턴이 여러 개 있습니다.

• 하나의 접근법은 큰 파일을 분할하고 작업자 람다 함수에 부분을 위임하는 것입니다.
• 부품의 처리 단계가 복잡하면 여러 단계 기능 워크 플로우를 트리거 할 수 있습니다.

제안 된 접근 방식에서 각 항목 처리가 충분히 큰 경우 항목별로 처리하는 것이 좋지만 일반적으로 일괄 처리하는 것이 더 효율적입니다.