하나의 Kinesis 스트림에서 Redshift의 여러 테이블로 데이터 스트리밍

Question

다른 제작자의 Kinesis 스트림으로 들어오는 데이터가 있습니다. 데이터 유형에 따라 데이터를 여러 테이블로 변환해야합니다. 나는 Kinesis Streams에서 Lambda를 읽으려고하고 데이터를 다른 테이블로 변환 한 다음 Kinesis Firehose를 사용하여 Redshift로 배치하고 COPY합니다.

그러나 Firehose는 한 번에 하나의 Redhsift 테이블에만 전달할 수 있기 때문에 Redhift 스키마에있는 테이블 수와 동일한 여러 Firehose 인스턴스를 실행해야합니다. 나는 영역 당 20 Firehose 인스턴스의 기본 뚜껑이 있고 이것이 내가 성취하려는 것을위한 이상적인 데이터 파이프 라인인지 궁금해하고 있습니다.

Answer 1

나는 당신과 비슷한 거의 비슷한 데이터 파이프 라인을 설계했습니다. 나는 kinesis에서 데이터를 얻고, 적색 변이에 도달 한 후 데이터를 변환합니다. 1 스트림의 모든 데이터는 redshift에서 하나의 마스터 테이블로 이동합니다. 그런 다음 데이터를 다른 테이블로 변환하는 cron 작업을 실행합니다.

잘못된 가정을 한 경우 의견을 보내 주시면 답변을 다시 작성하겠습니다.