1

최근 RDS MySQL에서 거의 실시간 즉 5 초 이내에 데이터를 가져올 수있는 메커니즘을 구축하라는 요청을 받았습니다. ~ 5 분. Lambda, Flydata 및 Data Pipelines를 읽은 후 AWS 데이터 파이프 라인을 선택했습니다. 많은 포럼에서 거의 실시간 데이터 처리와 관련하여 그 이름을 언급했습니다.AWS DataPipeline Scheduling에서 최소 15 분 간격의 로직은 무엇입니까?

AWS 데이터 파이프 라인을 사용하면 작업을 예약하여 스케줄링 옵션을 선택하고 매 2 분마다 실행하도록 설정할 수 있습니다.

enter image description here

다음은 추한 부분을 온다. 그것은 또한 간격 기간을 설정하라고 나에게 물었다 !! 이는 15 분보다 커야합니다. 왜 그러 겠어? 실시간에 가깝지 않니? 이제 파이프 라인을 실행했을 때이 기능이 작동했습니다. (15 분 간격으로 설정 한 후) enter image description here

어떻게 실시간에 가까워 야합니까 ?? 내 말은 AWS는 거의 실시간으로 을 초 단위로 나타냅니다. 또는 적어도 일부 분이지만 15-17 분은 나에게 큰 도움이됩니다. 누군가 그 문제를 어떻게 극복 할 수 있는지 말해 줄 수 있습니까? 여러 파이프 라인을 계획하고 전제 조건을 설정하는 방법에 대해 생각했지만 제대로 작동하는지 확신 할 수 없습니다. 제발 도와주세요 ...

+0

이 내용을 읽었습니까? https://blogs.aws.amazon.com/bigdata/post/Tx37EJ2IDFXITB2/Int-Demand-Pipeline-Execution-in-AWS-Data-Pipeline –

답변

0

실시간 데이터 작업에 Amazon Kinesis를 권하고 싶습니다.

https://aws.amazon.com/kinesis/firehose/

+0

그런 식으로 RDS를 폴링 할 응용 프로그램을 만들어야합니다. 매분마다 새로운 데이터가 왔는지 확인한 다음 키네시스 스트림으로 보냅니다. 지금 애플리케이션 개발에 참여하고 싶지 않은 경우 어떻게해야합니까? – Samhash