9
많은 독자가이 버퍼에서 독립적으로 소비하는 동안 (계속해서 write-once-read-many/WORM) 버퍼에 앱을 계속 추가하고 있습니다. 처음에는 Apache Kafka를 사용하려고 생각했지만 AWS Kinesis Streams + KCL을 조사하기 시작한 as-a-service 옵션을 선호 했으므로이 작업을 수행 할 수있을 것 같습니다.Google Cloud Platform의 Kafka/AWS 키네시스 스트림에 해당합니다.
기본적으로 필자는 순서 (모든 독자가 동일한 순서로 이벤트를 읽어야 함)와 독자가 앞으로 소비하기 시작하는 버퍼에서 오프셋을 선택할 수있는 기능이 필요합니다.
이제 Google Cloud Platform도 평가 중입니다. 내가 설명서를 읽고있다으로 구글 팝/서브는 AWS 운동성 스트림에 동등으로 제안되어 보이지만,보다 상세한 수준에서이 제품은 다른 많은 것 :
파편 내부에 주문- 운동성을 보장 반면, Pub/Sub 주문은 최선의 노력을 기울이고 있습니다.
- Kinesis는 읽기 시작 위치를 선택하기 위해 오프셋을 사용할 수있는 모든 버퍼 (최대 7 일로 제한됨)를 보유하고 있지만 PubSub에서는 가입 후 메시지 만 영수증에 사용할 수 있습니다.
내가 제대로 얻은 경우 PubSub는 키네시스 동등 물로 간주 될 수 없습니다. 아마도 Google 데이터 흐름과 함께 사용한다면? 나는 아직도 어떻게 볼 수없는 것을 고백해야한다.
그래서 PubSub가 Kinesis의 대안입니까? 그렇지 않은 경우 내 요구 사항을 충족하는 Google Cloud 제품이 있습니까?
감사합니다.
그게 내가 볼 수있는 것입니다. PubSub + DataFlow (약) Kinesis와 동일하지 않습니다. 필자는 Kinesis를 광범위하게 사용했지만 pubsub 및 Dataflow와 같은 설명서 또는 기능은 보지 못했습니다. 그들은 조금 멀었을지도 모른다. – Kannaiyan
https://cloud.google.com/blog/big-data/2016/09/apache-kafka-for-gcp-users-connectors-for-pubsub-dataflow-and-bigquery의 게시물로 인해 더 혼란스러워. PubSub가 Kafka의 대안이라는 것을 함축적으로 암시하지만, 여전히 동일한 기능을 보지 못합니다. – Renan
Pub/Sub를 사용하면 메시지 페이로드에 주문 정보를 추가해야합니다. 이는 귀하의 신청서에 문제가 될 수도 있고 아닐 수도 있습니다. – gdahlm