다른 주제에 카프카 매칭 데이터를 보내는 방법

Question

다른 주제에서 주제 1과 주제 2 사이에서 일치하는 데이터를 푸시하는 방법 3? 생산자에서 소비자로 메시지를 보낼 때 ?

Answer 1

나는 스파크과 협력하지 않은하지만 난 아파치 스톰 관점 당신에게 어떤 방향 양식을 제공 할 수 있습니다

Apache Storm

1. 항목 1 및 에서 소모 각을 분출이 카프카와 토폴로지를 구축 주제 2

2. 이 데이터는 볼트 및 컴 데이터입니다. 단일 볼트 또는 일련의 연속 볼트를 사용할 수 있습니다. 일부 지속성을 사용해야 할 수도 있습니다.Send data to kafka from Storm using kafka bolt

이 매우 Apache Storm 특정 솔루션 등

밀어에게 비교 논리에 새로운 카프카 주제에 대한 공통의 데이터를 따라 redis 또는 memcache로 mongodb 또는 뭔가, 가장 이상적인하지 않을 수 있습니다 또는 적합 또는 효율적인 하나,하지만 일반적인 생각을 제공하는 것을 목표로

다음은 폭풍의 기본 개념에 대한 링크입니다.

Answer 2

저는 6 개월 동안 Spark과 협력 해 왔으며, 가능합니다. 솔직히 말하면, 상당히 간단합니다. 그러나 스파크를 가하는 것은이 문제에 대해 다소 과장된 것입니다. Kafka Streams는 어떻습니까? 나는 그 (것)들과 결코 일하지 않으며, 그러나 이것은이 문제를 정확하게 해결하지 않아야 하는가?

spark를 사용하려면 : Spark Kafka 통합 (전 spark-streaming-kafka-0-10 사용)을 사용하여 데이터를 소비하고 생산하는 것은 매우 간단합니다. Spark Streaming Api가 문서에서 찾을 수 있습니다.

2 개의 DStream에 대한 간단한 결합으로 문제를 해결할 수 있습니다. u가 일치하지 않는 데이터를 저장하려는 경우 창을 열거 나 UpdateStateByKey 함수를 사용할 수 있습니다. 나는 그것이 누군가를 돕기를 바랍니다. 행운을 빕니다 :)