카프카에서 업서트가 가능합니까? ElasticSearch에 연결하십시오.

Question

카프카에서 발생하는 이벤트가 있습니다. 이 이벤트들로부터 나는 카프카 스트림 어플리케이션을 사용하여 이드를 가져 와서 다른 주제의 (id, 1) 쌍으로 카프카에게 다시 게시합니다. 그런 다음 id가 ElasticSearch에 이미 있는지보고 싶습니다. 그렇다면 카운터를 업데이트하십시오. 그렇지 않으면 카프카의 ID와 1로 설정된 ElasticSearch의 새 레코드를 만듭니다. 즉 레코드의 업서 트 (id, 1) ES에.

나는 이것을 위해 EliteSearch에 Kafka Connect를 사용하고 싶었지만, 가능하다면 그렇게 간단하지는 않은 것으로 보인다. ES 작품에 레코드를 추가했지만 기존 레코드를 병합하는 것이 내가 아직 알지 못하는 것임을 알 수 있습니다. 이미 가능합니까? 그렇다면, 가까운 릴리스에서 어떻게 가능할 계획입니까?

Answer 1

Upsert가 허용되도록 datamountaineer ES sink connector을 포크했습니다. 이것으로 PK를 지정하고 docAsUpsert를 ES로 업데이트 할 수 있습니다. 프로젝트를 가져 와서 Jar 파일을 my github fork에서 컴파일 할 수 있습니다.