무엇을 사용해야합니까 : Kafka Stream 또는 Kafka 소비자 API 또는 Kafka 연결

Question

Kafka 스트림 또는 Kafka 소비자 API 또는 Kafka 연결에 대한 내게 가장 좋은 것이 무엇인지 알고 싶습니다.

주제에서 데이터를 읽은 다음 일부 처리를 수행하고 데이터베이스에 쓰기를 원합니다. 그래서 나는 소비자를 만들었지 만 Kafka 스트림 어플리케이션을 작성하고 변경을 수행하고 내 소비자 코드를 제거하고 db 코드를 작성해야하는 데이터베이스에 그것을 쓰는 Stateful 프로세서를 사용할 수 있다고 생각합니다. 내 기록을 삽입 할

데이터베이스는 다음과 같습니다 HDFS - (원시 JSON을 삽입) MSSQL이 - (처리 JSON)

또 다른 옵션은 카프카가 연결되어 있지만 내가 찾은의 어떠한 JSON 지원은 이제 없다 hdfs 싱크 및 jdbc 싱크 커넥터. (나는 avro로 쓰고 싶지 않다.) 그리고 스키마를 생성하는 것은 복잡한 중첩 된 메시지의 고통이다.

또는 사용자 정의 Kafka를 작성하여 연결해야합니다.

Kafka 소비자 또는 Kafka 스트림이나 Kafka를 연결해야하는지에 대한 의견이 필요합니까? 성능면에서 무엇이 좋고 오버 헤드가 적습니까?

Answer 1

스택 오버플로에 오신 것을 환영합니다! 제발 챙겨주세요 https://stackoverflow.com/tour

의견을 묻지 말고 정확한 질문을 올리십시오. 사이트가 명확 해지고 의견이 답변이되지 않으며 모든 사람의 선호도에 따라 달라집니다. "Kafka-connect with json"사용 방법 - 또는이 사이트에 적합 할 것입니다.

또한 조사해주십시오.

---

적은 오버 헤드가 카프카 소비자 것 - 카프카 스트림과 항상 적은 오버 헤드를 할 수 있도록 카프카를 사용 카프카 소비자를 연결뿐만 아니라 사용의 용이 실패에 대한 관용의 모든 혜택을 (잃게됩니다, 지원 , etc.)

첫째, 귀하의 처리 내용에 따라 다릅니다. 집합? 계산? 확인? 그런 다음 카프카 스트림을 사용하여 처리를 수행하고 원하는 형식으로 새 주제에 결과를 쓸 수 있습니다.

그런 다음 kafka connect를 사용하여 데이터를 데이터베이스로 보낼 수 있습니다. 당신은, 당신은 키/값에 대한 다른 형식을 사용

Kafka Connect HDFS Sink for JSON format using JsonConverter

Kafka Connect not outputting JSON