아파치 수로 - 카프카 싱크 프로듀서 중복 메시지

Question

우리는 flume-kafka-sink와 이상한 문제를 충족했습니다는 kafka 브로커는 kafka 설명서, producer.sinks.r.request.required.acks = 1에 대한 할당량을 여러 번하고 생산 중복 메시지 (매 50 기록은 동일),하지만 설정을 실패 "이 옵션은 가장 낮은 대기 시간을 제공하지만 가장 약한 내구성을 보장합니다 (서버가 고장 나면 일부 데이터가 손실됩니다). ", 중복 데이터를 생성 할 수 없습니까? 이는 flume 또는 flume-kafka-sink으로 인한 문제를 의미합니까?

Answer 1

Flume-Kafka-Sink는 일괄 적으로 메시지 일괄 처리를 생성하고 일부 실패 쓰기 후에 다시 시도합니다. 일부 브로커가 실패하는 동안 일부 파티션 관리자는 연결할 수 없습니다. 일괄 쓰기가 발생하면 일부 구문 분석은 성공하지만 Flume-Kafka-Sink가 다시 시도 할 때 성공하지 못하면 성공한 부분이 복제됩니다.