카프카 : 소비자가 주제의 레코드를 읽을 수 없습니다.

Question

카프카 스트림을 사용하여 싱크 주제에 데이터를 쓰고 있습니다. 싱크대에 데이터가 있는지 확인하기 위해 avro-consumer 명령 줄을 실행 중입니다.

bin/kafka-avro-console-consumer --topic sink.output.topic --from-beginning - 새로운 소비자 - 부트 스트랩 서버

kafka 스트림 응용 프로그램이 실행되는 동안 동시에 소비자를 실행할 때 데이터가 표시되지만 소비자를 중지하고 몇 분 후에 다시 실행하면 데이터가 표시되지 않습니다. . 몇 가지 가능성 :

1) 카프카 스트림이 레코드를 싱크하도록 푸시 할 때마다 출력 항목의 레코드를 지우고 있기 때문에 1입니까?

2) 아니면 그냥 소비자 관련 문제입니까?

Answer 1

소비자가 아직 오프셋을 설정하지 않은 경우에만 --from-beginning이 사용되기 때문입니다. 대신 --offset earliest을 사용해 보셨습니까?