1
카프카 소비자 부분의 스파크 스트리밍에서 소비 된 레코드를 정렬해야합니다. 카프카 소비자가 소비하는 모든 출판 기록을 아는 것이 가능합니까?카프카 소비자는 주제에서받은 모든 메시지를 알아야합니다.
A
답변
0
KafkaConsumer#endOffsets(...)을 사용하면 현재 파티션의 끝 부분의 오프셋을 가져올 수 있습니다. 물론 새로운 데이터가 소비자에 의해 작성되는 한 로그의 끝은 이동한다는 것을 명심하십시오. 따라서 "끝 오프셋"을 얻으려면 실행중인 생산자가 없음을 확인해야합니다.
+0
감사합니다. Matthias, 친절하게도 스트리밍 중입니다. 따라서 제작자는 지속적으로 실행됩니다. – Rajan
+0
생산자가 지속적으로 실행중인 경우, 처음에는 질문을 이해할 수 없습니다 ... 새 메시지를 로그에 영구적으로 추가하는 경우 어떻게 "게시 된 모든 레코드가 소비되는지 확인"을 정의 하시겠습니까? –
카프카 항목에서 소비 된 모든 오프셋을 볼 수 있는지 알고 싶습니까? –