카프카 스트림 : 여러 주제 파티션을위한 다중 스트림 응용 프로그램

Question

동일한 application.id와 싱크 주제가 서로 다른 2 개의 파티션과 2 개의 카프카 스트림 응용 프로그램이있는 입력 항목이 있습니다.

1) 두 응용 프로그램을 함께 시작하고 데이터 수신을 시작하지만 응용 프로그램 중 하나를 종료하면 다른 응용 프로그램이 계속 중단됩니다. | DEBUG [카프카 - 조정자 심박 스레드

[17,297 : 26 2017년 10월 8일 00 (FYI 소비자 설정 SESSION_TIMEOUT_MS_CONFIG 120000으로 설정했다) ] 그룹 test.joins의 하트 비트 요청을 코디네이터에게 보냄 : 9092 (ID : 2147483647 랙 : null) (org.apache.kafka.clients.consumer.internals.AbstractCoordinator) [2017-10-08 00 : 26 : 17,398 ] DEBUG [kafka-coordinator-heartbeat-thread | test.joins.hourly]

2) 어떻게 확신 할 수 test.joins.hourly 그룹의 성공 하트 비트 응답 (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)을받은 두 번째 응용 프로그램이 시작될 때 그 두 파티션 모두에서 레코드를 처리합니까? 어떻게 증명할 수 있습니까?

도와주세요!

Answer 1

"다른 하나가 붙어있다"는 것은 무엇을 의미합니까? 얼마나 오래 소비가 시작되기를 기다렸습니까?

두 경우 중 하나를 죽인 후에 클러스터가 소비자의 균형을 재조정하는 데 2 ​​분 정도 걸릴 수 있습니다. 그것은 또한 heartbeat.interval.ms에 달려 있습니다 - 작을수록 평균 재조정 시간이 짧아집니다.