2017-04-06 7 views
0

나는 카프카의 초보자입니다. 카프카 문서를 한 눈에 보았습니다. 구독하는 소비자 그룹에 전달되는 메시지는 파티션을 소비자 인스턴스에 바인딩하여 구현되는 것으로 보입니다.카프카 소비자 그룹의 문제

Apache Kafka와 함께 작업 할 때 기억해야 할 중요한 사항 중 하나는 동일한 소비자 그룹의 소비자 수가 소비 된 주제의 파티션 수보다 작거나 같아야한다는 것입니다. 그렇지 않으면 초과 소비자는 해당 주제의 메시지를받지 못합니다.

비 프로덕션 환경에서 토픽 파티션을 설정하지 않았습니다. 이 경우 Kafka에는 파티션이 하나만 존재합니다. 여러 소비자가 동일한 그룹을 공유하고 주제에 구독을 시작하면 그룹의 동일한 인스턴스로 메시지가 항상 전달됩니까? 즉, 소비자 그룹의 부하 분산 기능을 얻기 위해 주제를 분할해야합니까?

감사합니다.

답변

2

당신은 틀림없이 옳습니다. Paralell에서 하나의 파티션을 처리 할 수 ​​없습니다 (하나의 소비자 그룹별로). 파티션을 원자 단위로 취급 할 수 있으며 분할 할 수 없습니다.

토픽별로 동일한 양의 파티션으로 비 prod 및 prod env를 구성하면 prod로 이동하기 전에 정확한 conumsers 수와 문제를 찾아내는 데 도움이됩니다.