1
내 카프카 클라이언트가 자동 축척을 사용하는 GCP App Engine Flex 환경에서 실행됩니다. GCP는 인스턴스 카운트를 2 이상으로 유지하며 CPU 사용량이 적기 때문에 대부분 2였습니다. 이 2 개의 VM을 실행중인 소비자 그룹은 몇 달 동안 20 개의 파티션에서 다양한 주제의 메시지를 소비했으며 최근에는 이전 주제의 파티션이 1로 축소되었고 해당 소비자 그룹의 오프셋은 0으로 재설정되었습니다. topic- [파티션] 디렉토리도 kafka-logs 디렉토리에서 사라졌습니다. 이상하게도 최근 작성된 주제 파티션은 그대로 유지됩니다. 나는 3 개의 다른 환경 (모두 GCP에 있음)을 가지고 있으며, 이것이 모두 3 번 발생했습니다. 잃어버린 메시지 나 데이터 문제는 보이지 않았지만 이런 일이 다시 발생하지 않도록 어떤 일이 있었는지 이해하고 싶습니다.카프카 파티션 및 오프셋이 사라졌습니다.
kafka 브로커 및 사육사가 동일하고 단일 GCP 컴퓨팅 엔진 인스턴스에서 실행되고 있습니다. (최선의 방법은 아니며 개선 계획이 있음을 알고 있습니다.) 컴퓨터 재시동과 관련이 있으며 일부는 삭제되는 것으로 의심됩니다. 정보. 그러나 데이터 파일이/opt/bitnami/(kafka | bitnami) 디렉토리 아래에 작성되었으며/tmp가 아니라는 것을 확인했습니다.이 파일은 시스템을 재시작하여 제거 할 수 있습니다.
- 봄 카프카 1.1.3 이에
- 카프카 클라이언트 0.10.1.1
- 단일 노드 카프카 브로커 0.10.1.0
- 단일 노드 사육사 3.4.9
모든 통찰력이 될 것입니다 고맙다!
[tag : spring-kafka]와 (과) 무슨 관련이 있습니까? –
저는 spring-kafka를 사용하여 메시지를 생성하고 소비합니다. 방금 의견과 전망을 얻기를 바랐습니다. 위에서 설명한 증상과는 아무런 관련이 없다면 제거해야합니다. – nanaboo
이것을 재현 할 수있었습니다. 브로커 VM을 다시 시작하면 파티션 수는 '1'로 떨어지고 오프셋은 '0'으로 시작됩니다. 그래서 브로커 서버 구성/시작 프로세스 문제가 나타납니다. {spring- [kafka} -client]가 꺼져 있습니다. 게리, 거짓 경보로 유감이야. 태그 – nanaboo