동적 (스케일 업/다운) 카프카 클러스터 모니터링

Question

카프카 클러스터를 사용하고 있으며이 클러스터를 모니터하고 싶습니다.

현재 우리의 접근 방식 :

1. 수집 JMX 메트릭 (telegraf jolokia plugin 또는 jmxtrans) 유입
2. 에
3. 상점은 grafana

를 통해 렌더링하지만 우리는 카프카의 정적 구성의 문제에 직면 브로커의 목록. Jmxtrans 또는 Telegraf jolokia plugin을 통해 정적 목록 만 구성 할 수 있습니다.

kafka의 대소 문자를 늘리거나/내릴 때 동적 목록 (예 : 수집 메트릭의 반복마다 브로커 목록을 가져 오는 kafka 클러스터 사육사 연결 만 구성)을 원합니다.

동적 카프카 클러스터 모니터링을위한 다른 도구가있을 수 있습니까? 다음

Answer 1

내 마지막 솔루션 :

을 (:) 내가 플러그인 입력을 이동 한 사용자와 자신의 telegraf를 구축하지 않고 내가 잘 지금 언어를하지 알고 있기 때문에)

1. 사용자 정의 bash는 입력 플러그인 bash 플러그인에서 zkCli은 모든 kafka 노드 검색에 사용됩니다.
2. 다음 bash 스크립트 게시물 bulk각 카프카 노드에 대한 리 세트, 유입 및 유입 플럭인 플러그인.