Cloudera Manager를 사용하여 단일 노드에서 여러 Flume 에이전트를 실행하는 방법은 무엇입니까?

Question

Flume을 CDH5.8.0 클러스터에 설치했습니다. flume 에이전트는 Flume 태스크가 실행되는 단일 노드에 있습니다. 나는 별도의 구성 파일과 함께 flume을 통해 두 개의 sepate 데이터 처리를 실행하는 Linux 터미널을 사용합니다.

Cloudera Manager를 통해 두 처리 프로세스를 모두 모니터링하고 싶습니다. CM의 flume configuration panel은 사용자 정의 conf 속성을 추가하는 옵션을 제공하지만 이것은 단일 flume agent를위한 것입니다.

CM을 통해 동일한 호스트의 다른 수로 에이전트를 추가 할 수 없습니다. Cloudera Manager를 사용하여 섭취 프로세스를 모두 모니터링하려면 어떻게해야합니까?

Answer 1

하나의 Flume 에이전트 만 모니터링 할 수있는 경우 하나의 Flume 에이전트 (모니터 할 수있는 에이전트)를 실행하기 위해 두 개의 에이전트 구성 파일을 병합 할 수 있다고 생각합니다.

당신은 당신이 원하는만큼 소스 채널과 싱크를 선언 할 수

a1.sources = r1 r2 
a1.sinks = k1 k2 
a1.channels = c1 c2 

을 그리고 적절하게 결합 :

a1.sources.r1.channels = c1 
a1.sources.r2.channels = c2 
... 
a1.sinks.k1.channel = c1 
a1.sinks.k2.channel = c2