Apache flume elastic 검색 싱크를 추가하십시오.

Question

Apache flume을 사용하고 싶습니다. 고니에 탄성 검색 원시 싱크를 사용하고 싶습니다. 이 원시 싱크를 사용하려면 어떻게 cygnus를 구성 할 수 있습니까?

# Name the components on this agent 
a1.sources = r1 
a1.sinks = k1 
a1.channels = c1 

# Describe/configure the source 
a1.sources.r1.type = netcat 
a1.sources.r1.bind = localhost 
a1.sources.r1.port = 44444 

# Describe the sink 
a1.sinks.k1.type = logger 

# Use a channel which buffers events in memory 
a1.channels.c1.type = memory 
a1.channels.c1.capacity = 1000 
a1.channels.c1.transactionCapacity = 100 

# Bind the source and sink to the channel 
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1 

을하고 내가 니 - ngsi 에이전트에 대한 두 개의 니 예를 하나를 시작하고 탄성 검색 기본에 대한 다른 :

내가 아파치 수로의 lib에 기본 jar file을 넣고 folowing로 에이전트를 구성 수행 싱크대? cygnus 인스턴스를 실행하는 방법을 찾을 수 없습니다. (리눅스 서비스를 시작할 수 없도록 소스에서 cygnus를 설치했습니다)

그리고 cygnus-ngsi와이 새로운 싱크에 같은 소스를 사용할 수 있습니까? ? 두 가지 모두에 대해 동일한 출처가 필요하기 때문입니다.

감사합니다.

Answer 1

Cygnus는 Apache Flume을 기반으로하며 모든 Flume 라이브러리를 설치합니다. 즉, 원하는 경우 Cygnus를 순수 Flume 에이전트로 사용할 수도 있습니다. 즉, Cygnus는 Apache Flume의 확장입니다.

따라서 Cygnus에서 기본 싱크를 사용하는 것은 구성의 문제 일뿐입니다. ElasticSearchSink의 특정 경우에, 단순히 documentation 다음과 같습니다 소스에 관한

이

cygnusngsi.sinks = elastic-sink <other_flume_sinks> <other_cygnus_sinks> 
cygnusngsi.channels = elastic-channel <other_channels> 
... 
cygnusngsi.sinks.elastic-sink.type = elasticsearch 
cygnusngsi.sinks.elastic-sink.hostNames = 127.0.0.1:9200,127.0.0.2:9300 
cygnusngsi.sinks.elastic-sink.indexName = foo_index 
cygnusngsi.sinks.elastic-sink.indexType = bar_type 
cygnusngsi.sinks.elastic-sink.clusterName = foobar_cluster 
cygnusngsi.sinks.elastic-sink.batchSize = 500 
cygnusngsi.sinks.elastic-sink.ttl = 5d 
cygnusngsi.sinks.elastic-sink.serializer = org.apache.flume.sink.elasticsearch.ElasticSearchDynamicSerializer 
cygnusngsi.sinks.elastic-sink.channel = elastic-channel 

, 단일 에이전트 구성에 하나 이상의를 구성하고 전용 채널을 통해 다른 싱크에 각 소스를 연결할 수 있습니다. 개략적으로 :

source1 --- channel1 --- sink1 
source2 --- channel2 --- sink2 

두 싱크 모두 동일한 소스를 사용할 수 있습니다. 이 경우 두 개의 싱크를 두 개의 전용 채널을 통해 단일 소스에 연결해야하며 복제 채널 선택기 (이를 구성 할 필요가 없습니다. 이것이 기본 동작 임)는 들어오는 NGSI 알림 사본을 만듭니다. 각 채널. 도식적으로 :

  ___ channel1 --- sink1 
source__/
     \___ channel2 --- sink2