저는 앱 로그 처리를위한 간단한 파이프 라인을 구성해야합니다. 이 파이프 라인의 전제 조건은 kafka를 전송 프로토콜로 사용하는 것입니다. 제가 알고 있듯이 flume에는 내장 된 로그 파일 수집 기능이 있습니다. flume을 제작자로 사용하고 출력을 카프카 항목으로 전달하는 방법이 있습니까?flume을 kafka 제작자로 로그 처리에 사용할 수 있습니까?
1
A
답변
2
예, Flume을 Kafka의 제작자로 사용할 수 있습니다. Flume에서 제공 한이 API를 살펴보십시오. https://flume.apache.org/releases/content/1.6.0/apidocs/org/apache/flume/sink/kafka/KafkaSink.html
0
예, 사용하실 수 있습니다. 이전 응답에 지정된대로.
# Sources, channels, and sinks are defined per
# agent name, in this case flume1.
flume1.sources = kafka-source-1
flume1.channels = hdfs-channel-1
flume1.sinks = hdfs-sink-1
# For each source, channel, and sink, set
# standard properties.
flume1.sources.kafka-source-1.type = org.apache.flume.source.kafka.KafkaSource
flume1.sources.kafka-source-1.zookeeperConnect = ...
:
그냥과 유사한 구성을 할 필요가 있음을 추가 할