0
기록이 HDFS에 기록되기 전에 Flume에 대한 샘플링 속도를 지정할 수 있습니까? 어떤 flume sink를 설정했는지, 아니면 샘플링을 위해 Flume 인터셉터를 직접 작성해야합니까? Apache Flume 사용자 안내서 페이지에서 문서를 찾을 수 없습니다.Apache Flume 샘플링 속도
A
답변
1
예는 HDFS에 배치 크기를 지정하여 그것을 달성 할 수있는 싱크 :
hdfs.batchSize = 100 // 100 is the default.
또한 당신도 충분한 크기의 채널 용량을 지정할 수 있는지 확인해야합니다.
고마워요.하지만 데이터를 무작위로 샘플링한다고 가정하면, batchSize는 그렇게 할 수 없습니까? – anonymous123
인터셉터를 사용하여 구현할 수 있습니다 - RgexInterceptor는 이벤트를 필터링하는 예제이지만 다른 구현은이를 수행합니다. –