flume-ng

0열

1답변

HDFS가 포함 된 Flume HTTP 소스를 싱크대로 테스트하고 있습니다. 아래는 사용 된 conf 파일입니다. httpagent.sources = httpsource httpagent.sinks = hdfs-file-sink httpagent.channels = ch3 httpagent.sources.httpsource.type = http h

1열

2답변

Apache Flume 대 Apache Flink의 차이점

일부 소스에서 데이터 스트림을 읽어야합니다 (내 경우에는 UDP 스트림이지만 중요하지 않아야 함). 각 레코드를 변환하여 HDFS에 씁니다. Flume 또는 Flink을 사용하는 경우에는 어떤 차이가 있습니까? 각 이벤트를 변환하기 위해 사용자 정의 인터셉터와 함께 Flume을 사용할 수 있음을 알고 있습니다. 하지만 저는 플린 크에서 새롭기 때문에 플 링

0열

2답변

Apache Flume이 copyFromLocal 명령보다 많은 시간이 걸립니다.

로컬 파일 시스템에 24GB 폴더가 있습니다. 내 임무는 그 폴더를 HDFS로 옮기는 것입니다. 내가 한 두 가지 방법. 1) hdfs dfs -copyFromLocal/home/data// home/ 이 작업을 완료하는 데 약 15 분이 걸렸습니다. 2) Flume을 사용하십시오. 다음은이 단계는 HDFS에 데이터를 밀어 거의 한 시간을했다 spool_d

2열

1답변

Flume Agent 중지

소스로 스풀링 디렉토리가있는 Flume 에이전트를 실행하려는 요구 사항이 있습니다. 스풀 디렉토리의 모든 파일을 HDFS (싱크)에 복사 한 후에 모든 파일이 채널에 푸시되었음을 알기 때문에 에이전트를 중지 시키길 원합니다. 또한 매번 다른 스풀링 디렉토리에 대해이 단계를 실행하고 디렉토리의 모든 파일이 .COMPLETED로 표시된 경우 에이전트를 중지하고

0열

1답변

flume hdfs rollSize가 멀티 채널 및 멀티 싱크에서 작동하지 않습니다.

Flume-ng를 사용하여 128MB의 로그 정보를 가져 와서 HDFS의 파일에 넣으려고합니다. 그러나 HDFS 롤링 옵션은 작동하지 않습니다. Flume-ng는 초당 로그 파일을 보냅니다. flume.conf 파일을 수정하려면 어떻게해야합니까? agent01.sources = avroGenSrc agent01.channels = memoryChannel

1열

2답변

Apache Flume 설치가 작동하는지 확인하는 가장 빠른 방법은 무엇입니까?

Apache Flume을 다운로드하여 압축을 풉니 다. 실행할 준비가되었는지 어떻게 확인할 수 있습니까?

-1열

1답변

Flume을 사용하여 로컬 파일 시스템을 HDFS로 복사

Java에서 파일 생성기를 사용하면 HDFS로 이동해야하는 로컬 파일 시스템에 디렉토리 및 파일 스트림이 생성됩니다. 나는 인터넷에서 검색하고 내가 Flume을 사용할 수 있다는 것을 알았지 만, 어떻게하는지 설명하는 자원을 찾지 못했습니다. 이것을 구현하는 방법을 알고 있습니까? 감사합니다 (당신이 환경에 대한 논평에서 언급 한 바와 같이) 내가 같은 기

0열

1답변

Flume - flume 소스 만 멈출 수 있습니까?

나는 flume 메모리 채널을 가지고 있는데, flume agent를 멈추게해도 채널에서 데이터가 손실되지 않는다는 것을 알고 싶습니다. 가능한 해결 방법은 소스를 중지하고 채널이 플러시 된 후 에이전트를 중지하는 것입니다. 손실 데이터없이 flume 에이전트를 중지하는 또 다른 방법이 있습니까? 사전에 감사

0열

1답변

flume 디렉토리 소스의 파일 이름을 바꿀 수있는 쓰기 권한을 부여해야합니까?

나는 스풀 디렉토리 소스에서 읽은 flume 에이전트와 hdfs에 대한 일부 변환을 작성한 후 flume 에이전트를 가지고 있습니다. flume은 처리 된 파일의 이름을 '.COMPLETED'로 바꾸므로 스풀 디렉토리에 쓰는 것에 대한 허가가 거부 된 권한을 얻습니다. 민감한 데이터에 쓰기 권한을 부여하는 것이 얼마나 안전 할 지 궁금합니다. 이 스풀 디렉

0열

1답변

Flume Distribution

Apache Flume 1.6 공식 웹 사이트에서 flume은 입니다. 그러나 Master-slave 아키텍처는 Flume 1.x 이후에 사용되지 않습니다. flume이 작품을 어떻게 배포합니까? 나는 Hortonworks를 통해 2 개의 호스트에 flume을 설치했다. 나는 2 개의 다른 기계에서 2 개의 분리 된 수로를 달리게하고 싶다. 누군가가 그 배