flume

0열

1답변

나는 flume 메모리 채널을 가지고 있는데, flume agent를 멈추게해도 채널에서 데이터가 손실되지 않는다는 것을 알고 싶습니다. 가능한 해결 방법은 소스를 중지하고 채널이 플러시 된 후 에이전트를 중지하는 것입니다. 손실 데이터없이 flume 에이전트를 중지하는 또 다른 방법이 있습니까? 사전에 감사

0열

1답변

flume 디렉토리 소스의 파일 이름을 바꿀 수있는 쓰기 권한을 부여해야합니까?

나는 스풀 디렉토리 소스에서 읽은 flume 에이전트와 hdfs에 대한 일부 변환을 작성한 후 flume 에이전트를 가지고 있습니다. flume은 처리 된 파일의 이름을 '.COMPLETED'로 바꾸므로 스풀 디렉토리에 쓰는 것에 대한 허가가 거부 된 권한을 얻습니다. 민감한 데이터에 쓰기 권한을 부여하는 것이 얼마나 안전 할 지 궁금합니다. 이 스풀 디렉

0열

1답변

Flume-Hdfs 싱크 출력 디렉터리 사용 권한

Flume에서 hdfs 싱크의 출력 디렉터리 사용 권한을 지정할 수 있습니까?

0열

1답변

Flume/Avro 소스, 메모리 채널 및 HDFS 싱크 - 너무 많은 작은 파일

이상한 문제가 있습니다. flume에서 HDFS로 많은 정보를 집계하려고합니다. 너무 작은 파일을 피하기 위해 권장 된 구성을 적용했지만 작동하지 않았습니다. 여기에 제 설정 파일이 있습니다. # single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.

0열

1답변

Twitter_Streaming_Data_Error

스트리밍을 통해 Twitter 데이터에 액세스하려고 할 때 아래 오류가 표시됩니다. 나는 그 근본 원인을 확신하지 못한다. Twitter에서 데이터를 다운로드하기 위해 Filechannel을 사용하고 있습니다. 16/08/03 11:15:00 ERROR twitter.TwitterSource: Exception while streaming tweets 4

0열

1답변

Cassandra에서 Hbase로 데이터 이동하는 방법

현재 데이터를 Cassandra NOSQL 데이터베이스로 이동해야하며 앞으로 cassandra에서 Hbase로 이동할 수 있습니다. 어떤 사람이이 활동을위한 최선의 방법을 제시하면 좋을 것입니다. 감사합니다.

1열

1답변

카프카를 cdh 5.7.0에서 활성화 할 수 없습니다.

나는 CDH 5.7.0을 처음 사용합니다. 내 프로젝트에서 카프카와 수로가 필요합니다. Cloudera Manager를 시작했을 때 kafka가 이미 다운로드 할 수있는 것으로 나타났습니다. 나는 "Dowbload"를 클릭하여 kafka를 다운로드 한 다음 "Distribut"를 클릭하여 배포했습니다. 그러나 "활성화"를 클릭하면 "CDA (5.2 이상)

1열

1답변

flume 페이스 북 페이지/피드/포스트

누구든지 flume을 사용하여 페이스 북 페이지에서 데이터를 읽는 방법을 알고 있습니까? 사실 저는 특정 페이스 북 페이지를 읽고 게시/피드와 같은 모든 정보를 추출하고 데이터를 Hadoop 데이터베이스로 푸시하는 flume 에이전트를 갖고 싶습니다.

0열

1답변

flume hdfs rollSize가 멀티 채널 및 멀티 싱크에서 작동하지 않습니다.

Flume-ng를 사용하여 128MB의 로그 정보를 가져 와서 HDFS의 파일에 넣으려고합니다. 그러나 HDFS 롤링 옵션은 작동하지 않습니다. Flume-ng는 초당 로그 파일을 보냅니다. flume.conf 파일을 수정하려면 어떻게해야합니까? agent01.sources = avroGenSrc agent01.channels = memoryChannel

3열

1답변

Hadoop Flume으로 Google Analytics 데이터 검색

Google Analytics API를 사용하여 Google Analytics 데이터를 검색하고 싶습니다. Hadoop Flume으로 hdfs에 저장하려고합니다. https://www.googleapis.com/analytics/v3/data/ga?ids=ga%3A92525220&start-date=2016-08-25&end-date=2016-08-25&m