flume

0열

1답변

Flume을 사용하여 HDFS에서 Twitter 데이터를 가져 오는 중에 문제가 발생했습니다.

HDFS에서 트위터 데이터를 가져 오는 중 문제가 발생했습니다. 여기 이 Env.sh 파일에서 내 flume.conf 파일 TwitterAgent.sources= Twitter TwitterAgent.channels= MemChannel TwitterAgent.sinks=HDFS TwitterAgent.sources.TwitterSource.type=

0열

1답변

Apache Flume JMS 1.6.0에서 SSL 구성

Apache Flume JMS1.6.0에서 SSL을 구성하려고합니다. Apache Flume JMS Source는 기본적으로 SSL을 지원하지 않습니다. Apache Flume JMS1.6.0에서 SSL을 사용하도록 설정하면 누구든지 구현됩니다. JMS 소스에 대해 SSL을 사용하도록 사용자 정의 코드를 작성하는 옵션이 있습니까?

0열

1답변

Spark Streaming Flume Integration

많은 변경을 시도한 후에도 Flume 사용자 지정 싱크와 Spark Stream을 같은 포트에 바인딩하는 문제가 여전히 남아 있습니다. Flume 1.6.0과 Spark 2.0.0을 사용하고 있습니다. Spark + flume 통합 안내서 사용 .conf 파일과 spark .py 파일을 만들었습니다. 나는 먼저 flume agent를 시작했지만, 같은 포트

1열

1답변

Confluent 및 Cassandra : 데이터 가져 오기 중 : 알 수없는 마법 바이트

에 데이터를 deserialize하지 못했습니다. http://www.confluent.io/blog/kafka-connect-cassandra-sink-the-perfect-match/에서 자습서를 따라했으며 avro 콘솔에서 cassandra로 데이터를 삽입 할 수 있습니다. 이제 flume을 사용하기 위해 이것을 확장하려고하고 로그 파일을 선택하고 k

-1열

1답변

Flafka (HTTP -> Flume-> 카프카 -> 스파크 스트리밍)

I 실시간 스트리밍 한 사용 사례가 (HDP 2.4, 우리는 메시지 버퍼 카프카 (0.9)를 사용한다 스트림 처리 스트리밍 (1.6) 스파크). 우리는 HTTP에서 ~ 80-90K/초 이벤트를 수신합니다. 스파크 스트리밍에 의해 소비 될 카프카 주제에 대한 데이터 처리를 위해 권장되는 아키텍처를 제안 해 주실 수 있습니까? 우리는 flafka 아키텍처를 고

0열

1답변

HTTP 헤더에 헤더 추가 flume

HDFS가 포함 된 Flume HTTP 소스를 싱크대로 테스트하고 있습니다. 아래는 사용 된 conf 파일입니다. httpagent.sources = httpsource httpagent.sinks = hdfs-file-sink httpagent.channels = ch3 httpagent.sources.httpsource.type = http h

1열

2답변

Apache Flume 대 Apache Flink의 차이점

일부 소스에서 데이터 스트림을 읽어야합니다 (내 경우에는 UDP 스트림이지만 중요하지 않아야 함). 각 레코드를 변환하여 HDFS에 씁니다. Flume 또는 Flink을 사용하는 경우에는 어떤 차이가 있습니까? 각 이벤트를 변환하기 위해 사용자 정의 인터셉터와 함께 Flume을 사용할 수 있음을 알고 있습니다. 하지만 저는 플린 크에서 새롭기 때문에 플 링

0열

2답변

Apache Flume이 copyFromLocal 명령보다 많은 시간이 걸립니다.

로컬 파일 시스템에 24GB 폴더가 있습니다. 내 임무는 그 폴더를 HDFS로 옮기는 것입니다. 내가 한 두 가지 방법. 1) hdfs dfs -copyFromLocal/home/data// home/ 이 작업을 완료하는 데 약 15 분이 걸렸습니다. 2) Flume을 사용하십시오. 다음은이 단계는 HDFS에 데이터를 밀어 거의 한 시간을했다 spool_d

2열

1답변

Flume Agent 중지

소스로 스풀링 디렉토리가있는 Flume 에이전트를 실행하려는 요구 사항이 있습니다. 스풀 디렉토리의 모든 파일을 HDFS (싱크)에 복사 한 후에 모든 파일이 채널에 푸시되었음을 알기 때문에 에이전트를 중지 시키길 원합니다. 또한 매번 다른 스풀링 디렉토리에 대해이 단계를 실행하고 디렉토리의 모든 파일이 .COMPLETED로 표시된 경우 에이전트를 중지하고

0열

1답변

간단한 다중 스레드 Flume 소스 필요

간단한 다중 스레드 flume 소스를 설정하는 방법에 대한 조언을 찾고 있습니다. Reading Flume spoolDir in parallel 우리는이 : 항상 단일 스레드 될 것입니다 내 인터셉터를 테스트하기 위해 내 로컬 dev에 환경에서 SPOOLDIR 소스를 사용하고 있습니다 만, 아래 링크에서, 그것은 SPOOLDIR 소스처럼 보이는 인터셉터는