flume

1열

1답변

flume을 사용하여 메인 프레임 파일에서 hadoop HDFS로 데이터를 가져 오는 방법

cloudera CDH5를 사용하고 있으며 flume을 사용하여 메인 프레임 파일에서 hadoop hdfs로 데이터를 가져와야합니다. 몇 사람이 돌봐 줄 필요가있는 단계를 도와 줄 수 있습니까?

1열

1답변

나는 모든 json 파일이있는 스풀링 디렉토리를 가지고 있으며, 매초마다이 디렉토리에 수신 파일이 추가됩니다. 들어오는 json 파일을 deserialize하고 require 필드를 가져와야합니다. 그것을 HDFS 디렉토리에 추가하십시오. 내가 한 것은 파일을 스풀링 디렉토리의 소스로 가져 와서 1 싱크를 사용하여 HDFS에 직접 json 파일을 배치 한

-1열

2답변

Twitter Search API and Hadoop

트위터 검색 API를 사용하고 트위터 데이터를 내 HDFS로 가져와야합니다. Search API는 REST 호출을 사용하며 Apache Flume과 함께 사용하는 방법을 이해하려고합니다. 트위터의 API를 사용하기위한 권한 키가 필요하지만 flume을 사용하여 검색 API를 구현하는 방법을 이해하지 못합니다. 도움이 필요하다! 고맙습니다!

0열

1답변

Apache Flume HDFS 시리얼 화기 포맷하기

나는 단지 flume을 시작 했으므로 hdfs 싱크에 헤더를 삽입해야한다. 형식이 잘못되었지만 열을 제어 할 수 없어도이 기능을 사용할 수 있습니다. HDFS에 기록 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = syslogudp a1.sources.r1.host = 0.0

0열

1답변

해시 태그가 포함 된 Facebook 뉴스 피드를 hadoop에서 anlytics를 할 수 있습니까?

페이스 북 피드를 받고 싶습니다. 나는 hadoop에서 분석을하고 싶다. 태그를 기반으로 페이스 북 뉴스 피드에 사용할 수있는 API가 있습니까?

0열

1답변

flume 이벤트 헤더 속성에 액세스하는 방법은 무엇입니까?

내가 추가 한 몇 가지 이벤트 헤더는 Flume 속성하지만 난 flumeagent 설정 파일 예에 액세스하는 방법을 잘 모르겠습니다 : 내가 목표는 될 것입니다 flumeagent.sinks.sinkname.hdfs.fileHeader = true 사용 fileHeader을 추가 한 경로에 이벤트 헤더 속성을 추가 할 수, 예 : flumeagent.sin

0열

1답변

Flume이 (가) 발견되지 않았습니다. (java : command를 찾을 수 없습니다. exec : java : not found)

]# /etc/init.d/flume-master start Starting Flume master daemon (flume-master): starting master, logging to /var/log/flume/flume-flume-master-localhost.localdomain.log /usr/lib/flume/bin/flume: line

3열

1답변

Apache Sqoop과 Flume을 서로 바꿔 사용할 수 있습니까?

Big 데이터를 처음 사용했습니다. What's the difference between Flume and Sqoop?에 대한 일부 답변에서 Flume과 Sqoop은 소스에서 데이터를 가져 와서 Hadoop으로 푸시 할 수 있습니다. 누구든지 flume이 사용되는 곳과 sqoop가있는 곳을 지정할 수 있습니까? 동일한 작업에 대해 둘 다 사용할 수 있습니까

0열

2답변

Flume : org.apache.avro.ipc.NettyServer : 다운 스트림에서 예기치 않은 예외가 발생했습니다. java.nio.channels.ClosedChannelException

어떻게 문제를 해결할 수 있습니까? 내가 flume 서버를 구성 할 때, 아래에 questiosns가 있습니다. 2014-10-20 22:24:01,480 INFO org.apache.avro.ipc.NettyServer: [id: 0x2fe09f1a, /ip:57063 => /ip:34001] OPEN 2014-10-20 22:24:01,481 INFO

-2열

2답변

flume을 사용하여 실시간 트윗을 가져 오는 방법은 무엇입니까?

Apache flume은 현재 구성과 함께 이전 연도 또는 개월의 트윗을 가져옵니다. 나는 현재의 트윗을 가져오고 싶다. 어떻게해야합니까?