나는 Flume을 사용하여 HDFS로로드하는 로그 파일을 작성하는 http 서버를 가지고 있습니다. 먼저 헤더 또는 본문에있는 데이터에 따라 데이터를 필터링하고 싶습니다. 나는 정규 표현식을 가진 인터셉터를 사용하여 이것을 할 수 있다고 읽었습니다. 누군가 내가 할 일을 정확히 설명 할 수 있습니까? Flume 코드를 대체하는 Java 코드를 작성해야합니까
*** 내 시스템에서 텍스트 파일을 hdfs로로드하려고합니다. 이 내 conf의 파일입니다 agent.sources = seqGenSrc
agent.sinks = loggerSink
agent.channels = memoryChannel
agent.sources.seqGenSrc.type = exec
agent.sources.seqGenSrc.co
Flume을 사용하여 Windows 시스템에서 HDFS로 파일을로드하려고합니다. 나는 다음과 같은 오류가 점점 오전 :는 12:42:02 WARN hdfs.HDFSEventSink: HDFS IO error
java.io.IOException: Incomplete HDFS URI, no host: hdfs://10.74.xxx.217:9000:/user/
Flume을 사용하여 트윗을 다운로드하여 Hadoop으로 파이프하면 자바 힙 공간 부족으로 메모리 부족 문제가 발생합니다. 내가 하둡의 mapred-site.xml 파일에 4GB의 현재 힙 공간 설정과 같이 한 : <property>
<name>mapred.child.java.opts</name>
<value>-Xmx4096m</value
Apache Flume 1.4 설명서를 살펴본 결과, 전체 작업 노드를 배포하는 방법에 대해서는 명확하지 않습니다. 각 소스에 대해 여러 소스 및 여러 쿼리 용어에서 데이터를 가져와야하며 정기적으로 해당 소스를 폴링해야합니다. flume-master 및 flume-node (s)에 대한 이전 버전의 Flume. Cloudera 릴리스 노트에 따르면 이러한
API를 통해 엄청난 양의 XML 데이터를 받고 있습니다. 이 대규모 데이터 세트를 처리하기 위해 Hadoop에서이를 수행 할 계획이었습니다. 효율적으로 데이터를 Hadoop으로 가져 오는 방법을 이해하는 데 도움이 필요했습니다. 사용할 수있는 도구는 무엇입니까? 이 데이터를 실시간으로 가져올 수 있습니까? 의견을 제공해주세요. 도움 주셔서 감사합니다.
간단한 데이터웨어 하우스를 만들어야합니다. 데이터웨어 하우스의 데이터 소스는 이기종이므로, 데이터 수집을 위해 Apache Flume과 같은 Frameworks를 실험하고 있습니다. 나는 문서를 훑어 보았지만 SQL에 대해서는 아무것도 찾지 못했습니다. (http://flume.apache.org/FlumeDeveloperGuide.html 및 http:/
많은 수의 작은 파일을 HDFS 시퀀스 파일로 옮기고 싶습니다. 두 가지 옵션이 있습니다. Flume을 사용하십시오. Flume에는 내장 파일 소스가 없으므로 파일을 푸시하기 위해 사용자 정의 소스가 필요합니다. hdfs 경로에 apache camel 파일을 사용하십시오. 비록 위의 두 가지 방법이 목적을 달성하지만, 나는 다른 옵션을 선택하기 전에 사용할
저는 Flume에서 한동안 일해 왔고 최근에이 문제에 직면했습니다. 우리는 수로 에이전트가 /conf/log4j.properties을 선택하는 "flume-ng agent --conf conf --conf-file /usr/lib/flume/conf/Agent.conf --name Agent"
로 시작 명령을 사용하는 경우 (BTW, 나는 현재 수로-N