flume

0열

1답변

Flume의 Http 소스는 Event 개체를 생성 할 책임이있는 처리기에 달려 있습니다. 이 처리기가 여러 스레드로 생성되는지, 들어오는 http 메시지 당 하나씩 말해 보겠습니다. 대답이 "예"이면 수영장이 있습니까? 그런 풀의 크기는 어느 정도입니까? 대답이 "아니오"이면 들어오는 http 메시지가 순차적으로 처리된다고 가정해야합니까? (나는 그렇지

0열

1답변

"|"의 두 번째 단어에 정규식 적용 해석기에서 분리 된 문자열 Flume config

나의 요구 사항은 kafka에서 오는 데이터에 정규 표현식을 적용하는 것이다. 데이터는 다음과 같다 : abc|def|mnq|xyz abc1|def1|mnq1|xyz1 abc2|def2|mnq2|xyz2 가 나는 수로 통역원을 사용하여 첫 번째 고통에서 두 번째 단어 즉 (DEF)에 정규 표현식을 적용 할. 정규 표현식은 단어와 10 진수를 필터링

0열

1답변

Flume conflicts hasoop with SLF4J : 클래스 경로에 여러 개의 SLF4J 바인딩이 있습니다.

매번 Flume을 시작할 때 Flume, Hive 및 Hadoop 사이에이 메시지가 나타납니다. 이것을 피하는 가장 좋은 방법은 무엇입니까? 나는 flume lib 디렉토리에서 하나의 jar 파일을 제거하려고했지만 다른 파일 (hive, hadoop)에 영향을 주는지는 확실하지 않습니다. Info: Sourcing environment configurati

0열

1답변

hdfs kafka, flume의 다른 디렉토리에있는 파일 방문

한 서버 (Unix Server A)에서 csv 파일을 hdfs 디렉토리로 보내려고합니다. 어떤 csv 파일을 기반으로 hdfs의 다른 디렉토리에 파일을 저장하려고합니다. 저는 kafka 제작자가 유닉스 서버 A에서 kafka로 보낼 11 개의 csv 파일을 가지고 있습니다. csv 파일의 첫 번째 요소에는 키가 포함됩니다. 첫 번째 요소를 가져 와서 카프

0열

1답변

CDH5를 시작할 수 없습니다. Flume 에이전트

CDH5가 설치된 AWS EC2 시스템 (RedHat)에서 Flume 에이전트를 시작하려고합니다. 내가 무슨해야합니까 ... 내가 CDH5 가이드를 확인하고는이 에이전트를 시작하는 방법 말한다 -bash: /etc/init.d/flume-ng-agent: No such file or directory : 나는 명령을 사용합니다 sudo /etc/init

0열

1답변

하이브에 짹짹 테이블을 만드는 중 HDFS 파일 일치 오류가 발생했습니다.

flume, hadoop 및 hive를 사용하여 트위터 정서 분석을하고 있습니다. 이 명령을 사용하여 하이브와 테이블을 생성 한 후 : hive -f tweets.sql 을이 오류가 얻을 : FAILED: SemanticException Line 3:17 Invalid path ''data/dictionary/dictionary.tsv'': No fil

0열

1답변

IIS 로그 Hadoop 실시간 스트리밍

로그 집계를 위해 Hadoop에서 POC를 수행하려고합니다. 적어도 100 개의 사이트를 호스팅하는 여러 IIS 서버가 있습니다. HDFS로 지속적으로 로그를 스트리밍하고 추가 분석을 위해 Hive에 데이터를 파싱하고 저장하려고합니다. 1) 아파치 카프카 올바른 선택 또는 Apache 수로 2) 스트리밍 후 더 나은 제안에 도움이 종류의 또한 정보하시기 바

0열

1답변

Flume이 파일을 HDFS로 업로드하는 데 시간이 걸립니다.

플랫 파일을 HDFS에 업로드하는 데 flume이 시간이 걸리는 이유를 확인하는 데 도움이 필요합니다. 나는 단지 하나의 파일 (10MB 크기)을 업로드하려했지만, 17 시간은 여전히 ".tmp"로 업로드 중입니다. 내가 로그 세부 사항을 선택하면이 채널에 갇혀있는 것처럼, 그것은 보인다 년 11 월 10 일 X : XX : XX.XXX PM 정보 or

0열

1답변

flume 파일 크기에 따라 롤링 할 때 데이터를 hdfs로 복사하는 데 시간이 걸릴 때

flume을 사용하여 hdfs에 원격 파일을 복사하려는 경우가 있습니다. 또한 복사 된 파일을 HDFS 블록 크기 (128MB/256MB)와 정렬해야합니다. 원격 데이터의 총 크기는 33GB입니다. 원격 데이터를 hdfs로 복사하는 데 avro source와 sink를 사용하고 있습니다. 마찬가지로 싱크 쪽에서 나는 파일 크기 롤링 (128,256)을하고있

1열

2답변

Apache Flume 설치가 작동하는지 확인하는 가장 빠른 방법은 무엇입니까?

Apache Flume을 다운로드하여 압축을 풉니 다. 실행할 준비가되었는지 어떻게 확인할 수 있습니까?