flume-ng

2열

1답변

flume을 사용하는 로컬 시스템에서 hdfs에서 파일을 이동하려고하지만 내 flume을 실행할 때 많은 작은 파일이 생성됩니다. 내 원본 파일의 크기는 154 - 500KB이지만 내 HDFS에서는 크기가 4-5kb 인 많은 파일을 만듭니다. 나는 수색을하고 rollSize과 rollCount을 변경하면 값이 증가하지만 여전히 동일한 문제가 발생하고 있음을

0열

1답변

Flume 하이브 싱크가 배열로 JSON을 직렬화하지 못했습니다.

하이브 싱크를 통해 하이브에 JSON 데이터를로드하려고합니다. 데이터의 WARN org.apache.hive.hcatalog.data.JsonSerDe: Error [java.io.IOException: Field name expected] parsing json text [{"id": "12345", "url": "https://mysite", "titl

1열

1답변

HDFS-싱크는 다음 HDFS에 수로에 의해 모든 이벤트에 추가 된 타임 스탬프를 제거하는 방법은

내가 각 라인에서 JSON을 포함하는 몇 개의 파일을 [[email protected] vp_flume]# more vp_170801.txt.finished | awk '{printf("%s\n", substr($0,0,20))}' {"status":"OK","resp {"status":"OK","resp {"status":"OK","resp {"s

1열

2답변

org.apache.kafka.common.errors.RecordTooLargeException Flume 카프카 싱크에서

JMS 소스에서 데이터를 읽고 KAFKA 항목으로 푸시하려고하는데, 몇 시간 후 KAFKA 항목으로 푸시 빈도가 거의 0 그리고 초기 분석 후 나는 FLUME 로그에서 예외를 발견했다. 28 Feb 2017 16:35:44,758 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume

0열

1답변

flume gz 파일을 스트리밍합니다.

폴더에 gzip 파일이 많이 있습니다. 각 gzip 파일에는 xml 파일이 들어 있습니다. flume을 사용하여 파일을 HDFS로 스트리밍했습니다. 내가 HDFS에 파일을 스트리밍 한 후 다음 코드를 사용하여 읽을 스파크를 사용 agent1.sources = src agent1.channels = ch agent1.sinks = sink agent1

1열

1답변

FLUME을 사용하여 Hadoop에 데이터 저장

hadoop 설치 및 Flume 튜토리얼의 모든 단계를 수행했습니다. 빅 데이터 도구에 익숙하지 않습니다. 다음과 같은 오류가 발생합니다. 나는 이해가 안된다. 문제는 어디에 있는가? 설치시 많은 게시물을 읽었지만 여전히이 문제에 직면하고 있습니다. 궁극적 인 목적은 R. 17/09/29 02:25:39 INFO node.PollingPropertiesFi

-1열

1답변

MySQL 데이터베이스에 Kafka 스트리밍 메시지

카프카 메시지를 MySQL 데이터베이스에 쓰고 싶습니다. this 링크의 예가 있습니다. 이 예에서 아파치 flume은 메시지를 소비하고 MySQL에 쓰는 데 사용됩니다. 나는 동일한 코드를 사용하고있어 내가 flume-ng agent을 실행하고 event 항상 null 하게 그리고 내 flume.conf.properties 파일 인 경우 : 내가 틀렸다

0열

1답변

Twitter Flume 데이터가 읽을 수없는 형식이 아닙니다.

내 트위터 데이터가 읽을 수있는 형식이 아닙니다. 내가 하이브 테이블을 사용하여 읽으려고하는 flume을 사용하여 트위터 데이터를 가져 왔습니다. 하지만 hdfs에서 적절한 데이터를 볼 수 없습니다. 아래는 세부 사항은 다음과 같습니다 flume-env.sh - export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera FLUM

0열

1답변

두 개의 Ubuntu VM간에 텍스트 파일 내용을 전송하는 Apache Flume 프로그램/설정

Apache Flume의 프로토 타입을 작성하고 있습니다. 내 임무는 VirtualBox를 사용하여 설정 한 두 개의 Ubuntu VM간에 텍스트 파일 내용을 전송하는 것입니다. 필자는 비록 Flume에 대한 지식이 거의 없다. VirtualBox를 사용하면 내부 네트워크를 만들 수 있었고 두 VM이 서로 ping을 성공적으로 수행 할 수있었습니다. 수로를

0열

1답변

Flume의 Kafka의 EOFException

콘솔 Kafka 제작자에서 Hadoop 파일 시스템 (HDFS)으로 간단한 데이터 파이프 라인을 설정하려고합니다. 나는 64 비트 Ubuntu 가상 머신에서 일하고 있으며, 내가 따라온 가이드에 의해 제안 된 것처럼 Hadoop과 Kafka 모두에 대해 별도의 사용자를 만들었습니다. 콘솔 소비자와 함께 카프카에서 생산 된 자료를 소비하고 HDFS가 가동되고