flume

0열

1답변

저는 Hadoop에서 Excel로 데이터를 가져 오거나 읽어야하는 시나리오를 경험 한 사람이 있습니까? Flume Excel 소스와 같은 것이 있습니까? btw, 필자는 Excel 파일을 csv로 변환 한 다음 해당 파일을 처리 할 수 있음을 알고 있습니다. 실제로 flume 소스를 조금 더 살펴 보려고합니다.

0열

1답변

Flume - HTTP 소스를 사용하는 다중 에이전트 흐름

나는 flume하는 초보자입니다. 현재 내 단계를 테스트하고 있습니다. 나는 HTTP를 소스로 사용하고 파일 시스템을 싱크 유형으로 사용하고 있습니다. 이제 제 요구 사항은 다중 에이전트 플로우 (2 개의 에이전트)를 설정하는 것입니다. 여기서는 첫 번째 flume 소스에 HTTP 페이로드를 삽입하고 싱크에서 다른 유사한 flume 소스로 데이터를 보내 궁

0열

2답변

apache flume을 사용하여 hbase에 데이터를 삽입 할 수 없습니다.

i flume을 사용하여 로그 파일 데이터를 hbase 테이블에 삽입합니다. 그러나 테이블에 아무것도 삽입되지 않습니다. 다음과 같이 수로 에이전트는 다음과 같습니다 에이전트 위 agent1.sources = tail agent1.channels = memoryChannel agent1.sinks = loggerSink sink1 agent1.sour

1열

3답변

소셜 미디어에서 스트림 데이터를 다운로드 할 수있는 기술이 있습니까?

나는 소셜 미디어 에서 hadoop으로 데이터를 스트리밍하기 위해 사용할 수있는 기술을 찾고 있습니다. 해당 기술을 검색하여 발견했습니다. Flume. 폭풍. 카프카. 어떤 도구가 가장 좋습니까? 그리고 왜? 다른 도구에 익숙한 사람 있습니까?

0열

1답변

고속 로그 생성을위한 도구 또는 유틸리티

Flume 클러스터의 크기 조정이 필요한 Big Data 프로젝트를 진행 중입니다. Flume 클러스터는 15 mBps (초당 메가 바이트)로 생성 될 로그를 수집합니다. 이 상황을 시뮬레이트하려면이 속도 (또는 축소 속도)로 로그를 생성 할 수있는 유틸리티/도구가 필요합니다. 사용할 수있는 기존 도구가 있다면 알려주십시오.

0열

1답변

아파치 Flume 파일 크기

나는 flume-ng와 HDFS 싱크를 사용하고 있습니다. 이제 주어진 폴더에 파일을 추가하면 자동으로 HDFS에 저장됩니다. 잘 작동하고 있습니다. 그러나 나는 HDFS에있는 파일의 크기가 아주 작다는 것을 알아 차린다. 따라서 주어진 폴더에 1GB 파일을 넣으면 수백 개의 파일로 HDFS에 저장됩니다. HDFS에서 파일 크기를 더 크게 만들 수 있습니까

1열

3답변

Flume을 사용한 압축 파일 처리

Flume 1.3.0을 사용하여 모든 유형의 압축 파일 (예 : zip, bzip, lz4 등)을 hdfs로 가져올 수 있습니까? spoolDir을 사용할 계획입니다. 어떤 suggesion하시기 바랍니다.

0열

1답변

특정 기간 동안 Twitter에서 데이터를 가져 오도록 Apache Flume을 구성하는 방법은 무엇입니까?

트위터에서 HDFS 로의 데이터 통합을 위해 hadoop 클러스터와 아파치 flume을 가지고 있습니다. 기본적으로 가장 최근의 트윗이 처음으로 가져온 것과 같이 연대순으로 데이터를 가져옵니다. 특정 방식으로 특정 데이터를 트위터에서 가져올 수 있습니다. 기간, 말 달 2013 년 2 월. flume 또는 Twitter Handle의 구성이나 속성을 설정해

1열

2답변

시간별로 HDFS에서 HIVE로 데이터를로드하는 작업을 생성하는 flume을 사용하는 방법은 무엇입니까?

자동으로 하이브를 만들기 위해 hadoop에서 데이터를로드해야하지만이 작업을 수행하기 위해 다른 서비스를 설정하고 싶지는 않습니다. 나는 이미 벌목을 이용하여 내 기록을 수집하고 ...... 어떻게해야합니까? flume은 명령을 실행할 수 있습니까 (LOAD와 마찬가지로 하이브에 대한 쿼리 .....)?

2열

3답변

Flume NG가 HDFS에 쓰여지지 않음

Flume과 Hadoop을 처음 사용하기 때문에 가장 간단한 (그러나 다소 도움이되었거나 현실적인) 예를 만들려고합니다. VM 클라이언트에서 HortonWorks Sandbox을 사용하고 있습니다. 튜토리얼 12 (Flume을 설정하고 사용하는 것과 관련된)을 한 후에 모든 것이 올바르게 작동하는 것처럼 보입니다. 그래서 는 를 사용하여 간단한 HDFS 만