flume

2열

2답변

저는 25-20 명의 에이전트가 콜렉터 에이전트에 데이터를 보내고 이러한 콜렉터 에이전트가 HDFS에 데이터를 기록해야합니다. 이러한 수집 에이전트를 실행할 위치는 무엇입니까? Hadoop 클러스터의 데이터 노드 또는 클러스터 외부에 있습니까? 각자의 장점/단점은 무엇이며, 현재 사람들은 어떻게 운영되고 있습니까?

2열

1답변

flume topology approach를 결정하는 방법은 무엇입니까?

나는 flume을 설정하고 있지만 우리의 유스 케이스에 대해 앞으로 나아갈 토폴로지에 대해서는 잘 모릅니다. 우리는 기본적으로 초당 2000 개의 항목 속도로 로그를 생성 할 수있는 두 개의 웹 서버를 가지고 있습니다. 크기는 각각 약 137Bytes입니다. 현재 우리는 PHP 스크립트가이 로그를 쓰는 rsyslog (tcp 포트에 쓰기)를 사용했습니다.

1열

1답변

수로 1.4 싱크 타입을 갖는 문제

아래 # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # reading file using tail command and sending data to cha

0열

1답변

전처리 및 우리는 로그의 두 가지 유형이 하둡

데이터를 섭취 : 1) 세션 로그 : SESSION_ID, USER_ID, START_DATE_TIME, END_DATE_TIME 2) 이벤트 로그 : SESSION_ID, DATE_TIME, X, Y, Z 이벤트 로그를 저장하기 만하면되지만 SESSION_ID를 해당 USER_ID로 바꾸고 싶습니다. 어떤 기술 (예 : Flume?)을 사용하여 HDFS에

0열

1답변

FlumeRpcClient multithreading

다중 스레드 응용 프로그램에서 Flume RpcClient를 사용하는 올바른 방법을 이해하려고합니다. 지금까지 찾은 정보는 구성 요소가 스레드로부터 안전함을 나타내지 만 Flume 설명서의 예제는 오류 처리와 관련하여 문제를 해결합니다. 이 코드 : 여러 스레드가 시도하고 예외 핸들러에서 클라이언트를 다시로 두 개 이상의 스레드가이 메소드를 호출하고 예외가

1열

2답변

수로 HDFS 싱크는 작은 파일

나는 수로를 사용하여 HDFS에 트위터 데이터를 스트리밍하기 위해 노력하고있어이 롤링 유지 여기서 나는 큰 파일 (64Mb)을보고 싶다. TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS TwitterAgent.sources.Twitte

0열

1답변

flume-ng를 사용하여 소스 및 사용자 지정 싱크를 작성하십시오.

flume-NG를 처음 사용했습니다. 내 소스가 채널에 하나씩 고유 한 XML 파일을 보내주기를 바란다. 채널은 xml 파일의 유효성을 검사하고 유효성 (true 또는 false)과 xml 파일을 사용자 지정 싱크에 보냅니다. 이 싱크는 유효한 파일과 유효하지 않은 파일을 HDFS의 다른 디렉토리에 씁니다. 사용할 소스가 확실하지 않습니다. 도와주세요.

1열

1답변

웹 서버에서 아파치 flume 에이전트를 구성하는 방법

에이전트를 구성 할 수 있지만 에이전트와 웹 서버 간의 연결에 관한 혼란이 있습니다. 1 : 웹 서버를 에이전트에 연결하는 방법은 무엇입니까? 2 : flume.bat 파일을 시작하는 중. flume.log 파일을 생성 중입니다.이 파일에서 아래에 언급 된 예외가 발생합니다. org.apache.flume.conf.ConfigurationException

1열

2답변

네트워크를 통해 로그를 가져 오는 flume

나는 서버 시스템에서 HDFS로 로그를 가져 오기 위해 Flume에서 작업 해 왔습니다. 서버와 클라이언트 컴퓨터가 동일한 네트워크에 연결되어 있으면이 작업을 수행 할 수있었습니다. 그러나 서버와 클라이언트가 서로 다른 네트워크에있는 경우 어떻게 동일한 결과를 얻을 수 있습니까? 이 용도로 맞춤 소스를 작성해야하나요? [자신의 맞춤 소스를 사용하여 트위터

1열

2답변

웹 서비스로 노출 된 데이터를 Elasticssearch에 입력 할 수 있습니까?

다른 공급 업체에서 개발 및 유지 관리하는 여러 데이터 센터에서 실행되는 많은 응용 프로그램이 있습니다. 각 응용 프로그램에는 응용 프로그램에 대해 통합 된 관련 로그 데이터 (감사 데이터, 보안 데이터, 비용 계산, 성능 데이터 등과 관련된 데이터)를 표시하는 웹 서비스가 있습니다. 내 작업은 각 시스템의 데이터를 Elasticsearch, Kibana