Flume을 사용하여 트위터 데이터를 가져올 수 없음

flume with hadoop을 사용하여 트위터 데이터를 가져오고 있습니다. 올바른 연결 설정 중입니다.하지만 결국에는 잘못된 URI 또는 사용자 doesnot의 메시지를 계속 제공합니다. 이. 미리 감사드립니다.Flume을 사용하여 트위터 데이터를 가져올 수 없음

다음 conf를 사용 중입니다.

TwitterAgent.sources= Twitter 
TwitterAgent.channels= MemChannel 
TwitterAgent.sinks=HDFS 
TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource 
TwitterAgent.sources.Twitter.channels=MemChannel 
TwitterAgent.sources.Twitter.consumerKey=E9tsA378a5d1WfkKt1N9T9SkD 
TwitterAgent.sources.Twitter.consumerSecret=TK0gZLlppIWQJfCSjlzt0A7tLBLNygaqhdtLYwwvPxLs8BMhB9 
TwitterAgent.sources.Twitter.accessToken=833216676678217729-OGo6WnKqAG58xUpCGpDr7MNksq3jr2Q 
TwitterAgent.sources.Twitter.accessTokenSecret=5hc1AUyJpatiO8tFLsIZHXlSjfLzf3L8ORbYul8DmNZdo 
TwitterAgent.sources.Twitter.keywords= hadoop,election,sports, cricket,Big data, TwitterAgent.sinks.HDFS.channel=MemChannel 
TwitterAgent.sinks.HDFS.type=hdfs 
TwitterAgent.sinks.HDFS.hdfs.path=hdfs://192.168.56.101:9000/flumedata/ 
TwitterAgent.sinks.HDFS.hdfs.fileType=DataStream 
TwitterAgent.sinks.HDFS.hdfs.writeformat=Text 
TwitterAgent.sinks.HDFS.hdfs.batchSize=1000 
TwitterAgent.sinks.HDFS.hdfs.rollSize=0 
TwitterAgent.sinks.HDFS.hdfs.rollCount=10000 
TwitterAgent.sinks.HDFS.hdfs.rollInterval=600 
TwitterAgent.channels.MemChannel.type=memory 
TwitterAgent.channels.MemChannel.capacity=10000 
TwitterAgent.channels.MemChannel.transactionCapacity=100

이것은 flume을 실행하기 위해 사용하고 있습니다. ./bin/flume-ng 에이전트 -n TwitterAgent -f /opt/apache-flume-1.4.0-bin/conf/flume.conf

출처

2017-02-19 Shivani Tyagi

flume 버전 1.4.0. 위의 conf 파일을 확인하십시오. –

17/02/20 07:19:19 INFO twitter4j.TwitterStreamImpl : 404 : 요청한 URI가 유효하지 않거나 요청 된 사용자 (예 : 사용자)가 없습니다. 알 수없는 URL입니다. http://dev.twitter.com/pages/streaming_api에서 Twitter Streaming API 설명서를 참조하십시오. 오류입니다. –

대신 IP의

TwitterAgent.sinks.HDFS.hdfs.path=hdfs://localhost:9000/users/flume/tweets/

시도 주소 "localhost"사용

이것은 나를 위해 일했습니다.

출처

2017-08-14 14:37:41

Flume을 사용하여 트위터 데이터를 가져올 수 없음

답변

관련 문제