봄-XD는 HDFS

내 마지막 논문에서 일하고 있어요

을 트위터에서 스트림을 기록하지 않습니다와 나는 봄-XD에 문제가 : 내 XD - 쉘에서 실행봄-XD는 HDFS

을

--deploy | "로그인 --track = twitterstream ', 마일리 사이러스를 마일리 사이러스'"그리고 그것은 작동

스트림은 --name cyrustweets --definition을 만들 수 있습니다. 내 xd-singlenode는 트윗을 보여줍니다.

하지만 HDFS에 쓰기를하려고하면

스트림 --name cyrustweets --definition 작성 " --track = '마일리 사이러스, 마일리 사이러스'를 twitterstream | HDFS을"
을 --deploy

XD-singlenode 나에게 다음을 보여

08 : 28 : 05,763 1.0.3.RELEASE는 WARN twitterSource-1-1 twitter.TwitterStreamChannelAdapter - 스트림을 읽는 중 예외가 발생했습니다. org.springframework.messaging.MessageHandlingException : 실패했습니다 메시지 페이로드를 HDFS에 씁니다.

어떤 도움이 필요합니까? java.net.ConnectException :에 의해 너무

출처

2015-01-03 Jesús Castañón Rincón

로그에서 전체 스택 추적을 표시 할 수 있습니까? 다른 곳 (예 : 요점)에 게시하려면 너무 커서 여기에 게시하십시오. –

전체 로그는 여기에 있습니다 : https://gist.github.com/anonymous/ac62851d96730a828c68 –

이 오류는 소스 측에서입니다. Twitter API에는 스트리밍 시간에 몇 가지 제한이 있으며 일반적으로 IP 주소로 결정됩니다. 30 분 안에 100MB 트윗을 복제 할 수 없습니다. 내 경험으로 중요한 로그 파일을 얻으려면 몇 주 동안 매일 스팀해야합니다.

출처

2015-01-10 20:02:51 akhand17

훨씬 인한 http://hortonworks.com/hadoop-tutorial/using-spring-xd-to-stream-tweets-to-hadoop-for-sentiment-analysis/

감사 :이 튜토리얼 다음 Conexión의 rehusada을

이는 HDFS 포트를 의미 및/또는 호스트 이름이 잘못 (Connection Refused).

당신이 봄-XD의 최신 버전을 사용하는 경우는 하둡 연결 속성이 기본값으로, servers.yml으로 구성됩니다

# Hadoop properties 
    hadoop: 
    fsUri: hdfs://localhost:8020 
    resourceManagerHost: localhost 
    resourceManagerPort: 8032

출처

2015-01-03 19:06:55

이 기본 설정에서 무엇을 변경해야합니까? 내 가상 컴퓨터의 IP 주소에 대한 localhost 만 사용 하시겠습니까? 감사합니다. –

namenode를 실행중인 호스트와 포트. Hortonworks 샌드 박스에 익숙하지 않지만 자습서에 다음과 같이 적혀 있습니다. "... 샌드 박스가로드 될 때 샌드 박스의 IP 주소를 찾을 수 있습니다 :" –

XD 위키에서 HDP 샌드 박스 사용에 대한 몇 가지 지침이 있습니다 - https : /github.com/spring-projects/spring-xd/wiki/Using-Hadoop-VMs-with-Spring-XD#hortonworks-sandbox –

답변

관련 문제