apache-storm

5열

1답변

java.lang.ClassNotFoundException : TopologyMain

로컬 폭풍우 클러스터에 간단한 단어 개수 토폴로지를 제출하려고합니다. 첫째, 나는 maven을 사용하고 폭풍 명령 행 클라이언트를 사용했다. Eclipse를 사용하여 JAR 파일을 만들었습니다. 그러나 예외가없는 주 클래스를 throw합니다. 아무도 저에게 문제가 될 수 있다고 말할 수 있습니까? 아래 코드와 예외를 첨부하고 있습니다. package com

3열

4답변

KafkaSpout은 Kafka에서 아무 것도받지 못합니다.

나는 Kafka-Storm "Hello World"시스템을 준비하려고합니다. Kafka가 설치되어 실행 중이며 Kafka 제작자와 데이터를 보내면 Kafka 콘솔 사용자와 함께 읽을 수 있습니다. "Getting Started With Storm"오라일리 책에서 챕터 02 예제를 가져 와서 일반 스파우트 대신 KafkaSpout을 사용하도록 수정했습니다.

2열

1답변

트라이 덴트 토폴로지를 사용하여 하나의 데이터베이스에서 데이터를 가져와 다른 데이터베이스에 저장

스파우트를 통해 하나의 데이터베이스에서 데이터를 가져 와서 트라이던트를 사용하여 다른 데이터베이스에 데이터를 저장하고 싶습니다. 폭풍과 트라이던트를 처음 사용했습니다. 그리고 그것을 구현하는 방법을 잘 모르겠습니다. 스파우트 (트라이던트에 의해 지원되는 IRichSpout 구현하는 별도의 Java 클래스) 데이터베이스에서 데이터를 얻고 개체로 내 보낸다.

3열

1답변

서버 mk-worker 초기화시 오류가 발생했습니다.

maven을 사용하여 로컬 모드에서 storm-0.8.1 및 zookeeper-3.3.3을 사용하여 wordcount 예제를 실행하려고합니다. 그러나, 내가이 명령을 실행할 때마다 나는 다음과 같은 오류 얻고있다 :. 내가 검색 및 이전 내가 사육사 3.4.5를 사용하고 있었다 발견 mvn exec:java -Dexec.mainClass="com.test.

0열

1답변

어떻게 폭풍우가 순서대로 튜플을 보낼 수 있습니까?

폭풍 토폴로지를 작성할 때 터플의 순서가 항상 스파우트가 방출하는 순서와 같지 않다는 것을 알았습니다. (스파우트의 기능은 파일을 한 줄로 읽은 다음 볼트없이 없이 줄을 보내는 것입니다.Thread.sleep()이므로이 절차는 매우 빠름). 아무도 말해 주둥이 또는 볼트로 방출되는 튜플 순서를 어떻게 보장 할 수 있습니까? 고마워요!

-1열

4답변

API를 통해 XML 데이터를 Hadoop에 착륙

API를 통해 엄청난 양의 XML 데이터를 받고 있습니다. 이 대규모 데이터 세트를 처리하기 위해 Hadoop에서이를 수행 할 계획이었습니다. 효율적으로 데이터를 Hadoop으로 가져 오는 방법을 이해하는 데 도움이 필요했습니다. 사용할 수있는 도구는 무엇입니까? 이 데이터를 실시간으로 가져올 수 있습니까? 의견을 제공해주세요. 도움 주셔서 감사합니다.

8열

2답변

폭풍을 사용할 때 토폴로지 컨텍스트에서 볼트로 객체에 액세스하는 방법은 무엇입니까?

볼트가 토폴로지에 액세스 할 수 있도록 토폴로지를 만들 때 객체를 전달해야하며 해당 객체를 기반으로 추가 처리를 수행해야합니다. TopplogyContext을 통해 객체를 전달할 수 있습니까? 그렇다면 어떻게됩니까? 또는 토폴로지를 제출할 때 볼트를 처리/제어 할 수 있도록 제출하기 전에 객체를 전달하는 다른 방법이 있습니까? 모든 볼트가 액세스 할 수 있

5열

2답변

Twitter Storm v/s Apache Hadoop

Twitter의 폭풍과 Apache Hadoop간에 누군가 의 아키텍처 차이을 설명 할 수 있다면 좋을 것입니다. 나는 실시간 v/s 일괄 처리를 넘어서는 몇 가지 내부 자료를 찾고있다. 두 기술 모두 Hadoop의 작업 추적기/작업 추적기와 Storm의 등가 후미/감독자 측면에서 Hadoop 파티션 및 이와 동등한 셔플 링 (무작위)의 관점에서 Storm

2열

1답변

Storm에서 튜플의 전역 평균을 계산하려면 Trident를 사용해야합니까?

[int id, int value]로 구성된 들어오는 튜플의 평균을 Storm으로 계산하고 싶습니다. 볼 수 있듯이 필자는 필드 그룹을 사용하여 데이터를 분할 할 수 없습니다. 이 계산을 배포하려면 토폴로지 아키텍처가 필요하며 각 볼트 인스턴스 내에서 미니 배치를 수행하고 집계하는 유일한 방법이 필요합니다. 트라이던트가 폭풍 내에서 미니 배치 처리를 수행하

10열

1답변

Storm-Kafka 여러 스파우트, 부하를 공유하는 방법?

여러 가지 스파우트에서 작업을 공유하려고합니다. 나는 외부 소스로부터 한 번에 하나의 튜플/메시지를 얻는 상황을 가지고 있으며, 스파우트의 여러 인스턴스를 원한다. 주된 의도는 부하를 공유하고 성능 효율성을 높이는 것이다. 하나의 스파이트 자체에서 동일한 작업을 수행 할 수 있지만 여러 스파우트에서로드를 공유하려고합니다. 로드를 분산시키는 로직을 얻을 수