apache-storm

0열

1답변

폭풍우의 클러스터에서 처리 체인 (볼트 및 스파우트)을 볼 수있는 시각화 도구가 있습니까?

컨텍스트 : 로컬로 생성 된 stom 클러스터에서 실행되는 통합 테스트 중 하나에서 null 포인터가 표시됩니다. 로그 수준이 증가하여 실제로 발생하는 상황을 파악할 수 없었습니다. 어떤 도움을 주시면 감사하겠습니다.

1열

3답변

이 명령을 사용하여 storm-startter에서 예제를 실행할 수없는 이유는 무엇입니까?

이전에 Storm 또는 Maven을 사용 해본 경험이 없었으며, 저는 초기 프로젝트를 진행하고 있습니다. 나는이 즉이 주어진 명령을 사용하여 자식 웹 사이트에 업로드 스타터 프로젝트를 컴파일 할 때 : mvn compile exec:java -Dexec.classpathScope=compile -Dexec.mainClass=storm.starter.Excl

3열

2답변

작업 훅이 JSON 직렬화가되지 않는 것 같습니다.

작업 훅을 추가하여 Tweak 한 작동중인 Storm 토폴로지가 있었는데 지금은 config가 json-serializable이 아니라는 오류가 발생합니다. 이 토폴로지가 LocalCluster에 제출되면 오류가 발생합니다. 내 문제는 내가 제대로 작업 후크를 구성하지 않는다는 것입니다. 설정 유형 backtype.storm.Config, 및 RubeGol

10열

2답변

는

나는 다음을 수행 토폴로지 작성하려고 해요 : 트위터 피드 구독하는 주둥이를 집계 볼트 (키워드 기준)이 컬렉션에 트윗 (N)을 집계하여 프린터 볼트를 보냅니다. 컬렉션을 콘솔에 한꺼번에 인쇄하는 간단한 볼트입니다. 실제로 컬렉션에 대해 더 많은 처리를하고 싶습니다. 로컬로 테스트했는데 제대로 작동하는 것 같습니다. 그러나 볼트에 그룹화를 올바르게 설정했는

1열

1답변

원격 모드에서 storm.starter.ExclamationTopology를 실행할 때 ClassNotFound 오류가 발생했습니다.

원격 모드에서 폭풍우 시작 예제를 실행하려고했습니다. 내가 사용 폭풍에 토폴로지를 제출하는 경우 : storm jar .\target\storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.ExclamationTopology myTopology 내가 노동자 로그에서 오류 다음 충족 :

5열

1답변

Twitter Storm 대신 Python으로 작성된 대안이 있습니까?

Twitter Storm에 대한 대안으로 다양한 검색을 한 후에 많이 찾지 못했습니다. 특히 일괄 처리를 사용하지 않는 스트리밍 방식의 빅 데이터 처리 라이브러리입니다. Hadoop MapReduce는 일괄 처리를 사용합니다. 거기에 100 % 파이썬이 있습니까?

5열

3답변

Lamina vs Storm

스트리밍 수치 데이터를 상당히 많은 양 (> 30G/day)으로 처리하기위한 프로토 타입 실시간 모니터를 설계하고 있습니다. Clojure에서이 언어를 쓰고 싶습니다. 언어가 "Observer + state machine"시스템에 적합 할 것 같아서 아마도 이것이 결국 끝날 것입니다. 프레임 워크에서 찾은 두 가지 주요 후보는 Lamina와 Storm입니다

1열

2답변

폭풍의 상위 10 개 결과 계산

나는 redis Server에서 문장을 읽고 각 단어의 출현 횟수를 계산하고 있습니다. 이제 계산에 따라 상위 10 개 단어를 계산하려고합니다. Redout Server의 문장을 읽으려면 한개의 Spout이 있습니다. 문장 하나 하나를 단어와 단어로 계산하는 하나의 Bolt로 구분합니다. 개수에 따라 상위 10 개 단어를 찾는 내 접근 방식은 무엇입니까?

3열

4답변

Kafka Storm HDFS/S3 데이터 흐름

Flume 에서처럼 카프카에서 팬 아웃 (복제)이 가능한지 확실하지 않습니다. 카프카에게 HDFS 또는 S3 데이터를 저장하고 실시간 처리를 위해 스톰에 해당 데이터의 사본을 보내고 싶습니다. Storm 집계/분석 결과는 Cassandra에 저장됩니다. 카프카에서 스톰으로 모든 데이터를 전송 한 다음 스톰에서 두 개의 결과를 전달하는 일부 구현을 봅니다.

41열

1답변

내가 "작업"의 개념 혼란 조금 해요 그러나 좋은 기사 "<a href="http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html" rel="noreferrer">Understanding the parallelism of a Storm topology</a>"</p> <p>에 따라 트위터 폭풍을 배우려고 노력하고있어 스톰 병렬

에서 "작업"이란 무엇입니까. 작업이 구성 요소의 실행중인 인스턴스 (주둥이 또는 볼트)입니까? 집행자가 실제로 여러 개의 작업을하는 것은 동일한 구성 요소가 집행자에 의해 여러 번 실행된다고 말하는 것입니다. 맞습니까? 평범한 의미에서 스톰은 스파우트 나 볼트 용 전용 스레드 (실행 프로그램)를 생성하지만 실행자 (스레드)가 병렬 처리에 기여하는 것은 인