나는 폭풍우에 초보자입니다. 그냥 폭풍을 사용하여 병합/두 개의 다른 dbs 두 테이블에 가입 할 수 있다면 (coz, 두 테이블의 일종의 외래 키 관계가 있고, 다른 dbs/시스템에 존재하는 일이 있습니다), 어떤 아이디어를 어떻게 만들 것인가? 토폴로지? 두 dbs에서 주기적으로 읽는 두 개의 분리 된 스파우트가 있고 결합 작업을 수행하는 데 볼트가있는
단일 노드에는 1 개의 스파우트와 1 개의 볼트가 있습니다. Spout은 RabbitMQ에서 데이터를 읽고 Cassandra에 데이터를 쓰는 유일한 볼트로 내 보냅니다. 우리의 데이터 소스는 초당 10000 개의 메시지를 생성하며 폭풍은이를 처리하는 데 약 10 초가 걸리며 이는 우리에게는 너무 느립니다. 토폴로지의 병렬 처리를 늘리려고했지만 아무런 차이가
아래의 폭풍에 관한 게시물을 읽었습니다. What is the "task" in Storm parallelism 스톰의 초보자 인 질문과 답변 모두 저에게 매우 도움이됩니다. 그러나 나는 아직도 약간의 의견이있다. 그것은,이 질문에 대해 말한다 병렬 처리의 수준 증가하지 않는다 집행 당 하나 이상의 작업을 실행 -> 집행자는 항상 작업 즉, 그 모든 작업에
파일에서 읽고 파일을 생성하는 간단한 프로그램을 만들었습니다. 완벽하게 작동합니다. 실시간 토폴로지를 만드는 방법에 대해 걱정하고 있습니다. 원본 파일을 수정하면 새 레코드가 추가되어야 함을 의미합니다. 대상 파일 난 다른 내가이 behavior.Below 로컬 토폴로지를 제출하는 코드입니다 달성하기 위해 구성해야 cluster.What 내 토폴로지를 재배
내가 폭풍 서버의 토폴로지를 배포하려고하고 다음 말해 유지 : java.lang.RuntimeException: java.lang.IllegalStateException: Attempting to call unbound fn: #'storm-nblabla/operation-bolt__ at backtype.storm.clojure.ClojureBolt.pr
나는 트라이던트에 초보자이고 나는 만들 찾고 있어요 '평균 합계()'에 그리 게이터 유사 '하지만 Average'.The 다음은 작동하지 않습니다'에 대한 : public class Average implements CombinerAggregator<Long>.......{
public Long init(TridentTuple tuple)
여기에 언급 된 kafka-storm 스파우트를 시도해 보았습니다. https://github.com/nathanmarz/storm-contrib/tree/master/storm-kafka 및 사용 된 구성은 아래와 같습니다. BrokerHosts brokerHosts = KafkaConfig.StaticHosts.fromHostString(
I
나는 Storm에서 일했으며 입력 소스로 로컬 텍스트 파일을 사용하는 기본 프로그램을 개발했습니다. 하지만 이제는 외부 시스템에서 지속적으로 데이터를 스트리밍해야합니다. 이를 위해 카프카가 최선의 선택입니다. 문제는 내 스파웃이 카프카에서 스트리밍 데이터를받는 방법입니다. 또는 Storm과 Kafka를 통합하는 방법. 카프카에서 데이터를 처리 할 수 있