apache-storm

0열

1답변

Kafka, Storm 및 Elasticsearch로 데이터 파이프 라인 만들기

다른 형식으로 다른 시스템에 들어가야하는 들어오는 데이터 스트림 (웹 사이트에서 긁힌 데이터)이 있습니다. 스트림은 JSON 형식으로 매우 자세하게 도착하므로 ElasticSearch로 푸시되어야하지만이 데이터의 일부 집계는 관계형 데이터베이스 및 그래프 데이터베이스에 추가되어야합니다. ElasticSearch, Neo4J 등에서 Kafka/Storm을 사

1열

1답변

Storm에서 튜플 처리를 중지하고 다른 코드를 실행하는 방법

나는 Storm의 초보자입니다. 나는 그것을 대학 프로젝트에 사용하고 있습니다. Spout이 MySql 데이터베이스에 링크되어 있고 토폴로지가 2 개 있고 볼트가 2 개 있습니다. 스파우트에 연결된 첫 번째 볼트는 튜플에 필요하지 않은 정보를 준비하고 제거합니다. 두 번째는 튜플을 필터링합니다. 로컬 모드에서 작업하고 있습니다. 내 질문 : 토폴로지를 실행

0열

1답변

storm suppot ha host, 예 :. 후광 호스트?

그렇다면 어떤 버전에서 폭풍우가이를 지원합니까? 폭풍 버전을 업그레이드하고 싶기 때문에이 사실을 알고 싶습니다 (현재 폭풍우 버전은 0.10.0입니다). 실패한 후광이 실행 토폴로지에 영향을 미치지 않기 때문에 후광에 대한

0열

3답변

java.lang.NoSuchMethodError : org.apache.zookeeper.ZooKeeper. <init> (Ljava/lang/String; ILorg/apache/zookeeper/Watcher; Z) V

기본 토폴로지를 얻으려면 Apache Storm을 사용하여 로컬 클러스터를 설정하려고합니다. 현재 사용중인 카프카 2.11-0.8.2.1 & 폭풍 0.9.5. Spout과 Bolt가 구성되어 있고 몇 개의 메시지가 파이프 라인을 통과했습니다. 2 개의 메시지를 보낸 후에 예외가 발생하지만 그 이유는 알 수 없습니다. 항아리와의 호환성/버전 문제 일 수 있습

0열

2답변

패키지 이름 변경을위한 maven 트릭

우리 프로젝트는 폭풍우를 0.10.0에서 1.0.2로 업그레이드 할 계획입니다. 이러한 버전 사이 는 폭풍 이제 우리는 폭풍 JMS와 같은 제 3 자 폭풍 종속성의 몇 https://github.com/HolmesNL/kafka-spout 등을 사용 org.apache 에 backtype에서 모든 패키지 이름을 변경 이 프로젝트의 일부가 곧 1.0.2로 업

-1열

1답변

스파크 스톰 또는 플린 크 - 빅 데이터 분석

카산드라 테이블 (3 노드 클러스터)에 많은 양의 데이터 세트를 가지고 있고 매일받은 레코드에 대해 합계 연산을 수행해야하는 경우 어떤 기술을 탐색 할 수 있는지 추천 할 수있는 사람이 누구입니까? . 계산 된 계산은 MySQL 테이블에서 업데이트해야합니다. 은 현재 내가 SQL 및 CQL 쿼리하지만 매우 느린와 미래의 데이터가 기하 급수적으로 증가됩니다를

2열

1답변

KafkaSpout에서 읽고 Kafka Bolt에 동일한 내용을 쓰는 예제

하나의 주제에서 메시지를 읽고 다른 주제로 다시 쓰는 Storm 기반 코드를 작성하려고합니다. 입력 토픽은 ProtoBuf 형식의 데이터를 가지며 출력은 JSON 형식을 갖습니다. 나는 그것을 성취 할 수 없다. 이 토폴로지를 구축 코드 : Config conf = new Config(); //set producer properties.

0열

1답변

Apache 폭풍과 RabbitMQ Spout on Clojure

이전에 Kafka를 데이터 소스로 사용하고 있었지만 매우 강력했지만 다소 가파른 학습 곡선을 사용하여 부분적으로 작동하도록 관리했지만 여기 저기에 약간의 발목이 있었지만하지 않았습니다. 생산에서 그것을 유지하는 것이 편안함을 느낀다. Rabbitmq로 전환하기로 결정 했으므로 좀 더 익숙해졌지만 약간의 문제가있었습니다. Rabbitmq에서 Apache St

0열

1답변

폭풍 트라이던트를 사용할 때 병렬 처리를 2 이상으로 설정하면 모든 실행 프로그램을 하나의 서버가 아닌 다른 서버에서 실행할 수 있습니까?

즉, 병렬 처리가 2이면 볼트가 2 개의 다른 서버에서 실행되고 병렬 처리가 3이면 볼트가 3 개의 다른 서버에서 실행됩니다. 저에게있어 중요한 것은 하나의 서버에서만 모든 작업을 실행하고 싶지 않기 때문에 너무 느릴 것입니다. "노동자의 수를"구성 매개 변수를 증가

0열

1답변

Apache Storm - 생산 모드가 오래된 코드를 실행합니다.

Apache Storm에서 매우 이상한 문제가 있습니다. 코드를 업데이트하고 로컬 모드로 실행하면 모든 것이 잘 작동합니다. 그러나 제작 모드에서 Storm을 실행할 때 실행되는 코드는 이전 버전입니다. 이것은 절대적으로 놀라운 일입니다. Storm이 현업 환경에서 실행되는 코드를 최신 버전으로 업데이트하도록하려면 무엇을 삭제해야합니까? 아니요, 저는 상상