스톰이 폭풍우 클러스터 모드에서 데이터를 읽거나 내보내지 않습니다.

Question

클러스터 모드뿐만 아니라 로컬 모드에서도 apache storm 1.0.0을 사용하고 있습니다. 스파우트의 경우 kafka 주제 (kafka 2.11-0.8.2.1을 사용 중입니다)에서 데이터를 읽습니다. 스파우트는 kafka 주제에서 데이터를 읽는 중이고 로컬 모드에서 스톰을 사용할 때 데이터를 방출하지만 클러스터 모드에서 스톰을 실행할 때 스톰 스파우트가 데이터를 방출하지 않습니다.

독서의 카프카 데이터에 대한 나의 토폴로지 구현은 다음과 같다 :

brokerHosts = new ZkHosts(kafkaZookeeper); 
SpoutConfig kafkaConfig = new SpoutConfig(brokerHosts, kafkaTopicIn, "", "storm"); 
kafkaConfig.scheme = new SchemeAsMultiScheme(new StringScheme()); 
TopologyBuilder builder = new TopologyBuilder(); 
builder.setSpout("spout", new KafkaSpout(kafkaConfig), 2); 

내 폭풍 구성 파일 (conf의/storm.yaml) : 나는 또한

storm.zookeeper.servers: 
- "localhost" 
storm.zookeeper.port: 2181 
nimbus.seeds: ["localhost"] 

storm.local.dir: "/tmp/storm" 

을 받고 있지 않다 클러스터 모드에서 스톰 토폴로지를 제출하는 동안 오류가 발생했습니다.

토폴로지 스파 아웃이 클러스터 모드에서 데이터를 방출하지 않는 이유는 무엇입니까? 도움을 주시면 대단히 감사하겠습니다.

Answer 1

단계로, 생산/클러스터 모드로 제출 된 토폴로지를 만들기 전에 nimbus, 감독자, UI를 시작한 다음 폭풍우 UI에서이 클러스터를 확인하고 오류가 있는지 로그 파일을 확인하십시오.

이 정보를 공유하십시오.

Answer 2

토폴로지를 클러스터에 제출하기 전에 nimbus 및 supervior를 시작해야합니다. 그게 끝나면 폭풍에 로그 폴더를 찾을 수 있습니다. 로그 파일을 확인하고 계속 진행할 수 있습니다.

Answer 3

귀하의 소중한 의견에 감사드립니다. 이제 작동 중입니다. 스톰 1.0.0 토폴로지에서 사용했던 log4j 로거 API 버전에 문제가있었습니다. 이 log4j는 로컬 모드에서 문제를 일으키지 않았지만 클러스터 모드에서 문제를 일으켰습니다.