스톰 1.0.2에서 kafka-spout은 토폴로지를 다시 시작할 때마다 동일한 데이터를 반복적으로 사용합니다.

Question

현재 폭풍 버전 프로젝트를 개발 중입니다. 0.9.6-> 1.0.2 내 스파우트가 사용 된 경우에도 최신 오프셋에서 읽기를 시작하지 않았습니다. SpoutConfig 생성자에서 동일한 spout ID. 오, 나는 사육자 데이터를 삭제하지 않았으며, 단지 폭풍 데이터를 삭제했습니다.

내 프로젝트 구성 및 소스를 과 같이 변경했습니다. 1. pom.xml에서 폭풍 - 코어 및 폭풍 - 카프카 버전이 0.9.6에서 1.0.2로, kafka_2.10이 0.8.2.2로 변경되었습니다. 2. 변경 패키지 경로 - backtype -> org.apache - storm.kafka -> org.apache.storm.kafka 3. 변경 직렬화 코드 바이트 [] 사용자 지정 계획에서의 ByteBuffer에 (내가 사용 아브 클래스)

토폴로지를 시작하고 내 스파우트 소비자가 특정 오프셋 값을 읽기 시작했습니다. 토폴로지를 다시 시작하더라도 다시 시작할 때마다 동일한 토폴로지에서 데이터를 읽습니다.

데이터가 1 ​​-> 데이터 (2) -> 데이터 3 (재시작 토폴로지) 데이터가 1 ​​-> 데이터 (2) -> 데이터

변경 버전 전에 올바르게 이런 다음 데이터를 소비 3에도 토폴로지를 재시작 . 데이터가 1 ​​-> 데이터 (2) -> 데이터 3 (재시작 토폴로지) 데이터 (4) -> 데이터 (5) -> 데이터 6 (재시작 토폴로지) 데이터 (7) -> 데이터 (8) -> 데이터 9

I didn를 ' SpoutConfig에서 zkRoot 값을 변경하십시오. (카프카 그룹 ID를 의미한다고 생각합니다.) 이 문제를 어떻게 해결할 수 있습니까?

감사와 관련

Answer 1

확인 spoutConfig.startOffsetTime ()