Storm 1.0.2 데이터가 전송되지 않을 때의 hdfs-bolt acking 튜플

Question

나는 Kafka Spout에서 JSON 데이터를 가져 와서 두 개의 볼트를 처리 한 다음 hdfs- 볼트. Storm 0.9.6과 Kafka 0.8.2.1 및 Hadoop 2.5.0을 사용하여 완벽하게 작동했습니다. 필자가 구현 한 프로덕션 시스템은 Storm 1.0.2, Kakfa 0.10.1.0 및 Hadoop 2.6.0으로 도구를 업데이트합니다. 위의 버전에 대한 패키지 정보를 업데이트 할 때 hdfs 볼트는 스파우트를 통해 데이터를 보내기 전에 "고스트"튜플을 시작합니다. 토폴로지가 종료 될 때까지 UI에 계속해서 문제를 보여줍니다. 또한 실제로 데이터를 처리 할 때 메시지가 hdfs에만 기록되기도합니다. 대부분의 시간은 출력되지 않습니다. 버전의 차이점에 관한 아이디어로 이와 같은 문제가 발생합니까?

Answer 1

확실하지 않지만 볼트로 방출되는 진드기 튜플에 직면했을 가능성이 큽니다. 실행 논리에 다음 조건을 추가하여 다음을 처리하십시오.

public void execute(Tuple tuple, BasicOutputCollector oc){  
    if (!TupleUtils.isTick(tuple)) 
    { 
     //Your code 
    } 
}