자바 스크립트를 사용하여 데이터를 구문 분석 할 때 드루이드 카프카 처리에 실패했습니다.

Question

카프카에 특정 형식의 메시지가 있습니다. 그들은 캐럿 분리되어 있습니다. 지금 평온을 사용하여 이것을 구문 분석하려면 아래 구문 분석 스펙을 사용하고 있습니다.

 "parser" : { 
      "type" : "string", 
      "parseSpec" : { 
       "timestampSpec" : { 
       "column" : "datetime", 
       "format" : "yyyy-MM-dd HH:mm:ss" 
       }, 
       "dimensionsSpec" : { 
       "dimensions" : [], 
       "dimensionExclusions" : [ 
        "datetime" 
       ] 
       }, 
       "format" : "javascript", 
       "function" : "function(str) { var parts = str.split('^'); return { key1:parts[0],key2:parts[1],key3:parts[2] } }" 
      } 
      }, 

그러나 kafka 제작자를 통해 선을 삽입하고 평온한 로그를 확인할 때. 그것은 droppedCount=1를 보여줍니다. 메시지를 잃어 버리는 것입니다. 나는 브라우저에서 자바 스크립트 기능을 체크했다. 그것은 잘 작동합니다. 여기서 무엇이 잘못 될 수 있습니까?

Answer 1

자바 스크립트 형식을 지원하지 않는다고 생각합니다.

내 경험에 따르면 Tranquility는 "spec - ioConfig가없는 Druid 섭취 사양"과 Druid 설정 문서에 대한 링크가 명확하게 언급되어있는 동안 Druid 구성 설정 전체를 지원하지 않습니다. 나는 일하지 않는 기능에 너무 많은 시간을 보냈다. 나는 디버거에서 코드를 실행하여 확신을 가질 수 있었다.

나는 최근에 Druid에 추가 된 Kafka extension을 제안합니다. 평온함이 필요하지 않습니다. 나는 Druid가 지원하는 모든 포맷이이 방법으로 작동한다고 믿습니다. 시도해보십시오.

평온은 오랫동안 업데이트되지 않았습니다. 네이티브 카프카 섭취로 넘어갈 것을 제안합니다.