Logstash 그루크 필터 사용자 정의 패턴이 작동하지 않습니다.

Question

로그 파일 (http://codepad.org/vAMFhhR2)이 있는데 그 중 특정 번호를 추출하려고합니다 (라인 18) 사용자 정의 패턴 grok 필터를 작성하여 http://grokdebug.herokuapp.com/에서 테스트했습니다. 그것은 잘 작동하고 원하는 값을 추출합니다. 여기

는 logstash.conf의 모습 방법은 다음과 같습니다

input { 
    tcp { 
     port => 5000 
    } 
} 

filter { 
    grok{ 
     match => [ "message", "(?<scraped>(?<='item_scraped_count':).*(?=,))" ] 
    } 
} 

output { 
    elasticsearch { 
     hosts => "elasticsearch:9200" 
    } 
} 

하지만 키바

생각에 동일한 로그에서 모든 기록과 일치하지 않는 이유는 무엇입니까?

Answer 1

정규 표현식이 유효 할 수 있지만 lookahead 및 lookbehind ("? ="및 "? < =")는이 문맥에서 적합하지 않습니다.

match => [ "message", "'item_scraped_count': %{NUMBER:scraped}" ] 

이가 '번호'grok 수 built-in pattern를 사용하여, scraped라는 필드로 'item_scraped_count': 후 번호를 추출합니다 : 대신 당신은 훨씬 간단 필터를 사용할 수 있습니다. 키바의

결과 :

{ 
    "_index": "logstash-2017.04.11", 
    "_type": "logs", 
    "_source": { 
    "@timestamp": "2017-04-11T20:02:13.194Z", 
    "scraped": "22", 
    (...) 
    } 
} 

나는 또 다른 개선을 제안 할 수있는 경우 :

input { 
    tcp { 
     port => 5000 
     codec => multiline { 
      pattern => "^(\s|{')" 
      what => "previous" 
     } 
    } 
} 

이 뜻 : 당신의 메시지를 쉽게 multiline 입력 코덱을 사용하여 병합 할 수있는 여러 라인에 분산되어 있기 때문에 공백 또는 {'으로 시작하는 모든 행을 이전 행과 병합하십시오.