2017-05-12 4 views
1

severals 다른 로그 형식을 읽는 하나의 filebeat가 있습니다.Filebeat - 다중 행 구성 설정

Logstash에 단일 이벤트로 전송되는 단일 라이너가 제대로 작동하는 한 가지 형식입니다. 이제 다중 형식 인 다른 형식이 있습니다. 단일 이벤트로 읽고 구문 분석을 위해 Logstash로 보내고 싶습니다. 이것은 두 가지 이벤트가있는 로그 형식 예제입니다.

- input_type: log 
    paths: /Users/xxxxx/Downloads/elk/anotherlog/app.stderr.log 
    document_type: logsystemtwo 
    multiline.pattern: '`^=[A-Z]+|^$`' 
    multiline.negate: true 
    multiline.match: after 
- input_type: log 
    paths: /Users/xxxxx/Downloads/elk/mylogs/access.log* 
    document_type: logsystemone 

문제는 첫 번째 여러 함께 : 여기

error: I READ THIS. sent payload: [{"key": "values"}] 
custom status response: [{"key1": "values"}] 
callback headers: [{"key2": "values"}] 
error stack: [ something really bad happened 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x)] 

error: I AM NOT READING THIS. sent payload: [{"key": "values"}] 
custom status response: [{"key1": "values"}] 
callback headers: [{"key2": "values"}] 
error stack: [ something really bad happened 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x) 
    at here loremisptul (/xx/xx/x)] 

그리고

는 광부 구성입니다. 첫 번째 이벤트 (읽는 중)를 읽지 만 나머지는 무시합니다 (읽지 않은 상태입니다).

나는 많은 다른 시도했다 configurations,하지만 난 그냥 다른 이벤트를 읽을 수 없습니다. 항상 첫 번째 이벤트 만 보내고 나머지 이벤트는 무시합니다.

나는 Logstash 내부에서도 여러 줄을 할 수 있지만, 피해야하는 documentation에 따르면 알 수 있습니다. 이

- input_type: log 
    paths: /Users/xxxxx/Downloads/elk/logs/app.stderr.log 
    document_type: error 
    multiline.pattern: '^error: ' 
    multiline.negate: true 
    multiline.match: after 

언급 하시겠습니까 : 이미 내 경우에 작동하는 패턴을 발견

답변

1

가 매우 복잡한 구조를 가지고 또한, 내 경우에는, 나는 Logstash에서이 일을 피할 것 Filebeat에 대해 playground을 사용하면 패턴 프로토 타이핑을 도울 수 있습니다.