Elk Elasticsearch logstash 설정

Question

저는 ELK에서 새롭게 입생했습니다. 사실, 우분투 14.04에 이미 Logstash, elasticsearch 및 kibana를 설치했습니다. 우분투에서 기존 로그 파일을 사용하여 ELK를 테스트하려고하면 logstash가 elasticsearch에 로그를로드하지 않고 아무것도 표시하지 않습니다. 이것은 내 logstash 설정 파일입니다 : sudo는 gedit를 input {

file { 
path => "/home/chayma/logs/catalina.2016-02-02.log" 
start_position => "beginning" 
} 
} 

filter { 

grok { 
match => { "message" => "%{COMMONAPACHELOG}" } 
} 
} 

output { 
elasticsearch { 
hosts => [ "127.0.0.1:9200" ] 
} 
stdout   
{ 
codec => rubydebug 
} 
} 

는하지만, 내 elasticsearch.yml 포함 /etc/logstash/conf.d/logstash.conf :

이

cluster.name: my-application 

node.name: node-1 

node.master: true 

node.data: true 

index.number_of_shards: 1 

index.number_of_replicas: 0 

network.host: localhost 

http.port: 9200 

도와주세요

Answer 1

Logstash와 Elasticsearch가 같은 컴퓨터에 설치되어 있고 Logstash가 실행 중이라고 가정합니까?

sudo service logstash status 

가 연결 문제 나 구문 오류 (설정 그래서 아마 전, OK 모양)입니다 있는지 확인하기 위해 Logstash 로그 파일을 확인하십시오 :

tail -f /var/log/logstash/logstash.log 

Answer 2

이 COOMONAPACHELOG 로그 패턴과 일치 하는가하는 당신은 GROK를 사용하여 구문 분석하려고합니까? 우분투 14.04의 경로에서 기본적으로

/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/grok-patterns 

현재

https://grokdebug.herokuapp.com/

우리의 경우에 grok 수를 동일하게 확인할 수 있습니다 적용되는 다음과 같은 정규 표현식 :

COMMONAPACHELOG %{IPORHOST:clientip} %{HTTPDUSER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) 

로그 항목을 제공하십시오.

Answer 3

답장을 보내 주셔서 감사합니다. 모든 설정 파일 (탄성, logstash, filebeat)에 문제가 없습니다.

고마워요.