로그의 패턴 인식

Question

웹 응용 프로그램 클러스터의 로그 분석 시스템을 구축하고 있습니다. 저의 목표는 한 곳에서 많은 로그를 수집하여 단일 형식으로 변환하고 웹 인터페이스를 통해 표시하는 것입니다. 로그를 수집하고 서식을 지정하기 위해 logstash를 사용하고 웹 인터페이스로 kibana를 저장하기 위해 elasticsearch를 사용하기 시작했습니다. 이 시스템을 사용하면 로그 메시지를 저장, 확인, 검색 및 필터링 할 수 있지만 더 원합니다!

메시지 패턴을 인식하기 위해 opensource 복합 이벤트 처리 시스템이 필요합니다. 주요 목표는이 같은 보고서를하는 것입니다 :

• 123 오류는 오늘 "라인 (321)에 BlahController.php"에 있었다 recoginzed 5 개 새 로그 패턴 오늘
• "SSH의 수를 거기
• 인증 실패 3 %

슬라이드 12-14에서 비슷한 보고서를 사용하여 presentation을 발견했습니다. 내가 아는 한, 그것이 맞춤 CEP 시스템이었습니다.

내 질문 : 내 목표를위한 오픈 소스 소프트웨어가 있습니까?

Answer 1

요구 사항 (오픈 소스)에 적합한 안정적인 복합 이벤트 처리 시스템은 JVM 및 .NET 플랫폼에서 모두 사용할 수있는 Esper입니다.