웹 서비스로 노출 된 데이터를 Elasticssearch에 입력 할 수 있습니까?

Question

다른 공급 업체에서 개발 및 유지 관리하는 여러 데이터 센터에서 실행되는 많은 응용 프로그램이 있습니다. 각 응용 프로그램에는 응용 프로그램에 대해 통합 된 관련 로그 데이터 (감사 데이터, 보안 데이터, 비용 계산, 성능 데이터 등과 관련된 데이터)를 표시하는 웹 서비스가 있습니다.

내 작업은 각 시스템의 데이터를 Elasticsearch, Kibana 및 Logstash의 설정으로 가져와 비즈니스 보고서를 만들거나 원하는대로 데이터를 볼 수 있도록하는 것입니다.

이러한 "노출 로그"서비스에 통합 할 JBoss 응용 프로그램 서버가 있다고 가정합니다. Elasticssearch를 공급하는 가장 좋은 방법은 무엇입니까? 각 서비스를 호출하는 일부 Logstash 플러그인? JBoss는 Logstash 플러그인을 사용합니까? 아니면 다른 방법으로?

Answer 1

가장 좋은 방법은 로그가 생성 된 서버에 logstash shipper를 설정하는 것입니다.

그러면 Redis 서버로 발송됩니다.

또 다른 logstash 인스턴스는 Redis에서 데이터를 가져와 색인화 한 다음 Elasticsearch로 보내야합니다.

키바나는 Elasticsearch에 인터페이스를 제공합니다. Elasticsearch는 선량이있는 곳입니다.

Logstash를 조금 전에 설치하는 방법에 대한 글을 올렸습니다. 버전 이후로 업데이트되었을 수 있지만 여전히 유효합니다.

http://www.nightbluefruit.com/blog/2013/09/how-to-install-and-setup-logstash/

Answer 2

JBoss 응용 프로그램 서버가 로그를 파일에 기록합니까?

내 경험에 의하면, JBoss 응용 프로그램 (다중 서버)은 로그를 파일에 기록합니다. 그런 다음 logstash를 사용하여 로그 파일을 읽고 모든 로그를 중앙 서버로 보냅니다. here을 참조 할 수 있습니다.

그래서 다른 데이터 센터에 대대적 인 발송자를 설치하는 것은 무엇입니까? 이 작업을 수행 할 수있는 권한이 없으면 다른 웹 서비스에서 로그를 가져 와서 파일에 저장하는 프로그램을 작성하려고합니다. 그런 다음 로그 파일을 읽도록 logstash를 설정하십시오. 지금까지 logstash에는 웹 서비스를 호출 할 수있는 플러그인이 없습니다.