Logstash & Elasticsearch issues

Question

Logitech를 사용하여 문제가 무엇인지 파악하는 데 도움이 필요합니다.

나는 Elasticsearch 1.1.0 및 logstash 1.4.0을 사용하여 로그를 ES & Kibana로 푸시합니다.

내 서버는 AWS (Master -> V.Core (4), ECU (8), RAM (15GB))에 있습니다. 노드가 동일합니다.

내 logstash 구성 : 나는 S3에서 로그 파일을 복용하고 그들을 받아 ES 클러스터로 밀어 logstash 그 후 서버 에서 로컬을 넣어있어

. Logstash + Kibana + ES Master (1 서버에 위치) 이러한 파일은 12M 크기와 비슷하며 20,000 개가 넘는 파일이 있습니다.

MY ES 구성 클러스터 상태를 확인 (마스터)

cluster.name: MY-CLUSTER-NAME 
node.name: MY-NODE-NAME 
node.master: true 
node.data: true 
path.data: /PATH_TO_DATA/data 
path.logs: /PATH_TO_LOGS/logs 

ES 구성 (노드)

cluster.name: MY-CLUSTER-NAME (Same name) 
node.name: MY-NODE-NAME (Another name) 
node.master: false (This is node not master) 
node.data: true 
path.data: /PATH_TO_DATA/data 
path.logs: /PATH_TO_LOGS/logs 

는 :

:

http://MASTER_IP:9200/_cluster/health 

이 결과

{ 
    "cluster_name": "es-cluster-onetagv2", 
    "status": "green", 
    "timed_out": false, 
    "number_of_nodes": 2, 
    "number_of_data_nodes": 2, 
    "active_primary_shards": 5, 
    "active_shards": 10, 
    "relocating_shards": 0, 
    "initializing_shards": 0, 
    "unassigned_shards": 0 
} 

내 Java 버전 (이 중요한 경우 몰라) :

자바 버전 "1.7.0_51"오픈 JDK 런타임 환경 (AMZN-2.4.4.1.36.amzn1-x86_64의 U51을 -b02) 오픈 JDK 64 비트 서버 VM (

내 문제는 내가 1 일 을 4 억 개 이상의 안타를 밀어 시도하고 있다는 점이다 24.45-B08, 혼합 모드)를 구축하고 나는 밀어 수 있습니다 24 시간은 6 천만과 비슷합니다. 그래서 나는 항상 뒤에있다.

나는 ES가 100 % CPU 사용법을 취하는 것을 볼 수있다. 하지만 이것이 문제인지는 알 수 없습니다.

아마도 내가 잘못하고있는 일을 안내하고 큰 로그를 ES로 빠르게 푸시 할 수 있습니다.

Answer 1

입력 파일을 분할하고 각 파일에 여러 입력을 적용하여 서로 다른 노드에서 여러 파일을 병렬로 읽을 수 있습니다.

ES 데이터 노드의 수를 4, 2 명의 ES 마스터로 늘리십시오. 이것은 두 개의 logstash 인스턴스 (2 개의 마스터와 2 개의 데이터 노드 제공)와 2 개의 Elasticsearch 노드 (2 개의 데이터 노드 제공)를 실행하여 수행 할 수 있습니다.