elasticsearch logstash 100 % CPU가 샤드를 활성화합니다. 300 ++

Question

elasticsearch (logstash 사용)를 실행하면 CPU 소비가 100 % 증가합니다.

내가 클러스터의 상태를 확인하면 내가 너무 많은 활성 파편이 있습니까 왜

{ 
    "cluster_name": "elasticsearch", 
    "status": "red", 
    "timed_out": false, 
    "number_of_nodes": 2, 
    "number_of_data_nodes": 1, 
    "active_primary_shards": 301, 
    "active_shards": 301, 
    "relocating_shards": 0, 
    "initializing_shards": 4 
    "unassigned_shards": 300 
} 

를 볼 수 있습니까? 어디에서 구성 할 수 있습니까?

내가 스레드의 cahe와 메모리를 구성하려고 ( https://gist.github.com/reyjrar/4364063)

나는

curl -XPUT 'localhost:9200/_settings' -d ' {"index.routing.allocation.disable_allocation": false}' 

내 키바는 매우 느립니다을 시도하고 나는 더 이상 사용할 수 없습니다.

로그 45 일 동안 30GB의 인덱스가 있습니다.

Answer 1

당신이 가지고있는 일의 양을 고려할 때, 파편의 수는 정상입니다. 기본적으로 logstash는 5 개의 기본 샤드로 색인을 생성합니다.

ES 클러스터 상태가 빨간색입니다. 모든 노드가 실행되고 있습니까? 그것은 단지 2 개의 데이터 노드가 가동되었다고 말했습니까?

logstash에서 임베디드 ES를 실행하고 있습니까? 그렇다면 개발/테스트 용으로 만 권장되며 독립 실행 형 클러스터를 사용해야합니다.