Kibana 대시 보드에서 중복을 제거하십시오.

Question

카프카에서 데이터를 사용하는 ELK 대시 보드가 있습니다. 입력 된 JSON 데이터에는 4 개의 열이 있습니다. 예를 들어 열은 col1, col2, col3, col4입니다.

일상적으로 신축성있는 검색을하는 100 개의 레코드가 있습니다.

특정 열을 기반으로 중복을 제거하려는 경우 col1이라고 말하면서 kibana 대시 보드에서 할 수있는 방법이 있습니까?

Answer 1

키 바나를 사용하여 문서를 삭제할 수 없습니다.

이 경우 삭제 API를 사용해야합니다.

이렇게하려면 삭제할 문서의 ID를 검색 한 다음 API를 사용해야합니다.

또는 삭제별로 질의 두 가지를 동시에 할 플러그인을 사용

{ 
    "size": 0, 
    "aggs": { 
    "duplicateCount": { 
     "terms": { 
     "field": "col1", 
     "min_doc_count": 2 
     }, 
     "aggs": { 
     "duplicateDocuments": { 
      "top_hits": {} 
     } 
     } 
    } 
    } 
} 

출처 : 당신은 필드 COL1에 중복으로 문서를 검색하는이 쿼리를 사용할 수 있습니다

https://www.elastic.co/guide/en/elasticsearch/plugins/current/plugins-delete-by-query.html : https://qbox.io/blog/minimizing-document-duplication-in-elasticsearch