0
나는 이것에 대한 정보를 찾으려고했지만 내가 찾고있는 것을 찾지 못했습니다.Elasticsearch에서 공간을 절약하기 위해 오래된 데이터를 병합하는 방법
나는 매분마다 Elasticsearch 데이터베이스에 메트릭을 저장합니다. 제 아이디어는 빈도가 단기간에 중요하다는 것입니다.
예를 들어 지난 주에 매분마다 측정 항목을 갖기를 원하지만 지난 주마다 하나의 측정 항목 문서 만 갖기 위해 이러한 측정 항목을 병합하고 싶습니다. 따라서
, 나는 그런 스파크 스트리밍 또는 FLINK 같은 스트림 프로세싱 프레임 워크와이를 달성하기 위해 아이디어를 가지고 있지만, 내 질문은 : 그것은 Elasticsearch에 일어날 수 있도록하는 기본 방법/도구/트릭이있다?
감사합니다. 제 질문이 충분히 명확하고, 그렇지 않은 경우 자세한 내용을 남겨 주시기 바랍니다.
매주 모든 통계를 저장하고 일주일이 지나면 지난 주 인덱스에 대한 집계 쿼리를 실행하고 일 또는 주 수준에서 모든 정보를 집계 할 수있는 주간 인덱스를 만드는 것이 한 가지 아이디어입니다. 그런 다음 매주 집계 된 정보를 새 문서로 나중에 쿼리 할 수있는 다른 기록 인덱스에 저장합니다. 나는 이것을 위해 Spark 스트리밍을 활용할 필요가 없다고 생각합니다. ES 집계는 매우 쉽게 할 수 있습니다. – Val
의견을 보내 주셔서 감사합니다. 이것이 제가 찾고 있었던 것 같아요. 당신은 대답 할 수 있습니다. – ImbaBalboa