fluentd에서 elasticsearch의 원시 필드 추가

Question

내 응용 프로그램 노드에 FluentD가 설치된 중앙 집중식 로깅 시스템, 테일 로그 파일을 설치했습니다. 응용 프로그램 노드의 FluentD는 처리 된 로그를 수집기 노드의 FluentD로 전달합니다. 이 컬렉터 노드의 FluentD는 다양한 출력으로 전달됩니다. 하나는 ElasticSearch 클러스터입니다. 그런 다음 키바나를 실행하여 ES에서 읽습니다. (내가 일반적으로 생각하는 일반적인 설정)

키 바나의 일부 데이터를 특정 데이터 필드로 시각화하려고 할 때, 키바 나는 사물을 올바르게 그룹화하지 않습니다. 예를 들어 이메일 주소는 여러 값 (이름, 도메인 등)으로 간주됩니다. 약간의 연구를 한 후에는 문제가 내 필드를 .raw 값으로 복제하도록 구성해야한다는 사실을 이해합니다. (분석 대 분석되지 않음)

문제는 FluentD에서이 데이터를 Elasticsearch에 .raw 필드가 포함되도록 추가하는 방법을 알아낼 수 없다는 것입니다. Logstash가 기본적으로하는 것입니다.

나는 유창 - 플러그인 - elasticsearch 사용하고

: by updating the index mapping.를 not_analyzed로 https://github.com/uken/fluent-plugin-elasticsearch

Answer 1

이 필드를 토큰 화에서 Elasticsearch를 중지하려면, 당신은 필드를 지정할 수 있습니다 당신은 인덱스를 삭제할 수 있습니다 (또는 새로 만듭니다) 기존 색인에서 기존 매핑을 수정할 수 없으므로이 변경 사항이 적용됩니다. 다음을 포함하는 매핑을 넣을 수 있습니다.

{ 
    "email": { 
    "type":  "string", 
    "index": "not_analyzed" 
    } 
}