카프카 데이터

Question

내가 elasticsearch에 elasticsearch

얻기 다음과 같은 오류를 연결 카프카 사용하여 탄성 검색에 아파치 카프카로부터 데이터를 전송하려고 elaticsearch하기 :

[2017-12-21T11:00:54,979][DEBUG][o.e.a.b.TransportShardBulkAction] 
[pageviews7][0] failed to execute bulk item (index) BulkShardRequest 
[[pageviews7][0]] containing [index {[pageviews7][kafkaconnect] 
[pageviews7+0+0], source[{"key1":"value1"}]}] 
org.elasticsearch.index.mapper.MapperParsingException: failed to find 
type parsed [string] for [key1] 

에 이어 내 카프카 - 연결 - elasticsearch입니다 특성 파일 :

이 Elasticsearch에 문서를 색인에 문제처럼 보인다

name=elasticsearch-sink 
connector.class= 
io.confluent.connect.elasticsearch.ElasticsearchSinkConnector 
tasks.max=1 
topics=pageviews7 
key.ignore=true 
connection.url=http://localhost:9200 
type.name=kafkaconnect 
schemas.enable=false 
schema.ignore=true 

Answer 1

:

1. 문서를 수동으로 ES에 게시하십시오.
2. 동일한 오류가 발생합니다. 즉, 색인 맵핑에 몇 가지 문제점이 있음을의 L합니다. 내가 의심으로 인덱스 매핑에 문제가있는 경우
3. , 당신은 topic.index.map 속성을 사용하여 다른 인덱스에 기록 할 수 있습니다 또는 데이터에 대해 상관하지 않습니다 만 (현재의 인덱스를 삭제). ES에 수동으로 곱슬 곱슬하는 방법

예 :

curl -XPOST <ES-url>/pageviews7/test_id -d '{"key1":"value1"}' 

당신에게 현재 inedex 삭제는 :

curl -XDELETE <ES-url>/pageviews7 

Answer 2

탄성-검색에 대한 stream-reactor 카프카 커넥터를 사용해보십시오. 하나는 TCP 프로토콜과 다른 하나는 HTTP 프로토콜을 사용하여, 그들은 전투 테스트 ES 인덱스에 5+ 억 이벤트/일을 침몰 생산에 있었다, 그들은 구성 아주 쉽게 잘 설명되어 있습니다

https://github.com/landoop/stream-reactor

Answer 3

어떤 버전의 Elasticsearch를 실행하고 있습니까? Kafka Connect 커넥터 구성의 schema.ignore=true 설정이이 오류를 해결할 수 있습니다.