confluent

0열

2답변

Confluent 플랫폼의 Kafka-Connect API에서 max.poll.records를 설정하는 방법

confluent-3.0.1 플랫폼을 사용하고 Kafka-Elasticsearch 커넥터를 구축하고 있습니다. 이를 위해 Kafka에서 데이터를 가져 오기 위해 SinkConnector 및 SinkTask (Kafka-connect APIs)를 확장했습니다. 이 코드의 일부로 SinkConnector의 taskConfigs 메서드를 확장하여 "max.pol

1열

2답변

카프카 연결 합치적인 탄성 검색 싱크 (클래스를 찾을 수 없음 오류)

나는 카프카 연결에 매우 익숙하다. 카프카 주제에서 탄성 검색까지 내 메시지를 보내고 싶습니다. 사용 가능한 문서를 따른 후 .. 릴리스 tar.zip (https://github.com/confluentinc/kafka-connect-elasticsearch/releases)에서 탄성 검색 싱크를 다운로드하고 컴파일했습니다. 탄성 검색 속성 파일을 추가하

0열

1답변

SSL 구성을 가진 Confluent 스키마 - 레지스트리 2.0.1 버전

0.9 kafka에 연결하려면 합류 스키마 - 레지스트리를 사용해야합니다. 그러나 schema-registry 2.0.1 버전에서 사용 가능한 SSL 구성을 보지 못했습니다. 스키마 레지스트리와 kafka-rest에 ssl을 사용하여 0.9 kafka와 대화 할 수있는 방법이 있습니까?

1열

1답변

Confluent 및 Cassandra : 데이터 가져 오기 중 : 알 수없는 마법 바이트

에 데이터를 deserialize하지 못했습니다. http://www.confluent.io/blog/kafka-connect-cassandra-sink-the-perfect-match/에서 자습서를 따라했으며 avro 콘솔에서 cassandra로 데이터를 삽입 할 수 있습니다. 이제 flume을 사용하기 위해 이것을 확장하려고하고 로그 파일을 선택하고 k

0열

1답변

kafka-connect가 포함 된 여러 개의 하이브 파티션

나는 kafka-connect를 사용하여 프로세스 중에 하이브 통합과 함께 HDFS로 데이터를 스트리밍하려고했습니다. 필자의 경우에는 "FieldPartioner"를 파티션 클래스로 사용해야합니다. 제 문제는 다중 파티션을 얻을 수 없다는 것입니다. 예 : { "_id": "582d666ff6e02edad83cae28", "index":

0열

2답변

스키마 레지스트리 레이어를 추가하면 가중치가 증가합니까?

/consumer 메시지를 생성 할 때 Schema Registry의 추가 레이어 (일명 실패 지점)를 추가하면 어떤 이점이 있습니까? 서비스가 중단되면 메시지가 소비되거나 생성되지 않습니다. Kafka를 사용하는 시스템이 스키마 레지스트리를 사용하지 않아 오류가 발생하기 쉽지 않을까요?

3열

2답변

봄 클라우드 스트림 카프카> 플루 REST 프록시에서 아 브로 메시지를 소모

나는 다음과 같은 시나리오 한 : 프로듀서 브로로 (플루의 스키마 레지스트리에 스키마를 등록) 플루의 REST 프록시를 통해 카프카 주제에 메시지를 인코딩 보냅니다 http://docs.confluent.io/3.0.0/kafka-rest/docs/intro.html#produce-and-consume-avro-messages 봄 클라우드 스트림 활성화 메

1열

1답변

합류 kafka 나머지 avrò 제작자

나는 합류 kafka - 휴식을 사용하여 avro 메시지를 생산, 나는 그것을 소비하는 나머지 종점을 사용할 때, 반환 형식은 이와 같습니다. { "key":null, "value": {ACTUAL_PAYLOAD}, "partition":X,"offset":0 } 는 사실이 형식 또는 "키"와 "파티션"소비자 엔드 포인트가

0열

1답변

합리적인 카프카 휴식 시리얼 라이저를 구성하는 방법은 무엇입니까?

합리적인 카프카 쉬어 직렬 변환기를 바꿀 수 있습니까? 합리적인 avro 시리얼 라이저를 사용자 정의 된 시리얼 라이저로 바꾸고 싶지만 프로듀서 풀 (https://github.com/confluentinc/kafka-rest/blob/2.x/src/main/java/io/confluent/kafkarest/ProducerPool.java)을 확인했습니다.

3열

2답변

"스키마 레지스트리 URL을 누락는"

안녕 임은 카프카 연결 고정 표시기 이미지 docker run -d \ --name=kafka-connect \ --net=host \ -e CONNECT_BOOTSTRAP_SERVERS=localhost:39092 \ -e CONNECT_REST_PORT=28082 \ -e CONNECT_GROUP_ID="qu