apache-kafka-connect

0열

1답변

어떻게 debezium 변경 데이터 캡처와 MySQL에서 데이터를 캡처하고 kafka에 jdbc 싱크대와 연결 소비?

나는 데비지 변경 데이터 캡처로 mysql에서 데이터를 캡처하고 kafka connect jdbc sink를 사용하여 다른 MySQL로 데이터를 소비하는 문제가있다. deffzium이 kafka 주제로 생성하는 스키마 및 페이로드가 kafka connect jdbc sink가 기대하는 스키마와 호환되지 않기 때문에. jdbc 싱크가 다른 MySQL에서 데이

0열

1답변

플루 카프카 내가 합류를 사용하고 elasticsearch 문서 ID 생성

연결 :에 org.apache.kafka.connect.errors.DataException: STRUCT is not supported as the document id. at io.confluent.connect.elasticsearch.DataConverter.convertKey(DataConverter.java:75) at io.c

1열

1답변

무엇을 사용해야합니까 : Kafka Stream 또는 Kafka 소비자 API 또는 Kafka 연결

Kafka 스트림 또는 Kafka 소비자 API 또는 Kafka 연결에 대한 내게 가장 좋은 것이 무엇인지 알고 싶습니다. 주제에서 데이터를 읽은 다음 일부 처리를 수행하고 데이터베이스에 쓰기를 원합니다. 그래서 나는 소비자를 만들었지 만 Kafka 스트림 어플리케이션을 작성하고 변경을 수행하고 내 소비자 코드를 제거하고 db 코드를 작성해야하는 데이터베이

1열

1답변

카프카 커넥터 - Packacking 항아리

질문 은 내가 받는다는 프로 아니에요 그리고 나는 카프카 커넥터를 포장하려고 붙어있어. 모든 카프카 고유의 항아리는 또는 모두와 함께 지방 항아리를 구축 - 어느 쪽이든 당신은 커넥터 + 모든 종속 항아리가 들어있는 항아리 폴더를 생성 : 거기 포장을위한 두 가지 옵션이 있습니다 의존성 (그리고 나는 kafka 특정 항아리가 없다고 다시 가정하지만 그것은

0열

1답변

Apache Kafka를 데이터베이스에 연결하십시오.

PostgreSQL, Apache Kafka (데이터 전송 용) 및 Apache Spark Streaming (데이터 처리 용)을 사용하여 스트리밍/빅 데이터 애플리케이션을 만들려고합니다. 이 document 뒤에 나는 먼저 Kafka를 Sqlite 데이터베이스에 연결하려고 시도합니다. 하지만 명령을 사용하여 커넥터를 실행할 때 나는 프로세스 종료 전에 아

0열

1답변

kafka를 ftp에 연결하는 방법

저는 kafka를 처음 사용합니다 ftp 서버에서 연결하고 새 파일이 있는지 알아 보려면 kafka 대기열에 와야합니다. 제안 방법

0열

1답변

JDBC 싱크 커넥터 - kafka-connect를 사용하여 여러 테이블 항목에서 여러 테이블로 업 그레 이터

JDBC 싱크 커넥터를 사용하여 2 개의 카프카 항목을 읽고이를 수동으로 만든 2 개의 Oracle 테이블로 업 샘플하려고합니다. 각 테이블에는 upsert 모드에서 사용하려는 1 개의 기본 키가 있습니다. 커넥터는 1 주제에 대해서만 사용하고 pk.fields에서는 1 필드 만 사용하면 잘 작동하지만 각 테이블에서 하나씩 pk.fields에 여러 열을 입

4열

1답변

합류 3.3 업그레이드 후 Kafka-cassandra 커넥터가 실패 함

3.3.0으로 업그레이드 한 후 Cassandra 커넥터가 실패합니다. 카산드라 드라이버 버전은 3.3입니다. 스택은 아래에 나와 있습니다. [2017-09-14 08:56:28,123] ERROR java.lang.reflect.InvocationTargetException (com.cantiz.nucleus.kafka.connector.cassandr

0열

3답변

Kafka MySQL 소스와 연결

시작하기 전에 카프카에 완전히 익숙하지 않고 리눅스에 대해 처음이라 말하는 것으로 시작하고 싶습니다. 이렇게하면 끝내 버리는 간단한 답이됩니다. :) Confluent의 Kafka Connect를 사용하여 센서 데이터를 분당 또는 분 단위로 스트리밍 한 MySQL 데이터베이스에서 읽은 다음 Kafka를 다음과 같이 사용합니다. 데이터를 데이터웨어 하우스 및

1열

1답변

카프카 커넥트 스키마의 추론은 무엇입니까?

CEPH 저장소에 avro 메시지가 포함 된 항목의 내용을 작성하기위한 사용자 지정 싱크 커넥터를 작성하고 있습니다. 이 작업을 수행하기 위해 Kafka Connect 스키마가있는 SinkRecord가 제공됩니다.이 스키마는 Avro 스키마의 매핑 된 버전입니다. 우리는 CEPH에 avro를 작성하려고하기 때문에 connect API 메소드를 사용하여 Co