apache-kafka-connect

1열

1답변

JDBC Kafka Connector는 여러 데이터베이스에서 데이터를 가져올 수 있습니까?

JDBC Kafka 커넥터 클러스터를 설정하고 동일한 호스트에서 실행중인 여러 데이터베이스에서 가져 오도록 구성하는 것이 좋습니다. 저는 Kafka Connect 설명서를 살펴 보았습니다. JDBC 커넥터를 구성한 후에는 단일 데이터베이스에서만 데이터를 가져올 수있는 것으로 보입니다. 누구든지 확인할 수 있습니까? 당신이 당신의 노동자 (독립형 또는 분산)

2열

1답변

JDBC Kafka Connector를 재설정하여 처음부터 행을 가져 오시겠습니까?

Kafka 커넥터는 기본 키와 타임 스탬프를 사용하여 처리해야 할 행을 결정할 수 있습니다. 처음부터 처리하도록 커넥터를 재설정하는 방법을 찾고 있습니다.

0열

1답변

아파치 FLINK - 다중 출력 라인

제가 아파치 카프카에서 & 인쇄 데이터를 읽을 아래 FLINK 작업을 실행하려고 : 자바 프로그램 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); Properties properties = new Properties(); prope

4열

1답변

카프카 의원 선거는 언제 실시됩니까?

카프카 하이 레벨 프로듀서가 언제 그리고 얼마나 자주 리더를 선출합니까? 각 메시지를 보내기 전에 또는 연결을 만들 때 한 번만 수행합니까?

0열

1답변

Kafka 싱크 커넥터가 싱크가 올 때와 같이 테이블에서 항목으로 데이터를 삽입하는 방법

데이터 저장소에 kafka-sink-connector (confluent-oss-3.2.0-2.11, 연결 프레임 워크 사용)를 개발했습니다. (Amppol ADS)는 kafka 주제의 데이터를 내 상점의 해당 테이블에 저장합니다. kafka 서버와 ADS 서버가 작동되고 있으면 모든 것이 예상대로 작동합니다. 이벤트가 카프카 항목에서 섭취되고 싱크 구성

-1열

1답변

Kafka를 사용하여 입력 데이터의 복사본 전체를 싱크 노드에 연결

kafka 커넥터를 사용하는 간단한 사례를 작성하려고했습니다. 셋업에는 세 개의 노드 N1, N2 및 N3이 사용됩니다. N1이 소스이고 N2, N3이 제 경우의 싱크 노드입니다. 노드 N1에서 텍스트 파일 (예 : input.txt)에 데이터를 쓰고 독립형 kafka 커넥터를 사용하면 노드 N2 및 N3의 input.txt와 비슷한 내용의 텍스트 파일을

3열

2답변

Kafka Connect SourceTask의 폴링 간격

Kafka-Connect API를 사용하여 사용자 정의 소스 커넥터를 구현합니다.이 API는 REST-API를 폴링하고 JSON 응답을 카프카 항목으로 싱크하는 데 사용할 수 있습니다. 이제 JDBC Connector가 제공하는 SourceTask의 폴링 간격을 실현하는 방법에 대해 궁금합니다. 어딘가에 잠을 스레드를 설정해야하지만,이 일을해야합니까?

1열

1답변

cassandra kafka 소스와 궁극적 인 일관성 연결

나는 카프카를 사용하여 카산드라에서 카프카 (Kafka) 주제로 업데이트를 연결하려고 생각하고 있습니다. StreamReactor의 기존 커넥터는 마지막 폴링 이후에 새로운 변경 사항을 추출하기 위해 타임 스탬프 또는 uuidtimestamp를 사용하는 것으로 보입니다. 타임 스탬프의 값은 insert 문에서 now()를 사용하여 삽입됩니다. 커넥터는 마지

1열

1답변

커넥터의 작업이 할당되지 않은 상태로 전환되는 시점은 언제입니까?

분산 모드에서 CP3.2를 실행 중이고 "tasks.max": "1"로 정의 된 커넥터 중 일부가 "UNASSIGNED"상태의 작업을 가지고 있습니다. 작업자에게 할당 된 메모리를 늘리고 작업자를 다시 시작하면 문제가 해결되거나 한 명 더 추가 작업자가이를 해결했습니다. "tasks.max"> 1에 "UNASSIGNED"상태의 작업이 하나 있지만 하나의 작

1열

1답변

Kafka Connect 싱크 분할 : 서브 파티셔닝?

카프카 커넥트 싱크 (Kafka Connect Sink)를 실행하면 입력 파일 partitioner.class (FieldPartitioner)을 지정합니다.이 파일은 partition.field.name에 지정된 레코드 필드를 기반으로 파티션 할 수 있습니다. 그래서 두 가지 수준의 분할을 원한다면 어떻게해야합니까? 예를 들어, 최상위 레벨에서 날짜 -