apache-kafka-connect

2열

1답변

REST API를 노출하는 게으른 소비자 집합을 대신하여 메시지를 사용해야한다는 요구 사항이 있습니다. 따라서 Kafka 항목에서 메시지를 가져오고 노출 된 API에서 HTTP POST 작업을 수행하는 싱크 커넥터를 사용할 계획입니다. 고려해야 할 주요 요인 중 하나는 제한입니다. API의 계층 SLA를 충족 시키려면 싱크 태스크를 조절하기 위해 어떤 메커

3열

2답변

"스키마 레지스트리 URL을 누락는"

안녕 임은 카프카 연결 고정 표시기 이미지 docker run -d \ --name=kafka-connect \ --net=host \ -e CONNECT_BOOTSTRAP_SERVERS=localhost:39092 \ -e CONNECT_REST_PORT=28082 \ -e CONNECT_GROUP_ID="qu

2열

1답변

게시자가 Apache Kafka의 주제에 메시지를 게시하는 방법은 무엇입니까?

저는 Apache Kafka에서 새로운입니다. 아파치 카프카의 토픽과 파티션의 해부학과 프로듀서가 데이터를 파티션으로 푸시하는 방식을 이해하지 못합니다. 두 개의 생산자 PR1, PR2와 세 개의 브로커 B1, B2, B3이 있다고 가정 해보십시오. 그리고 P1, P2, P3으로 3 개의 파티션이있는 T1은 세 개의 브로커로 나뉩니다. 이제 첫 번째 생산자

1열

1답변

Samza를 사용할 때 별도의 클러스터에서 체크 포인트, 코디네이터 및 변경 로그 카프카 항목 만들기

samza에서 kafka를 사용하는 경우 samza는 속성 파일의 이름을 사용하여 checkpoint, co-oridnator 및 changelog와 같은 특정 항목을 자동 생성합니다. 그러나 이러한 주제는 동일한 클러스터에서 작성됩니다. 하지만 유지 관리 목적으로 별도의 클러스터에 생성하려고합니다. 가능합니까?

2열

1답변

[HDFS connector + Kafka] 독립 실행 형 모드에서 여러 주제를 쓰는 방법은 무엇입니까?

HDFS에 스트리밍 된 데이터를 쓰려면 Confluent의 HDFS Connector을 사용하고 있습니다. 나는 사용자 설명서와 quick start을 따라하고 내 커넥터를 설치했습니다. 하나의 주제를 소비 할 때 제대로 작동합니다. 내가 하나 개 이상의 항목을 추가 할 때 내 속성 파일이 name=hdfs-sink connector.class=io.co

0열

1답변

복제가 비활성화되어있을 때 소비자와 생산자가 장애로부터 복구하도록 Kafka를 구성하는 방법은 무엇입니까?

데이터 손실이 허용되는 경우가 있습니다 (30-50 % 손실 허용 가능). 비용을 줄이기 위해 Kafka를 복제 계수 1로 구성하여 소비자와 생산자가 사용 가능한 파티션을 소비하고 사용 가능한 파티션을 간단하게 생성하여 브로커 오류를 복구 할 수 있는지 여부를 알고 싶습니다. 가능하다면 설정해야 할 구성은 무엇입니까? 본질적으로 이런 방식으로 작동하는 다른

1열

1답변

Kafka Connect Python 클라이언트가 있습니까?

카프카 주제를 읽는 응용 프로그램이 있습니다. 이제 Kafka 커넥터를 사용하여 HDFS로 보내야합니다. http://docs.confluent.io/2.0.0/connect/connect-hdfs/docs/index.html 동일한 명령이 있습니다. 어떻게 파이썬 스크립트에서이 작업을 수행 할 수 있는지 궁금합니다. 미리 감사드립니다!

1열

1답변

Kafka Mirror Maker : 소비자 대 소비자 스레드 번호 및 생산자 번호

Mirror Maker의 카프카 병렬 처리 모델을 명확하게 지적하고 싶습니다. 나는 소비자 측에서 이해 한 내용을 들어 : 소비자 그룹은 소비자의 집합입니다. 그룹의 각 소비자는 하나 이상의 주제를 읽을 수 있습니다. 그룹의 CONSUMER는 다중 스트림을 가질 수 있습니다. 즉, 주제에서 읽은 스레드의 수와 모범 사례는 파티션에 대해 하나의 스레드를 갖는

-1열

1답변

Kafka Connect HDFS - 어떻게 작동 시키나요?

매우 구체적인 질문은 아닙니다. 그러나 kafka-hdfs connector를 실제로 어떻게 사용하는지 설명하는 단일 문서를 찾지 못했습니다. 기본적으로 json으로 인코딩 된 문자열을 포함하는 카프카 항목이 있습니다. 데이터를 avro 형식의 데이터로 HDFS로 보내고 싶습니다. 도움이 될 것입니다.

0열

2답변

Confluent 플랫폼의 Kafka-Connect API에서 max.poll.records를 설정하는 방법

confluent-3.0.1 플랫폼을 사용하고 Kafka-Elasticsearch 커넥터를 구축하고 있습니다. 이를 위해 Kafka에서 데이터를 가져 오기 위해 SinkConnector 및 SinkTask (Kafka-connect APIs)를 확장했습니다. 이 코드의 일부로 SinkConnector의 taskConfigs 메서드를 확장하여 "max.pol