apache-kafka-connect

-3열

1답변

DC/OS, ElasticSearch, Kafka Connect 및 Kafka Streams 용 CloudFormation 템플릿이 있습니까?

SMACK stack의 예제가 많이 있지만 인프라에서 ElasticSearch 및 Conluent Kafka Connect 및 Kafka Streams를 사용하고 싶습니다. great tutorial on deploying a CloudFormation-based SMACK stack environment과 다른 하나는 creating an IoT pipe

0열

1답변

분산 모드에서 kafka 연결을 실행하는 중 발생하는 문제

kafka를 분산 모드로 테스트하여 항목 레코드를 kafka에서 HDFS로 가져옵니다. 우리는 두 개의 상자가 있습니다. kafka 및 사육사 데몬이 실행중인 경우. 이 상자에는 kafka 인스턴스가 하나만 연결되어 있습니다. HDFS namenode가있는 또 다른 상자가 있습니다. 우리는 여기서 카프카의 또 다른 사례를 계속 지켜 왔습니다. 우리는 첫 번

4열

1답변

Kafka Connect에 대한 이상적인 가치 분산 된 tasks.max 구성 설정?

나는 Kafka Connect 응용 프로그램을 이온화하고 배포하려고합니다. 그러나, 내가 필요로하는 중요성이 높은 tasks.max 설정에 대해서는 두 가지 질문이 있지만 실제로이 값을 설정하는 것에 대해서는 세부 사항이 모호합니다. 가장 간단한 질문은 다음과 같습니다. 데이터를 소비하고 일부 싱크 (제 경우에는 S3에 쓰고 있습니다)에 쓰려는 n 개의 파

0열

1답변

flink에서 kafka 주제 데이터에 액세스/읽기하는 방법?

나는 플립 크에서 카프카 데이터를 읽으려고하고있다. 카프카와 플랭크를 처음 접했을 때, 어떻게 연결해야할지 모르겠다.

0열

1답변

kafka connect는 분산 모드에서 활성 - 활성 모드를 지원합니까?

kafka를 테스트하는 동안 분산 모드로 연결하는 동안 활성 상태가 아닌 대기 모드에서 작동하는 것으로 나타났습니다. 두 개의 구성원 클러스터가있는 경우 한 번에 하나씩 만 HDFS 싱크 커넥터 용으로 작동하고 다른 하나는 대기 상태로 대기합니다. 첫 번째 장치가 중단되거나 중단되면 두 번째 장치에서 작업을 시작합니다. 하나의 단일 클러스터 그룹 ID에서

0열

1답변

Kafka 소비자 그룹 ID 및 소비자 균형 조정 문제

저는 프로덕션 서버에 Kafka 0.10.0 및 zookeeper 3.4.6을 사용하고 있습니다. 각각 약 50 개의 파티션으로 20 개의 주제가 있습니다. 각기 다른 주제와 파티션에 가입 한 총 100 명의 소비자가 있습니다. 모든 소비자는 동일한 그룹 ID를 사용하고 있습니다. 소비자가 특정 주제에 대해 추가되거나 제거되는 경우 다른 주제에 연결된 소비

8열

1답변

Kafka 연결 싱크 작업에서 파일 오프셋 저장 속성을 무시합니다.

Confluent JDBC 커넥터에서 작동하는 아주 이상한 동작이 발생합니다. Confluent 스택과 관련이 없지만 Kafka-connect 프레임 워크 자체와는 관련이 없습니다. 따라서 으로 offset.storage.file.filename 속성을 정의하고 내 싱크 커넥터를 실행합니다. 필자는 커넥터가 주어진 파일에서 오프셋을 유지할 것을 기대합니다

0열

1답변

멀티 노드 멀티 클러스터에서 실행되는 주제를 삭제하는 방법 HA kafka

멀티 노드 멀티 클러스터 환경에서 kafka 버전 2.11-0.10.1.0을 설정했습니다. kafka server.properties에서 이미 추가했습니다. delete.enable.topic = true in 모든 3 대의 기계. 2181, IP2 : 2181, IP3 : 나는 삭제 주제에 대한 명령을 사용하고 는 ./bin/kafka-topic.sh -

0열

1답변

Confluent Kafka & docker-compose - 오류 실행 예제

Docker Compose를 사용하여 한 예로 Confluent Platform을 모두 실행하려고합니다. 하나의 노드를 사용하는 예는 여기 : http://docs.confluent.io/3.1.1/cp-docker-images/docs/quickstart.html#getting-started-with-docker-compose 모든 도커 이미지와 자식 저

1열

1답변

AWS EMR에서 qubole/streamx를 사용할 때 AWS S3 액세스 문제

카프카 싱크 커넥터로 qubole/streamx를 사용하여 카프카의 데이터를 소비하고 AWS S3에 저장합니다. AIM에서 사용자를 생성했으며 사용 권한은 AmazonS3FullAccess입니다. 그런 다음 dir이 quickstart-s3.properties에 지정하는 hdfs-site.xml에 키 ID와 키를 설정하십시오. 구성 아래 같은 : quick