confluent

4열

1답변

Kafka Connect에 대한 이상적인 가치 분산 된 tasks.max 구성 설정?

나는 Kafka Connect 응용 프로그램을 이온화하고 배포하려고합니다. 그러나, 내가 필요로하는 중요성이 높은 tasks.max 설정에 대해서는 두 가지 질문이 있지만 실제로이 값을 설정하는 것에 대해서는 세부 사항이 모호합니다. 가장 간단한 질문은 다음과 같습니다. 데이터를 소비하고 일부 싱크 (제 경우에는 S3에 쓰고 있습니다)에 쓰려는 n 개의 파

0열

1답변

카프카와 융합의 관계

나는 최근 카프카를 배우고있다. Kafka와 Confluent의 관계는 무엇입니까?

0열

1답변

kafka connect는 분산 모드에서 활성 - 활성 모드를 지원합니까?

kafka를 테스트하는 동안 분산 모드로 연결하는 동안 활성 상태가 아닌 대기 모드에서 작동하는 것으로 나타났습니다. 두 개의 구성원 클러스터가있는 경우 한 번에 하나씩 만 HDFS 싱크 커넥터 용으로 작동하고 다른 하나는 대기 상태로 대기합니다. 첫 번째 장치가 중단되거나 중단되면 두 번째 장치에서 작업을 시작합니다. 하나의 단일 클러스터 그룹 ID에서

0열

3답변

Kafka는 키 값이 일반 레코드 인 2 개의 스트림을 조인 할 때 예외를 throw합니다.

키와 값이 GenericRecord 인 두 스트림을 올바르게 조인하기 위해 문제를 해결할 수있는 사람이 있습니까? 먼저, 키와 값에 대해 AVRO 스키마가있는 2 개의 항목을 만듭니다. 이후 나는 스트림을 모두 결합하고있어 출력 항목에 나는 새로운 GenericRecord, 프로젝션 스키마 소위 투사 레코드를 생성하고 코드 후 같이 나는 예외를 가지고 :

0열

1답변

Confluent Kafka & docker-compose - 오류 실행 예제

Docker Compose를 사용하여 한 예로 Confluent Platform을 모두 실행하려고합니다. 하나의 노드를 사용하는 예는 여기 : http://docs.confluent.io/3.1.1/cp-docker-images/docs/quickstart.html#getting-started-with-docker-compose 모든 도커 이미지와 자식 저

1열

1답변

AWS EMR에서 qubole/streamx를 사용할 때 AWS S3 액세스 문제

카프카 싱크 커넥터로 qubole/streamx를 사용하여 카프카의 데이터를 소비하고 AWS S3에 저장합니다. AIM에서 사용자를 생성했으며 사용 권한은 AmazonS3FullAccess입니다. 그런 다음 dir이 quickstart-s3.properties에 지정하는 hdfs-site.xml에 키 ID와 키를 설정하십시오. 구성 아래 같은 : quick

1열

1답변

커넥터의 작업이 할당되지 않은 상태로 전환되는 시점은 언제입니까?

분산 모드에서 CP3.2를 실행 중이고 "tasks.max": "1"로 정의 된 커넥터 중 일부가 "UNASSIGNED"상태의 작업을 가지고 있습니다. 작업자에게 할당 된 메모리를 늘리고 작업자를 다시 시작하면 문제가 해결되거나 한 명 더 추가 작업자가이를 해결했습니다. "tasks.max"> 1에 "UNASSIGNED"상태의 작업이 하나 있지만 하나의 작

1열

1답변

카프카 오프셋 관리

카프카 0.10을 사용 중입니다 ... enable.auto.commit이 TRUE 일 때 카프카에서 오프셋을 관리하는 방법에 대한 온라인상의 충돌 정보 (및 문서)가 있습니다. 메시지를 검색하는 동일한 poll() 메소드도 구성된 간격으로 커밋을 처리합니까? 단일 스레드 응용 프로그램에서 poll에서 메시지를 검색하는 경우 SAME 스레드에서 메시지 처리

0열

1답변

새 브로커가 클러스터에 참여할 수 없습니다. (Kafka)

현재 kafka 클러스터가 SSL 및 ACL을 갖도록 구성 중입니다. 우리 클러스터는 3 개의 노드로 구성되어 있으며 세 개의 노드 모두 동일한 SSL/TLS (한 노드에서 다른 두 노드로 인증서를 복사했기 때문에)와 다른 모든 카프카 구성을 포함합니다. 노드 중 두 개는 클러스터 가입에 성공했지만 마지막 노드는 성공하지 못합니다. 이 ReplicaFetc

1열

1답변

도커로 작성한 카프카 설정

안녕하세요. 현재 Docker로 카프카를 설정 중입니다. 나는 다음과 같은 고정 표시기-작성 파일을 참조 게시 합류 이미지로 설정 사육사와 카프카를 관리했습니다 : version: '2' services: zookeeper: image: confluentinc/cp-zookeeper:3.2.0 container_name: zo