confluent-kafka

0열

1답변

Confluent Kafka : confluent-kafka-python 클라이언트에서 serialization 및 partition을 어떻게 지정합니까?

1) Java 클라이언트에서 producer.put()을 사용하여 Integer 및 String에 대한 serializer를 추가 할 수 있습니다. 합류 - 카프카 - 파이썬 클라이언트의 경우 어떻게해야합니까? 2) protoBuf 레코드를 어떻게 serialize합니까? 질문 # 1

0열

1답변

Mac에서는 python 패키지의 confluent-kafka를 설치할 수 없습니다. Sierra

운이없는 confluent-kafka를 설치하는 데 너무 많은 시간을 소비했습니다. librdkafka 종속성이 있다는 것을 알고 있지만 성공적으로 설치 한 것 같습니다. 시도 다음과 같은 조언에서 : http://docs.confluent.io/3.1.1/installation.html#cpp-client https://github.com/confluen

1열

1답변

지도자가 죽을 때 사육자 집단 지도력을 바꾸는 것

아래에 docker-compose.yml 파일을 찾을 수 있습니다. 전제 조건 : 내가 (고정 표시기-compose.yml, 3 개 사육사)을 고정 표시기가-구성하여 클러스터로 3 개 사육사의 서버를 시작, 그럼 나는 4 일 (다른 docker-를 추가 compose.yml, 1 마리의 사육관)을 클러스터에 추가하십시오. 처음 3 명의 동물원 중 하나가 지

0열

1답변

분산 모드에서 kafka 연결을 실행하는 중 발생하는 문제

kafka를 분산 모드로 테스트하여 항목 레코드를 kafka에서 HDFS로 가져옵니다. 우리는 두 개의 상자가 있습니다. kafka 및 사육사 데몬이 실행중인 경우. 이 상자에는 kafka 인스턴스가 하나만 연결되어 있습니다. HDFS namenode가있는 또 다른 상자가 있습니다. 우리는 여기서 카프카의 또 다른 사례를 계속 지켜 왔습니다. 우리는 첫 번

4열

1답변

Kafka Connect에 대한 이상적인 가치 분산 된 tasks.max 구성 설정?

나는 Kafka Connect 응용 프로그램을 이온화하고 배포하려고합니다. 그러나, 내가 필요로하는 중요성이 높은 tasks.max 설정에 대해서는 두 가지 질문이 있지만 실제로이 값을 설정하는 것에 대해서는 세부 사항이 모호합니다. 가장 간단한 질문은 다음과 같습니다. 데이터를 소비하고 일부 싱크 (제 경우에는 S3에 쓰고 있습니다)에 쓰려는 n 개의 파

1열

1답변

비대칭 컴퓨터에서 소비자 부하의 균형을 유지하는 방법은 무엇입니까?

은 내가 1 생산을 만들 카프카 프로토 타입, 2 브로커, 같은 그룹에 이 소비자, 2 개 파티션 1 주제를 가지고있다. 각 소비자에는 1 개의 파티션이 할당됩니다. 생산자는 두 브로커에게 100 개의 메시지를 보냅니다. 각 소비자는 각각 50 개의 메시지를 가져 와서 처리합니다. 소비자 # 2는 느린 컴퓨터에서 실행됩니다. 소비자 # 1보다 할당 된 메시

0열

1답변

kafka에 작성 kafkastreams를 사용하여 레코드 내용에 기반한 주제

부모의 레코드 내용을 기반으로 카파의 주제 (상위)에서 다른 주제 (하위)로 작성하려고합니다. 부모 항목에서 소비하는 샘플 레코드는 {"date":{"string":"2017-03-20"},"time":{"string":"20:04:13:563"},"event_nr":1572470,"interface":"Transaction Manager","event_i

0열

1답변

Confluent Kafka & docker-compose - 오류 실행 예제

Docker Compose를 사용하여 한 예로 Confluent Platform을 모두 실행하려고합니다. 하나의 노드를 사용하는 예는 여기 : http://docs.confluent.io/3.1.1/cp-docker-images/docs/quickstart.html#getting-started-with-docker-compose 모든 도커 이미지와 자식 저

1열

1답변

AWS EMR에서 qubole/streamx를 사용할 때 AWS S3 액세스 문제

카프카 싱크 커넥터로 qubole/streamx를 사용하여 카프카의 데이터를 소비하고 AWS S3에 저장합니다. AIM에서 사용자를 생성했으며 사용 권한은 AmazonS3FullAccess입니다. 그런 다음 dir이 quickstart-s3.properties에 지정하는 hdfs-site.xml에 키 ID와 키를 설정하십시오. 구성 아래 같은 : quick

0열

1답변

kafka의 "offsets.topic.compression.codec"은 실제로 무엇을합니까?

아주 최근에 우리는 메타 데이터에서 MessageSizeTooLargeException을 가져 오기 시작 했으므로 gzip 압축을 사용하려면 offsets.topic.compression.codec = 1을 사용했지만 브로커에 대한 비율/메시지의 전체 바이트는 변경되지 않았습니다. 내가 놓친 게 있니? 변경해야 할 다른 자산이 있습니까? 이 코덱은 어떻게