kafka-python

0열

1답변

Kafka Python Client - 가능한 연결/시간 초과 오류를 처리하는 방법?

나는 Kafka 대기열에 연결하고 대기열에 메시지를 보내는 Python 응용 프로그램을 작성 중입니다. def send_msg(self, topic, msg): self.producer = KafkaProducer(bootstrap_servers=['XX.XXX.XX.XXX:XXXX']) future = self.producer.send(

0열

1답변

OverflowError 받기 : kafka-python producer-consumer를 사용하는 동안 시간 초과 값이 너무 큽니다.

글쎄, 저는 파이썬에서 제작자로부터 소비자에게 간단한 데이터 전송 기능을 제공하기 위해 Kafka-python 패키지 (1.3.2)를 사용하려고합니다. 프로듀서 : from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers='localhost:9092') # produce asy

0열

2답변

내 로컬 컴퓨터의 EC2 컴퓨터에서 실행중인 카프카 연결

카프카를 처음 사용하고 포럼에서 다른 게시물을 검색했지만 해결책을 찾지 못했습니다. EC2 인스턴스에 kafka를 설치하고 우분투 로컬 시스템과 동일한 연결을 시도합니다. 내 목표는 내 로컬 컴퓨터에서 실행하고 EC2 kafka 인스턴스를 통해 데이터를 보내거나받는 python kafka 클라이언트 (둘 다 생산자 및 소비자)를 갖는 것입니다. 그게 가능하

0열

1답변

복제본이있는 카프카 제작자가 할당량으로 데이터를 제공 할 수 있습니까?

클라이언트 ID가 "p1"이고 할당량이 50MBps 인 클라이언트에 속한 카프카 제작자가 있습니다. 이제는 "bin/kafka-producer-perf-test.sh"를 사용하여 제작자의 성능을 테스트했으며 복제본이없는 파티션에 쓰는 경우 처리량을 50MBps에 가깝게 얻을 수있었습니다. 3 개의 복제본이있는 파티션에서 동일한 실험을 시도했습니다. 그러나

2열

1답변

`kafka-python`을 사용하여 바이너리 메시지를 폴링 할 수 없습니다

바이너리 데이터 (원시 패킷 캡처 데이터)를받는 Kafka 토픽이 있습니다. Kafka CLI 도구를 사용하여 실제로 방문 데이터임을 확인할 수 있습니다. 나는 매초 여러 개의 메시지를받습니다. 그러나 kafka-python을 사용할 때 메시지를 검색 할 수 없습니다. poll 메서드는 단순히 결과를 반환하지 않습니다. (Pdb) consumer = kaf

0열

1답변

kafka python - Bluemix MessageHub - ConnectionError : 소켓 연결이 끊어졌습니다.

kafka python 클라이언트를 사용하여 Message Hub에 메시지를 푸시하지만 MessageHub으로 메시지를 보내는 것을 중단하는 것으로 나타났습니다. 내가 retries=5를 추가하려면 코드를 업데이트 ConnectionError: socket disconnected : from kafka import KafkaProducer from k

0열

1답변

kafka의 "offsets.topic.compression.codec"은 실제로 무엇을합니까?

아주 최근에 우리는 메타 데이터에서 MessageSizeTooLargeException을 가져 오기 시작 했으므로 gzip 압축을 사용하려면 offsets.topic.compression.codec = 1을 사용했지만 브로커에 대한 비율/메시지의 전체 바이트는 변경되지 않았습니다. 내가 놓친 게 있니? 변경해야 할 다른 자산이 있습니까? 이 코덱은 어떻게

2열

2답변

카프카에서 JSON 메시지를 소비 할 수 없다. 카프카 - 파이썬의 디시리얼라이저 사용하기

나는 카프카를 통해 매우 간단한 JSON 객체를 보내고 파이썬과 카프카 - 파이썬을 사용하여 반대편에서 읽으려고한다. 나는 몇 가지 조사를 수행 한이 오류의 가장 일반적인 원인은 JSON은 잘못된 것입니다 2017-04-07 10:28:52,030.30.9998989105:kafka.future:8228:ERROR:10620:Error processing

1열

2답변

Bluemix Message Hub - SASL 인증을 초기화하는 데 실패했지만 여전히 작동하는 것 같습니다.

Bluemix Message Hub를 Python과 함께 사용하려고하면 오류 및 실패가 계속 발생합니다. 왜 아래에 주어진 아이디어? 오류가 "SASL 인증을 초기화하지 못했습니다 : SASL 핸드 셰이크가 (메커니즘 PLAIN에서 요구하는) 브로커가 지원되지"하는 내 생산자와 소비자를 실행할 때 그러나, 그들은 작동하는 것. 메시지가 생성되고 메시지가 소

1열

1답변

Kafka 10 - 인증 및 권한이있는 Python 클라이언트

SASL_SSL (인증 (JAAS) 및 인증)이 활성화 된 Kafka10 클러스터가 있습니다. 자바 클라이언트를 사용하여 아래의 소품과 SASL을 통해 연결할 수 있습니다. 그리고 JAAS conf 파일을 JVM 매개 변수를 통해 전달합니다. -Djava.security.auth.login.config=/path/to/client_jaas.conf 어쨌