kafka-python

1열

1답변

새로운 카프카 소비자를위한 num.consumer.fetchers가 동일합니다.

카프카의 구형 소비자 설정에서 데이터를 가져 오는 데 사용되는 숫자 페처 스레드를 설정하기 위해 num.consumer.fetchers 속성이 있습니다. Kafka의 새 소비자 구성에서 동일한 기능을 가진 속성이 있습니까? 그렇지 않다면 새로운 소비자는 어떻게 작동합니까?

apache-kafka producer-consumer kafka-consumer-api kafka-python kafka-directconsumer 2017-01-19

---

0열

1답변

아파치 NIFI이 Ambari 서비스로 설치에 실패했습니다 구성 매개 변수 'kafka_broker_hosts'구성에서 찾을 수 없습니다 다음과 같이

내 시스템 환경이 사전. 마스터 : Ambari 서버, Ambari 에이전트 슬레이브 : Ambari 에이전트 사육사 서버와 카프카 브로커가 마스터에서 실행 나는 모두 마스터뿐 아니라 슬레이브를 설정 한 . 또한 NIFI를 노드로 성공적으로 설치 및 시작했습니다. 그러나 NIFI 서버가 다음 오류와 함께 실패 설치를 Ambari 서비스로 NIFI를 추가하는

apache-kafka hortonworks-data-platform apache-nifi kafka-python 2016-12-08

---

0열

1답변

Kafka 제작자가 Python을 사용하는 경우 : TypeError : 모두 메시지 페이로드가 null이거나 형식 바이트 여야합니다.

방금 ​​Python과 Kafka를 배우기 시작했습니다. 이것은 처음 시도한 첫 번째 예입니다. http://www.giantflyingsaucer.com/blog/?p=5541 그리고 예외 가지고 : Traceback (most recent call last): File "producer.py", line 23, in <module> m

python apache-kafka kafka-producer-api kafka-python 2016-10-20

---

0열

1답변

Kafka 대기열에 쓰고 읽는 사이에 지연이있는 이유는 무엇입니까?

나는 Kafka 대기열의 메시지를 소비하는 작업자 서비스를 작성했으며 몇 초마다 대기열에 메시지를 추가하는 테스트 스크립트도 작성했습니다. 내가 눈치 채지 못한 사실은 메시지가 대기열에 추가되는 동안 소비자가 한 번에 몇 분 동안 유휴 상태로 앉아있는 경우가 많다는 것입니다. 그런 다음 갑자기 소비자가 첫 번째 메시지를 받아 처리하고 나머지 메시지로 빠르게

apache-kafka message-queue messaging kafka-python 2016-08-31

---

0열

3답변

카프카 소비자가 생산자로부터 아무런 메시지도받지 못했습니다.

다음은 카프카 제작자를위한 파이썬 코드입니다. 카프카 브로커에 게시 할 수있는 메시지인지 확실하지 않습니다. 소비자 측은 어떤 메시지도받지 못했기 때문입니다. 내 소비자 Python 프로그램은 제작자 콘솔 명령을 사용하여 테스트하는 동안 잘 작동합니다. from __future__ import print_function import sys from p

python apache-spark apache-kafka spark-streaming kafka-python 2016-09-13

---

7열

1답변

kafka-python을 사용하여 여러 kafka 와일드 카드 패턴 목록을 구독하는 방법?

아래와 같이 Kafka에 와일드 카드가있는 패턴을 사용하여 구독하고 있습니다. 와일드 카드는 동적 고객 ID를 나타냅니다. consumer.subscribe(pattern='customer.*.validations') 주제 문자열에서 고객 ID를 뽑을 수 있기 때문에 잘 작동합니다. 하지만 지금은 약간 다른 목적으로 유사한 주제를 듣기 위해 기능을 확장

python apache-kafka kafka-python 2016-09-15

---

0열

1답변

단일 생산자에서 다중 소비자로 (동일 소비자 그룹)

DiffuserID 소비자 그룹 ID를 사용하여 단일 생산자로부터 2 명의 다른 소비자에게 메시지를 보내기 전에 시도했습니다. 그 결과 소비자는 완전한 메시지를 읽을 수 있습니다 (두 소비자가 동일한 메시지를 받음). 그러나이 두 소비자가 서로 다른 메시지를 읽을 때 SAME 소비자 그룹 이름으로 설정할 수 있는지 묻고 싶습니다.

python producer-consumer kafka-python 2016-09-21

---

2열

1답변

python-kafka : 소비자가 메시지 속성을 기반으로 메시지를 건너 뛸 수 있습니까?

각 메시지에는 우선 순위 속성이 있습니다. 소비자가 우선 순위 속성이 충분히 높지 않은 메시지를 건너 뛰거나 무시할 수 있습니까? 처음에는 kafka-python 소비자가 소비 한 메시지를 deserialize하고 우선 순위 수준을 확인한 다음 필요한 우선 순위 수준을 충족하지 못한 메시지를 삭제했습니다. 그러나 메시지가 클 경우 상당한 시간이 더 이상 처

python apache-kafka kafka-python 2016-11-10

---

0열

1답변

Kafka EARLIEST 및 Kafka LATEST 오프셋 재설정은 얼마나 효율적입니까?

문제 나는이 시간 기반 이벤트가 재생을 위해 개시 오프셋 (offset) 찾기 위해 이진 검색을 구현하는 방법에 대한 생각입니다. 그렇게하기 위해서, 초기 오프셋을 찾기 위해 EARLIEST를 사용하고 최신 오프셋을 찾기 위해 가장 최근의 것을 사용하려고 생각했습니다. 그 후, 바이너리 검색을 구현하여 재생을 시작해야하는 오프셋을 찾을 수 있습니다. 전인

apache-kafka kafka-consumer-api kafka-producer-api kafka-python 2016-11-13

---

0열

1답변

파이썬을 사용하거나 inbuilt 메서드를 사용하여 kafka 항목에서 특정 줄 수를 삭제하는 방법은 무엇입니까?

consumer.poll() 메서드를 사용하는 동안 문제가 발생합니다. poll() 메서드를 사용하여 데이터를 가져온 다음에는 소비자가 커밋 할 데이터가 없으므로 카프카 항목에서 특정 줄 수를 제거하는 데 도움이됩니다.

apache-kafka kafka-consumer-api kafka-python 2016-11-21

---