apache-kafka

0열

1답변

DIstributed Messaging System으로 라우터 데이터 푸시

쿼리 : 카프카 클러스터 생성자로 라우터의 인터페이스 만들기. 문제점 : 라우터의 인터페이스가 kafka가 실행중인 포트로 데이터를 전송하려고합니다. (기본적으로 9092). Q. 1 카프카 브로커는 토픽을 만들지 않고이 데이터를 수락 할 수 있습니까? 질문 2 카프카 소비자가 주제를 지정하지 않고 데이터를 가져올 수 있습니까? 1 편집 : 난 그냥 카프카

3열

1답변

스프링 통합 Kafka 및 오프셋 관리

저는 Spring Integration Kafka 확장을 사용하여 Java 애플리케이션의 Kafka에서 메시지를 읽고 처리합니다. Zookeeper에서 오프셋을 완전히 관리 할 수없는 상위 수준의 소비자 API를 사용한다는 것을 알고 있습니다. 내 경우에는 메시지가 처리 된 후 Zookeeper에 오프셋을 적용하기 위해 auto.commit.enable =

2열

1답변

동기화 프로듀서 배치 메시지를 갖는 방법은 무엇입니까?

우리는 Kafka 0.8 비동기 프로듀서를 사용하고 있었지만 메시지를 삭제합니다 (다른 스레드의 응답이 없거나 비동기를 계속 사용할 수 있음). batch.num.messages을 500으로 설정했으며 소비자는 변함이 없습니다. batch.num.messages은 비동기 제작자에만 적용되며 동기화되지 않으므로 일괄 처리해야합니다. 우리는 compressio

5열

1답변

동일한 사육사 인스턴스를 서비스 수로 사용할 수 있습니까?

Zookeeper 설치가 Hadoop Kafka 및 Storm 클러스터에서 사용하기에 충분합니까? 하나의 테스트 환경에 모두 배포하고 해당 기술을 사용 해보고 싶습니다. 그 이유는 하나의 사육사 설치를 사용할 수 있습니까? 동일한 z 노드가 여러 서비스에 전용 될 수 있습니까?

1열

1답변

Clojure에서 Kafka 반복을 사용하는 올바른 방법은 무엇입니까?

다음 코드는 실행을 차단합니다. 어떤 이유로지도가 게으른 시퀀스를 반환 할 수없는 것 같습니다. 왜 그런지 모르겠습니다. (ns testt.consumer (:require ;internal ;external [clojure.walk :refer [stringify-keys]] [clojure.pprint :as

47열

5답변

카프카 : 사육사는 필수입니까?

카프카에서는 하나의 브로커, 단일 주제 및 하나의 생산자와 다수의 소비자 (각 소비자는 브로커로부터 자체 데이터 복사본을 얻음)가있는 단일 파티션 만 사용하고자합니다. 이 점을 감안할 때, 나는 사육사 (Zookeeper) 사용의 오버 헤드를 원하지 않는다. 브로커 만 사용하면 안됩니까? 사육사는 왜해야합니까?

3열

2답변

Apache Kafka 및 메시지 전달 보증

Apache Kafka를 많은 구독자에게 분산 메시지 게시자로 사용할 것을 고려하고 있습니다. 솔루션은 쉽게 확장 할 수 있어야하므로 나에게 가장 적합합니다. Kafka의 설명서에 따르면 메시지가 승인되어 메시지 배달을 보장 할 수 있다고 나와 있습니다. 그러나 오늘은 메시지가 손실 될 수있는 시나리오가 있음을 알리는 this article을 발견했습니다.

0열

1답변

kafka 첫 번째 구현 - 생산자 오류

apache-kafka 구현을 위해 빠른 시작에서 샘플 코드를 사용하고 있습니다. 생성 try { producer = new kafka.javaapi.producer.Producer<String, String>( new ProducerConfig(props)); } catch (Exception e) { System

0열

1답변

ZooKeeper에서 카프카 데이터 구조를 설명하기 위해 사용되는 구문은 무엇입니까?

저는 Kafka/Zookeeper를 처음 접했고 Zookeeper에서 Kafka 데이터 구조를 설명하는 데 사용되는 구문을 약간 혼동했습니다. 예를 들면 : 사육사에서 다음 샘플 데이터 스키마를 만족 Schema: { "fields" : [ {"name": "version", "type": "int", "doc": "version id"},

4열

2답변

Apache Kafka 용 대화 형 관리 셸

카프카를 실험 중입니다. Zookeeper와 브로커를 실행하고 데이터를 생성/소비하는 기본 클러스터를 얻을 수 있습니다. Kafka 용 대화 형 관리 셸/cli가 있습니까? 모든 주제, 주제의 파티션, 생산/소비 속도, 지속되는 데이터의 양 등을 하나의 관점에서보고 싶습니다. 온라인으로 검색 한 후 설치를 살펴 보았습니다. 관리 유틸리티를 찾을 수 없습니다