apache-kafka

0열

1답변

Kafka 0.8.1 Async Producer in Scala - Kafka 클러스터가 다운되었습니다.

Kafka 클러스터가 작동 중일 때 Scala에서 Kafka Producer 클라이언트를 구현할 때 매우 이상한 문제가 있습니다. 즉, 프로듀서는 카프카에 데이터를 올바르게 푸시합니다. 그러나 제작자를 'async'로 설정하면 Kafka Producer 클라이언트는 클러스터가 작동 중일 때 올바르게 데이터를 넣을 수 있지만 생산자는 데이터를 ... void

1열

1답변

카프카 브로커 - 클린 셧다운

우리 클러스터에는 2 명의 카프카 브로커와 3 명의 사육사가 있습니다. 중개인이 무작위로 (2-10 시간) 내려갑니다. 문제를 디버그하는 데 도움을 주시면 감사하겠습니다. 는 로그인 [2014-10-28 08:19:56,465] INFO [Kafka Server 1], shutting down (kafka.server.KafkaServer) [2014-1

1열

1답변

비주얼 한 vm의 CPU 프로파일은 clojure의 코어 비동기를 사용하여 카프카 스트림을 읽을 때 모든 시간을 promise deref로 보낸다는 것을 보여줍니다.

카카 스트림에서 읽는 clojure 앱을 실행 중입니다. 나는 kafka 스트림에서 읽을 수있는 삽 github 프로젝트 https://github.com/l1x/shovel을 사용하고 있습니다. 핫 스폿을 찾기 위해 Visual VM을 사용하여 응용 프로그램을 프로파일 링했을 때 나는 대략 70 %의 CPU 시간의 대부분이 clojure.core $ pr

3열

2답변

이벤트 스트림을 저온 저장 장치에 보관하려면 어떻게해야합니까?

이벤트 브로커에서 발생하는 이벤트 스트림이 있습니다 ("메시지"또는 "데이터"라고도 부를 수 있음). 이벤트 브로커는 Kafka 또는 Amazon Kinesis 또는 Microsoft Event Hubs 일 수 있지만, 카프카라고 가정 해 보겠습니다. 내 목표는이 이벤트 스트림을 받아 콜드 스토리지; 즉, Hadoop/Spark를 통해 향후 분석을 위해 데

4열

2답변

카프카 보안 및 인증

카프카를 공개적으로 액세스 할 수있게하려고합니다. 카프카가 SSL 연결을 지원합니까? 클라이언트 연결을 인증 할 수 있습니까? 몇 가지 아이디어를 구현하십시오.

-2열

1답변

Apache ServiceMix에서 Kafka 소비자 실행

camel-kafka를 사용하여 번들을 생성하고 servicemix에서 실행하려고합니다. 이 모듈은 camel-kafka 커넥터를 사용하고 카프카 (kafka) 주제의 메시지를 소비하는 매우 기본적인 카프카 소비자입니다. 실행, 그러나 OSGi 번들로 서비스 믹스 내부와 동일한 모듈을 설치 오류 다음 제공합니다 : 014-11-03 21:07:25,929

0열

1답변

카프카에서 토픽의 리 밸런싱 파티션의 비용

나는 카프카에서 소비하는 디자인을 생각해 내고있다. 카프카 버전 0.8.1.1을 사용하고 있습니다. 나는 소비자가 몇 초마다 만들어지고, 카프카의 데이터를 소비하고, 처리하고, 카프카의 오프셋을 커밋 한 후에 종료하는 시스템을 설계하려고 생각하고있다. 어느 시점이든 250-300 명의 소비자가 활성화 될 것으로 기대됩니다 (다른 컴퓨터에서 ThreadPoo

0열

2답변

Kafka 고객이 사육사에게 연결할 수 없음 - 서버 null의 세션 0x0

나는 servicemix에서 Kafka 소비자를 실행하려고했습니다. 소비자는 mvn camel : run을 사용하여 실행할 때 올바르게 실행할 수 있습니다. 그러나 사육사와의 연결은 다음 오류로 인해 내부 ServiceMix에 실패 : 2014-11-05 13:57:08,125 | INFO | l Console Thread | VerifiableProper

0열

1답변

Kafka 소비자의 누락 된 기록

Kafka와 Spark-Streaming 사이에 문제가 있습니다. 저급 트래픽 (초당 약 12000 - 15000 레코드/초) 서비스가 처음에는 생산량이 많았습니다. 그러나 10 - 15 분 후, 갑자기 소비 속도는 거의 1/10 남았습니다. 네트워크의 트래픽 문제 일 수 있습니까? 카프카 구성 : num.network.threads = 2 num.io.t

1열

1답변

웹 사이트 활동 추적에 KAFKA를 구현하는 방법

내 웹 사이트에서 모든 사용자 활동을 추적 할 계획이며 카프카는 신뢰할 수있는 솔루션 인 것으로 보입니다. 생성 된 이벤트를 카프카로 보내는 방법, 즉 내 웹 사이트를 카프카 제작자로 만드는 방법을 해결할 수 없습니다.