kafka-producer-api

2열

2답변

Spark Streaming의 각 Kafka 파티션에서 동시에 읽는 방법

내가 맞으면 기본적으로 spark streaming 1.6.1은 각 Kafka 파티션에서 데이터를 읽는 데 하나의 스레드를 사용하고 Kafka 항목 파티션은 50이라고 가정합니다. 각 50 개 파티션의 메시지는 순차적으로 읽히거나 라운드 로빈 방식으로 표시 될 수 있습니다. 사례 1 : 예 -if 은, 그때 파티션 레벨에서 작업을 어떻게 읽을 병렬 처리합니

0열

1답변

Logstash kafka 입력 플러그인이 새로운 소비자로 메시지를 읽을 수 없으며 auto_offset_reset을 가장 초기에 설정하여

Logstash Kafka 입력 플러그인을 사용하여 주제의 메시지를 읽습니다. 이전에 새 소비자를 시작할 수있었습니다. 새로운 소비자 그룹에 속하며 auto_offset_reset = earliest를 설정하면 주제의 처음부터 메시지를 소비 할 수있었습니다. 플러그인 구성 : input { kafka { bootstrap_server

0열

2답변

카프카 제작자가 서버에 데이터를 보낼 수 없습니다.

여기가 제 코드입니다. 나는 주제를 만들 수 있지만 어떤 이유로 인해 주제 안에 데이터를 보낼 수 없습니다. 오랜 시간이 지나면 이러한 오류가 발생합니다. 나는이에 대한이 server.log 파일입니다 카프카 버전 2.11-0.8.2.1 [email protected]74c6c [email protected]6995df 을 사용하고 카프카 다음 [20

0열

1답변

카프카 클라이언트 API 질문

사람이 아래 queries.I에서 저를 도와 줄 수는 카프카 - 클라이언트 - 0.10.1.1 (단일 노드 단일 브로커) auto.create.topics.enable의 기본값을 사용하고 있습니다이 참입니다. 1.I는 소비를 들어 kafkaProdcuer<String,String> producer> producer... producer.send(n

1열

1답변

도커 컨테이너에서 외부 Kafka 브로커에 메시지 게시

내 IDE에서 외부 kafka 브로커에게 메시지 (Kafkaproducer 사용)를 생성하는 스프링 부팅 응용 프로그램을 사용할 수 있습니다. 그러나 일단 스프링 - 부트 응용 프로그램을 도커 컨테이너에 호스트하면 응용 프로그램을 더 이상 브로커에 제출할 수 없습니다. 난 그냥 한번 내 메시지를 게시, 포트에 게시 할 수 있어요, 9001 내 봄 부팅 포트

0열

2답변

다른 주제에 카프카 매칭 데이터를 보내는 방법

다른 주제에서 주제 1과 주제 2 사이에서 일치하는 데이터를 푸시하는 방법 3? 생산자에서 소비자로 메시지를 보낼 때 ?

1열

1답변

logger (org.apache.kafka.clients.producer.ProducerConfig)에 대한 appender가 없습니다.

나는 kafka 및 spark를 사용하여 메시지를 사용하려고하는 코드를 작성하고 있습니다. 하지만 내 코드가 작동하지 않습니다. import org.apache.kafka.clients.producer.{ KafkaProducer, ProducerConfig, ProducerRecord } import org.apache.spark.streaming._

1열

3답변

카프카 주제에 메시지가 존재하는지 확인하십시오.

카프카 (Kafka) 주제에 중복 메시지를 보내지 않으려합니다. 달성하기위한 이상적인 방법은 무엇입니까? 아파치 카프카 자바 클라이언트를 사용하여 , 메시지가 KafkaProducer.send 내가 말하는거다을 호출하기 전에 존재하는지 확인하기 위해 어쨌든이이 doc

3열

1답변

종료 오프셋 예외에 도달하기 전에 Spark Streaming이 메시지에서 Kafka Ran으로 충돌합니다.

스트리밍 중 하나에서 사용합니다. 우리의 센서 소프트웨어 중 하나는 스파크 스트리밍이 예외적으로 충돌하는 카프카에서 메시지를 읽으려고 할 때 ~ 20MB JSON 메시지/초를 50 개의 파티션이있는 카프카 항목으로 전송합니다. 상황을 더 잘 이해하기 위해 센서 소프트웨어가 1 초당 20MB의 메시지 만 전송하도록 설정했지만 동일한 오류로 인해 애플리케이션

0열

1답변

카프카 파티션과 생산자 관계

나는 3 개의 브로커가있는 카프카 클러스터와 3 개의 파티션과 3 개의 파티션으로 이루어진 복제 요소를 가지고 있습니다. 모든 브로커에는 동일한 크기의 모든 파티션에 대한 로그 사본이 있음을 알 수 있습니다. 이 주제에는 두 명의 제작자가 있습니다. 언젠가 어느 한 프로듀서의 글쓰기 양을 절반으로 줄였습니다. 그런 다음 3 개의 브로커의 인바운드 트래픽이