kafka-producer-api

2열

2답변

오류 : org.apache.kafka.clients.producer 패키지가 없습니다.

카프카를 처음 사용했습니다. 내가이 명령 javac -cp "C:\kafka\kafka_2.11-0.10.2.0\libs\kafka-clients-0.10.2.0.jar" *.java 를 실행하면 나는이 대답을 얻었다 오류 메시지를 error: package org.apache.kafka.clients.producer does not exist

0열

1답변

DataFrame (foreach 내부 RDD에서 작성)을 Kafka에 쓰려면 어떻게해야합니까?

나는 Spark에서 Kafka로 DataFrame을 쓰려고하는데 거기서 해결책을 찾지 못했습니다. 어떻게하는지 보여 주시겠습니까? 여기 내 현재 코드입니다 : activityStream.foreachRDD { rdd => val activityDF = rdd .toDF() .selectExpr( "timestamp_hou

0열

4답변

카프카 제작자는 주제와 파티션을 만들 수 있습니까?

현재 다른 메시징 시스템을 평가 중입니다. 아파치 카프카와 관련하여 내가 스스로 대답 할 수없는 질문이 있습니다. 카프카 제작자가 주제와 파티션을 (기존 주제와 마찬가지로) 만들 수 있습니까? 예인 경우 해당 단점이 있습니까? 사전

0열

2답변

내 로컬 컴퓨터의 EC2 컴퓨터에서 실행중인 카프카 연결

카프카를 처음 사용하고 포럼에서 다른 게시물을 검색했지만 해결책을 찾지 못했습니다. EC2 인스턴스에 kafka를 설치하고 우분투 로컬 시스템과 동일한 연결을 시도합니다. 내 목표는 내 로컬 컴퓨터에서 실행하고 EC2 kafka 인스턴스를 통해 데이터를 보내거나받는 python kafka 클라이언트 (둘 다 생산자 및 소비자)를 갖는 것입니다. 그게 가능하

0열

1답변

스파크 스트리밍을 사용하여 카프카 토픽에 메시지를 쓸 때, 그것은 단지 하나의 파티션에 쓰는 것입니다.

카프카의 모든 파티션에 스파크 쓰기 메시지를 작성하여 직접 스트림을 사용하고 스트리밍의 성능을 향상시킬 수있는 방법. 여기 내 코드입니다 : - object kafka { def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("FlightawareSparkApp")

0열

1답변

복제본이있는 카프카 제작자가 할당량으로 데이터를 제공 할 수 있습니까?

클라이언트 ID가 "p1"이고 할당량이 50MBps 인 클라이언트에 속한 카프카 제작자가 있습니다. 이제는 "bin/kafka-producer-perf-test.sh"를 사용하여 제작자의 성능을 테스트했으며 복제본이없는 파티션에 쓰는 경우 처리량을 50MBps에 가깝게 얻을 수있었습니다. 3 개의 복제본이있는 파티션에서 동일한 실험을 시도했습니다. 그러나

0열

1답변

Kafka10 heartbeat.interval.ms 속성

heartbeat.interval.ms 및 poll() 메소드 속성과 혼동 스럽습니다. poll() 메소드를 호출 할 때 poll() 메소드가 하트 비트를 보내주기를 바랍니다. heartbeat.interval.ms가 1 초로 구성되어 있지만 poll() 메서드가 처리를 완료하는 데 2 초가 걸립니다. 2 초 후 또는 백그라운드 스레드를 통해 1 초마다

0열

1답변

kafka에서 생산자에서 소비자로 물체를 소비하는 방법은 무엇입니까?

다음은 제작자와 소비자를위한 클래스입니다. 언제 데이터를 생성 할 수 있으며 다음 코드로 데이터를 소비 할 수 없습니다. 한번도 나를 도울 수 있습니까? 코딩에 잘못이 있었습니까? 제 목표는 소비자로부터 CustomMessage 개체를 읽고 DB에 데이터를 저장하는 것입니다. 내 cmd 프롬프트에서 zookeeper 용 인스턴스 1, kafka 용 1, 생

0열

2답변

kafka 주제/파티션으로 보내기/처리를 병렬 처리하는 방법은 무엇입니까?

특정 디렉토리 (Spooldir)에서 데이터를 읽고 Kafka Sink로 보내는 1 개의 flume 에이전트 (1 소스, 1 채 널, 1 싱크)가 있습니다. 내 관찰에 따라 특정 파티션에 쓰기 만합니다. 카파 주제/파티션에 병렬 송신/처리를 사용하려면 어떻게 설정해야합니까?

0열

1답변

카프카는

메신저 카프카 작업 첫번째 초에 메시지를 생성하는 속도가 느린이며, 나는 그런 프로듀서 만든 : 당신이 매우 간단 볼 수 synchronized (obj) { while (true){ long start = Instant.now().toEpochMilli(); for (int i=0; i< NUM_MSG_SEC ; i