apache-kafka

1열

1답변

내 카프카 클라이언트가 자동 축척을 사용하는 GCP App Engine Flex 환경에서 실행됩니다. GCP는 인스턴스 카운트를 2 이상으로 유지하며 CPU 사용량이 적기 때문에 대부분 2였습니다. 이 2 개의 VM을 실행중인 소비자 그룹은 몇 달 동안 20 개의 파티션에서 다양한 주제의 메시지를 소비했으며 최근에는 이전 주제의 파티션이 1로 축소되었고 해

0열

1답변

KafkaConsumer 및 KafkaProducer 유휴 시간 구성

우리의 응용 프로그램은 오래 실행 중이므로 중지/종료 될 때까지 실행해야합니다. 그 구성은 long 인 Producer와 Consumer 모두에 대해 connections.max.idle.ms을 설정하는 것입니다. 무한대로 설정하거나, 닫지 않거나, 그런 식으로 설정할 수있는 방법이 있습니까? 또는 connections.max.idle.ms을 10 분으로

3열

1답변

kafka - 파이썬 프로그램이 hadoop 클러스터 외부의 Kafka에 연결할 수 있습니까?

나는 카프카를 배우고 있으며 조언이 필요합니다. 저는 파일을 읽고 제작자로 카프카에게 데이터를 쓰는 파이썬 프로그램을 작성하고 싶습니다. Kafka는 Hadoop 클러스터에서 설정되고 Python은 Hadoop 클러스터 외부에서 실행됩니다. 외부에서 연결할 수 있습니까? Python 용 Kafka 라이브러리를 설치해야합니까? 어떻게 설치해야합니까? 비아 카

1열

1답변

KafkaStream createTopic이 Kafka 서버의 auto.create.topics.enable 설정을 준수하지 않음

우리는 최근 새로운 주제로 인해 오염 된 생산 카프카 클러스터를 가지고 있습니다. auto.create.topics.enable=false delete.topic.enable=false 가 조사를, 나는이 주제는 KafkaStream의 createTopic 방법을 사용하는 클라이언트 팀에 의해 생성 된 것을 발견 : 카프카 클러스터는 다음과 같은 설정

0열

1답변

는

나는 카프카의 토폴로지 다음과 같은 정의 Operation 1 : input_stream ----> filter ----> window_processing ----> write_to_topic Operation 2 : input_stream ----> write_to_topic 나는 두 작업은 동일한 스레드 (내가 스레딩에 대한 StreamsConfi

0열

1답변

Spark 스트리밍 체크 포인트 읽기 실패 후

나는 내결함성을 포함한 Spark Streaming with Kafka 어플리케이션을 구현하려고합니다. 응용 프로그램을 다시 시작하면 다시 시작하기 전에 이미 읽은 메시지를 읽고 계산이 잘못되었습니다. 이 문제를 해결하도록 도와주세요. 다음은 Java로 작성된 코드입니다. public static JavaStreamingContext createContex

1열

1답변

Kafka 1.0.0 관리 클라이언트가 EOFException을 사용하여 주제를 만들 수 없음

1.0.0 Kafka 관리 클라이언트를 사용하여 프로그래밍 방식으로 브로커에 주제를 작성하고자합니다. Scala를 사용하고 있습니다. 나는 카프카 브로커에 대한 주제를 작성하는 중 다음 코드를 사용하려고했습니다 또는 간단하게 사용할 수있는 주제를하거나 명령을 import org.apache.kafka.clients.admin.{AdminClient, Lis

0열

1답변

ConcurrentMessageListenerContainer가 동시 작동하지 않습니다.

다중 스레드 수신기를 만들려고하지만 모든 메시지가 동일한 스레드에서 실행됩니다. KafkaListerContainerFactory가 (올바르게) 인스턴스화 한 것이라도, 스레드 ID는 항상 동일하게 실행됩니다. 7 개의 메시지를 거의 동시에 보내면 처음 세 개는 동시에 처리하고 그 다음 세 개는 동시에 처리 한 다음 마지막 세 개는 동시에 처리 할 것으로

1열

1답변

카프카 nodejs - SASL 인증으로 생산자와 소비자를 만드는 문제

내가 SASL 인증을 사용하여 nodejs와 카프카의 생산자와 소비자를 만들기 위해 노력하고 있지만, 나는 거의 모든 시도 한 nodejs 카프카 패키지 중 하나에서 사용할 수없는 것 같다 그들 (노드 rdkafka, 카프카 노드, 노 카프카 ....) 는 노드 rdkafka와 옵션 아래에 시도하지만 외장의 위에 SASL var Kafka = require

1열

2답변

kafka에서 읽기 및 kafka로 kafka로 읽는 성능을 향상시키는 방법 Stream Application

카프카 스트림 응용 프로그램에 1.0.0 카프카 스트림 API가 있습니다. 단일 브로커 0.10.2.0 kafka 및 단일 파티션의 단일 주제가 있습니다. 구성 가능한 모든 매개 변수는 제작자 request.timeout.ms를 제외하고 동일합니다. Kafka Streams program is throwing exceptions when producing