kafka-consumer-api

1열

2답변

자바를 사용하여 카프카에서 지난 5 일 메시지를 얻는 방법

카프카의 주제에 대해 TTL을 7 일로 설정하고 Kafka에서 데이터를 가져와 DB에 저장하지만 지난 5 일 동안 내 DB 서버가 다운되었습니다. 이제에서 지난 5 일 메시지를 가져와 DB에 저장해야합니다. 참고 : 지난 5 일간 Kafka에는 문제가 없습니다.

java apache-kafka kafka-consumer-api 2017-09-05

---

0열

1답변

봄 - 카프카와 카프카 0.10

나는 현재 소비자 메시지를 보내기 위해 카프카와 스프링 카프카를 사용하고있다. 하지만 문제가 동일한 주제에 대한 몇 가지 소비자 실행을 가지고 몇 가지 질문이 있습니다 1 - 내 소비자 잠시 후 분리 문제가 다시 연결을하는 경향이 정기적으로 발생 WARN 다음 내 소비자의 경우 : 2017-09-06 15:32:35.054 INFO 5203 --- [nLi

spring apache-kafka kafka-consumer-api 2017-09-06

---

1열

1답변

org.apache.kafka.clients.NetworkClient 부트 스트랩 브로커 bootstrap-servers-ip : 9092 disconnected

로컬 시스템에 apache kafka를 실행 중이며 절대 실행 중입니다. 하지만 연기 테스트를하는 동안 내 응용 프로그램은 카프카 클러스터에 연결할 수 없습니다. 그것은 끝없이 다음과 같은 오류를 던지고 계속 : [2016-11-22T23:04:35,017][WARN ][org.apache.kafka.clients.NetworkClient] Bootstra

apache-kafka apache-zookeeper kafka-consumer-api spring-kafka 2017-09-07

---

0열

2답변

Spring Kafka 파티션을위한 여러 소비자

우리는 봄 카프카를 사용하여 메시지를 소비합니다. 각 파티션마다 메시지를 수신 할 수있는 수신기를 만들었습니다. 이제는 단일 파티션에서 소비자 메시지에 둘 이상의 수신기가 필요한 요구 사항이 있습니다. 파티션 0이 있다고 가정 해 봅시다. 현재 우리는이 파티션에서 메시지를 수신하는 수신기 (Receiver 1)가 하나뿐입니다. 이제 같은 파티션 (파티션 0

apache-kafka kafka-consumer-api spring-kafka 2017-09-10

---

0열

2답변

아파치 카프카에 추가 된 파티션을 사용하는 중

나는 KafkaConsumer이며 수동 파티션 할당을 사용합니다. 파티션을 배포하기 위해 추가 된 파티션을 감지하기 위해 정기적 인 간격으로 consumer.partitionsFor(topicId)을 사용합니다. 작업이 영원히 계속 실행되기 때문에이 케이스를 지원하고 싶습니다. 그러나 이것은 소비자를 다시 시작하지 않는 한 항상 파티션의 초기 목록을 반환합

apache-kafka kafka-consumer-api 2017-09-12

---

0열

2답변

Kafka Broker와 동일한 컴퓨터에서 Kafka Streams 응용 프로그램을 실행할 수 있습니까?

저는 몇 가지 주제에서 데이터를 가져 와서 데이터를 조인하고 다른 주제에 넣는 Kafka Streams Application이 있습니다. 카프카 구성 : 5 kafka brokers Kafka Topics - 15 partitions and 3 replication factor. 참고 : 내 카프카 브로커가 실행중인 동일한 시스템에서 카프카 스트림 응

apache-kafka kafka-consumer-api kafka-producer-api apache-kafka-streams 2017-09-12

---

0열

1답변

RD Kafka Client의 파일에서 구성 값을 읽는 방법?

저는 LIBRDKAFKA C 라이브러리를 사용하여 하나의 RD 카프카 클라이언트를 개발했습니다. LIBRDKAFKA C 라이브러리에는 consumer 및 Producer Handle에 대한 구성 값을 설정하기 위해 set_config API가 공개되어 있습니다. 설정이 가능한 약 수백 개의 구성이 있으며 각 값에 대해 set_congig를 사용하는 것은 매

kafka-consumer-api kafka-producer-api 2017-09-15

---

0열

1답변

카프카 + 스파크 스트리밍 : kafka.common.OffsetOutOfRangeException

나는이 카프카/스파크 전체를 처음 사용합니다. Spark Streaming (PySpark)에서 Kafka 제작자의 데이터를 가져 왔습니다. 1 분 동안 잘 실행 된 후 항상 kafka.common.OffsetOutOfRangeException을 던졌습니다. Kafka 소비자는 0.8 버전입니다 (0.10은 PySpark의 경우 지원되지 않습니다). AWS

apache-spark pyspark apache-kafka spark-streaming kafka-consumer-api 2017-09-15

---

0열

1답변

카프카 주제의 모든 메시지 사용 및 연결 해제

하루에 한 번 트리거되는 배치 작업이 있습니다. 는 프로세스 메시지 프로세스가 성공적으로 완료되면 , 오프셋을 커밋 시간의 그 시점에서 카프카 주제에서 사용할 수있는 모든 메시지를 사용하기위한 요구 사항입니다. 현재 ConsumerRecords.isEmpty()가 true가 될 때까지 while 루프의 메시지를 폴링합니다. ConsumerRecords.is

java apache-kafka kafka-consumer-api 2017-09-16

---

3열

2답변

소비자 그룹을 사용하여 여러 소비자를 통해 브로커로부터 데이터를 읽었지 만, 소비 된 데이터는 어떻게 결합 되었습니까?

카프카 브로커의 데이터가 필요하지만 빠른 액세스를 위해 소비자 그룹으로 알려진 동일한 그룹 ID를 가진 여러 소비자를 사용하고 있습니다.하지만 각 소비자가 읽은 후에 여러 소비자의 데이터를 어떻게 결합 할 수 있습니까? 어떤 논리가 있습니까?

apache-kafka kafka-consumer-api consumer 2017-09-19

---