kafka-consumer-api

1열

1답변

카프카 파일 스트리밍

다음 시나리오를 고려하십시오. 나는 충격 흡수를위한 카프카 중개인과 많은 고객들로 하여금 user1.rar 파일을 보내고 user1.r01, user1.r02 ... 파일들 (각각 128KB)로 나눈다. 하나의 주제로 소비되면 예상대로 잘 작동합니다. 문제는 토폴로지의 다운 스트림 파일을 압축 해제하고 압축을 풀 결과를 최종 저장소로 스트리밍해야한다는 것입

apache-kafka kafka-consumer-api apache-kafka-streams 2017-09-26

---

0열

1답변

Kafka Spark Consumer API Dependancy 관련 문제

Kafka에서 데이터를 수신하기 위해 spark 소비자 API를 만들려고합니다. 그러나 소비자 코드에서이 두 클래스에 jar/dependency를 추가 할 수 없습니다. import org.apache .spark.streaming.scheduler.ReceiverLauncher; import org.apache.spark.streaming.Schedule

apache-spark apache-kafka spark-streaming kafka-consumer-api 2017-09-27

---

0열

2답변

카프카 소비자를 일시 중지하는 방법?

내 프레임 워크에서 Kafka 생산자 - 소비자 모델을 사용하고 있습니다. 소비자 측에서 소비 된 레코드는 나중에 elasticsearch에 인덱싱됩니다. 여기서 ES가 다운 된 경우 ES가 작동 될 때까지 kafka 소비자를 일시 중지해야하는 유스 케이스가 있습니다. 일단 작동되면 소비자를 다시 시작하고 마지막으로 남은 곳에서 레코드를 소비해야합니다. @

java spring-boot apache-kafka kafka-consumer-api 2017-09-27

---

0열

1답변

카프카 토픽을 읽을 때 ArrayIndexOutOfBoundsException이 발생했습니다.

카프카 토픽을 읽는 동안 이상한 ArrayIndexOutOfBoundsException이 발생합니다. 많은 시간을 들였지만 문제를 파악할 수 없었습니다. 누구든지이 일을 도와 줄 수 있습니까? 여기에 내 기록이있다. [2017-09-28 01:53:04,341][][][INFO][qtp1961176822-1087][o.a.k.c.c.i.ConsumerCoo

apache-kafka kafka-consumer-api spring-kafka 2017-09-28

---

1열

1답변

spring-cloud-stream-kafka-binder가 생성 한 spring-kafka를 사용하는 소비자 메시지

ConsumerSeekAware를 사용하여 카프카 주제에서 사용 가능한 마지막 메시지를 읽으려고합니다. 메시지 유형은 Avro 객체 목록입니다. 나는 그것을 성공적으로 할 수있다. 그러나 deserialization 중 실패 할 때. 메시지는 spring-cloud-stream-kafka 프레임 워크를 사용하여 생성되었습니다. 메시지의 콘텐츠 유형은 con

avro kafka-consumer-api spring-cloud-stream spring-kafka 2017-09-28

---

0열

1답변

SSL/TLS Listener에서 실행중인 Kafka에서 BlockingChannel을 읽을 때 EOF 예외 받기

Kafka 브로커가 포트 9093으로 SSL을 수신 할 때 내 코드 하나가 예외를 throw합니다. 일반 텍스트 수신기에서 코드 스 니펫이 정상적으로 작동합니다. 어떤 아이디어가 잘못 되었습니까? ?? public KafkaMetadataHelper(String kafkaConnect) throws Exception { // use lowleve

apache-kafka kafka-consumer-api kafka-producer-api 2017-09-28

---

0열

1답변

Kafka는 메시지를 반복해서 재생합니다. 하트 비트 세션이 만료되었습니다. 코디네이터가 죽었음을 표시합니다.

python kafka api를 사용하여 토픽에서 메시지를 읽지 않습니다. Kafka는 큐에있는 메시지를 반복해서 계속 재생합니다. 내 주제에서 메시지를 받으면 (각 메시지 내용으로 돌아온다) ERROR - Heartbeat session expired - marking coordinator dead을 던지고 나머지 메시지를 계속 반복하여 재생합니다. 더

python apache-kafka kafka-consumer-api 2017-09-29

---

1열

1답변

카프카는 타임 스탬프, 소비자 루프별로 레코드를 가져옵니다.

카프카 0.10.2.1 클러스터를 사용하고 있습니다. 나는 특정 오프셋을 찾기 위해 Kafka의 offsetForTimes API를 사용하고 있으며 최종 타임 스탬프에 도달했을 때 루프를 브레이크 아웃하려고합니다. 내 코드는 다음과 같다 : consumer.poll도 1000 밀리 초 실패 : 나는 다음과 같은 문제에 직면 //package kafka.ex

apache-kafka kafka-consumer-api 2017-10-01

---

0열

1답변

카프카 - 소비자. commitSync는 commitAsync

단점이 commitSync()을 재 시도하면서 nonretriable 실패, commitAsync을 성공하거나 발견 할 때까지 커밋이다 https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch04.html#callout_kafka_consumers__reading

java apache-kafka offset kafka-consumer-api 2017-10-03

---

1열

1답변

스프링 카프카 소비자 - 복구 콜백 메커니즘을 사용한 수동 커밋

카프카 소비자를 구축 중입니다. 나는 회복 콜백을 아래와 같이 설정했다. 수동 커밋을 활성화했습니다. 복구 콜백 메소드의 메시지를 확인하여 지연이 발생하지 않도록하는 방법은 무엇입니까? @Bean public ConcurrentKafkaListenerContainerFactory<String, Map<String, Object>> kafkaList

spring spring-boot apache-kafka kafka-consumer-api spring-kafka 2017-10-04

---