kafka-consumer-api

0열

1답변

- 여러 소비자

에서 동일한 메시지를 소비하는 방법이 가능 Direct Stream approach? 사용하여 여러 소비자의 Kakfa topic messages를 소비? Direct Stream 방식에는 Consumer Group 개념이 없으므로 group.id을 DirectStream 메서드의 kafkaparams로 전달하면 어떻게됩니까? 아래의 코드는 with gro

scala spark-streaming kafka-consumer-api 2017-02-10

---

1열

2답변

Apache Kafka Avro Deserialization : 특정 유형의 메시지를 역 직렬화하거나 디코딩 할 수 없습니다.

메시지를 serialize/deserialize하기 위해 Apache kafka와 함께 Avro Serialize를 사용하려고합니다. 특정 형식의 메시지를 serialize하고 큐에 보내는 데 사용되는 하나의 생성자를 만듭니다. 메시지가 큐에 성공적으로 전송되면 소비자가 메시지를 선택하여 처리하려고 시도하지만 예외가 발생하는 동안 특정 개체에 대한 사례 바

java scala apache-kafka avro kafka-consumer-api 2017-02-11

---

1열

1답변

스파크 스트림을 통해 카프카 메시지를 사용할 수 없습니다.

스파크 스트리밍 프로그램을 통해 카프카 프로듀서로부터 메시지를 소비하려고합니다. 다음은 위의 프로그램이 성공적으로 실행 내 프로그램 val Array(zkQuorum, group, topics, numThreads) = args val sparkConf = new SparkConf().setAppName("KafkaWordCount").setMa

apache-spark apache-kafka spark-streaming kafka-consumer-api 2017-02-11

---

1열

1답변

RDD 수의 DStream을 단일 RDD로 변환하는 방법

기본적으로 단일 Spark Streaming 소비자 [Direct Approach]를 사용하여 여러 카프카 항목의 데이터를 소비하고 있습니다. val dStream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet).m

scala spark-streaming kafka-consumer-api 2017-02-11

---

0열

1답변

kafka의 "offsets.topic.compression.codec"은 실제로 무엇을합니까?

아주 최근에 우리는 메타 데이터에서 MessageSizeTooLargeException을 가져 오기 시작 했으므로 gzip 압축을 사용하려면 offsets.topic.compression.codec = 1을 사용했지만 브로커에 대한 비율/메시지의 전체 바이트는 변경되지 않았습니다. 내가 놓친 게 있니? 변경해야 할 다른 자산이 있습니까? 이 코덱은 어떻게

apache-kafka kafka-consumer-api kafka-python confluent-kafka 2017-02-15

---

1열

1답변

둘 이상의 소비자에게 동일한 체크 포인트 위치 사용 - 스파크 직접 스트리밍

둘 이상의 소비자에게 동일한 체크 포인트 위치를 사용해도됩니까? 우리는 Direct Streaming 방식을 사용하고 있습니다. 코드 샘플 : 내가 하나 개 이상의 소비자를위한 동일한 체크 포인트 위치를 사용하는 경우 ssc.checkpoint(checkpointDirectory) val dstream1 = KafkaUtils.createDirectStr

scala spark-streaming kafka-consumer-api 2017-02-15

---

2열

1답변

카프카 상급 소비자 error_code = 15

완전히 새로운 소비자 그룹을 사용하여 상위 소비자를 사용하여 카프카에서 소비하려고 할 때, 소비자는 결코 달리기를 시작하지 않습니다. DEBUG [AbstractCoordinator] 09:43:51.192: Sending coordinator request for group CompletelyNewConsumerGroupThatIneverUsedBefor

apache-kafka kafka-consumer-api 2017-02-21

---

0열

1답변

카프카 그룹 정리

일부 동적 그룹과 함께 kafka (v. 0.10.1.1)를 사용하고 있습니다 (새로운 각 소비자에 대해 새 group.id를 만듭니다). 내가 재검사/필터를 몇 가지 기준에 대한 과거의 이벤트 스트림, 몇 시간 후에 나는 많은 그룹을 의미합니다. 사용되지 않는 이전 그룹에 대한 자동 정리가 있습니까?

apache-kafka kafka-consumer-api 2017-02-21

---

1열

1답변

카프카 소비자 재조정 조건

A 항목의 데이터를 읽으려면 그룹 consumerGroup과 함께 소비자 C1을 생성하면 어떻게됩니까? 그리고 얼마 후 동일한 그룹의 소비자 C2을 작성하여 B이라는 주제의 데이터를 읽습니다. 소비자 생성 C2 트리거 균형 조정? 더 일반적인 질문으로, kafka가 재조정을 수행 할 때?

apache-kafka kafka-consumer-api 2017-02-21

---

1열

1답변

Spark SQL : Kafka subscribepattern 옵션으로 구조 스트리밍

나는 Kafka로 Spark SQL 구조 스트리밍을 시도하고있다. kafka 옵션에 대해이 필수 옵션 인 subscribePattern [Java regex string]을 찾고 있습니다. 분명히에만 3 값이 가능합니다 : 가 https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-s

apache-kafka apache-spark-sql spark-streaming kafka-consumer-api 2017-02-22

---