kafka-producer-api

0열

2답변

주제에 대한 메시지를 쓰려고하는데 콘솔이 나를 허용하지 않습니다 (생산자가 표준 입력을 기다리지 않음). 나는 어떤 에러 로그도 볼 수 없다. 주제는 성공적으로 작성됩니다. 내가 사용하고 있습니다 :이 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test. 사육사와 카프카 서버가

0열

1답변

생산자의 카프카 데이터 손실

저는 한 카프카 브로커, 한 주제, 한 프로듀서, 한 소비자를 구성하려고했습니다. 생산자에 대한 구성 In Buffer: Datum 1 - published Datum 2 - published . . ---->(Broker goes down for a while and reconnects...) . Datum 4 - published Datum

1열

3답변

카프카 : 카프카에서 라운드 로빈 파티션을 달성하는 방법

카푸 카를 처음 접했습니다. 내 요구 사항은, 예를 들어 Partition-0과 Partition-1과 같은 두 개의 파티션이 있고 KEY 값도 포함하는 값 목록이 있습니다. 나는 key-1이 Partition-0으로 이동하고, Key-2가 Partition-1으로 이동하는 것처럼 키에 따라 데이터를 저장하려고합니다. 오래된 API를 사용하면 Partiti

1열

1답변

Apache Kafka : 프로듀서가 모든 데이터를 생성하지 않음

카푸 카를 처음 사용하였습니다. 내 요구 사항은 데이터베이스 원본과 대상에 두 개의 테이블이 있습니다. 이제 원본 테이블에서 데이터를 가져 와서이 카프카 사이의 대상에 저장하여 생산자와 소비자로 작업 할 것입니다. 코드를 작성했지만 생산자가 데이터를 생성 할 때 일부 데이터를 생성하지 못하는 문제가 있습니다. 예를 들어 원본 테이블에 100 개의 레코드가

-1열

1답변

카프카 란 무엇입니까? 데이터 저장 서버입니까?

카프카는 데이터 저장 서버입니까? 내가 알고있는 것처럼 예에서, 사용자는 게임 클라이언트의 항목을 샀다. 게임 서버에 구매 로그를 저장하십시오. 그리고 게임 서버는 kafka 제작자를 통해 kafka 서버로 데이터를 보냅니다. 카프카는 이러한 데이터를 저장하고 구매 로그가 필요한 서버에 소비자를 통해 전송합니다. 괜찮습니까? 나는 카프카의 개념을 이해할 수

1열

2답변

Kafka의 로그 압축을 사용하여 정의 된 시간 제한에 뒤쳐져 있지 않으면 소비자가 메시지를 놓치지 않도록 할 수 있습니까?

여기에서 : http://kafka.apache.org/documentation.html#compaction, 내가 로그 압축을 사용하면 로그의 "헤드"에 무엇이 있는지 보장 할 수 없습니다. 예를 들어 소비자 감사를 통해 소비자가 7 일 (예 : 7 일) 동안 모든 메시지를 유지 관리 할 수있는 방법은 무엇입니까? 이보다 오래된 메시지 만 압축 할 수 있

2열

1답변

카프카 오류 : 오프셋 X 요청하지만, 우리는 내가 카프카 예를 작업했다 Z

의 범위 Y의 로그 세그먼트를 가지고 있지만 지금은과 같은 오류 수천을 생산 : 나는 기본을 사용하고 [2016-06-24 01:33:28,092] ERROR [Replica Manager on Broker 0]: Error when processing fetch request for partition [test-topic,0] offset 45 from

1열

1답변

Apache Spark : Kafka 제작자 실행시 InstanceAlreadyExistsException 얻기

kafka 제작자를 생성하고 Apache Spark와 함께 실행되는 작은 응용 프로그램이 scala에 있습니다. 나는 명령을 실행할 때 나는 WARN이 무엇입니까 spark-submit --master local[2] --deploy-mode client <into the jar file> <app Name> <kafka broker> <kafka in q

3열

1답변

MySQL에서 Kafka 제작자에게 데이터를 가져 오는 방법은 무엇입니까?

빅 데이터가 더 새롭습니다. 나는 MySQL에 데이터베이스를 가지고 있으며 이것을 스트리밍 프로세스 용으로 Apache Kafka로 가져 오는 방법을 모른다. 그리고 나서 소비자로부터 데이터를 얻습니다. 제게 조언 해주세요.

1열

1답변

주제가 100 만 개가있는 apache-kafka

나는 토끼 mq를 apache-kafka로 대체하려고하는데 계획 중에 몇 가지 개념적 계획 문제에 부딪 혔습니다. 먼저 각 사용자가 하나의 대기열을 사용함을 의미하는 사용자 대기열 정책에 대해 토끼 mq를 사용하고 있습니다. 이것은 각 사용자가 특정 사용자에 대해 수행해야 할 작업을 나타 내기 때문에 우리의 필요에 적합하며, 사용자가 문제를 일으키는 경우