카프카 0.10.2.0을 사용하고 있습니다. 나에게는 3 명의 중개인이 있으며 장애 조치 테스트를하고 있습니다. 때로는 카프카 중개인 중 하나가 비정상적으로 폐쇄되면 데이터가 손실됩니다. 카프카 브로커 구성 : zookeeper.connection.timeout.ms=6000
num.partitions=50
min.insync.replicas=2
un
이미 실행중인 다른 Kafka를 구독하기 위해 Apache Kafka 소비자를 구축 중입니다. 내 문제는 제 제작자가 서버에 메시지를 푸시 할 때 ... 소비자가 메시지를받지 못한다는 것입니다. 내가 링크에서 모든 정보를 얻을 수 <dependency>
<groupId>org.apache.kafka</groupId>
<artifactI
kafka 주제에서 소비하는 데 KafkaMessageListenerContainer를 사용하고 있습니다. 다른 마이크로 서비스에 종속적 인 각 레코드를 처리하는 응용 프로그램 논리가 있습니다. 이제 각 레코드가 처리 된 후 오프셋을 수동으로 커밋합니다. 그러나 응용 프로그램 논리가 실패하면 실패한 오프셋을 찾아 성공할 때까지 처리해야합니다. 이를 위해서는
나는 스파크 스트리밍을 사용하여 카프카 (Kafka)에서 데이터를 읽는 작업을 수행했다. 그러나 우리 조직은 Apache Flink 또는 Kafka 소비자를 사용하여 Apache kafka의 데이터를 표준 프로세스로 읽습니다. 따라서 Kafka 스트리밍을 Kafka 소비자 또는 Apache Flink로 대체해야합니다. 내 응용 프로그램의 경우에는 kafka
자바 클라이언트 (Kafka Consumer)가 여러 중개인으로부터 메시지를 소비하려고합니다. 조언을 부탁하십시오 다음은 간단한 파티셔를 사용하여 여러 중개인에게 메시지를 게시하기 위해 작성된 코드입니다. 주제가 복제 계수 "2"및 파티션 "3"으로 생성됩니다. public int partition(String topic, Object key, byte[]
일부 메시지가 카프카로 반송되지 않은 경우 어떻게됩니까? 메시지를 동시에 소비한다고합니다. 그리고 한 소비자가 offset = 20으로 메시지를 처리하지 못하고 Ack을 다시 보내지 않았습니다. 그러나 offset = 21 인 다른 메시지는 소비되었고 뒤로 물러났습니다. 20 개만 재생할 수 있습니까? 메시지를 DLQ에 넣고 다시 소비해야합니까? 거기에서도
구현은 파이썬으로 이루어졌습니다. confluent_kafka 사용. 카프카 항목의 메시지를 폴링하는 소비자 개체가 있습니다. 메시지는 다른 큰 개체의 추가 처리에 사용되며 크기 때문에 각 메시지 처리 후에 개체를 백업 할 여력이 없습니다. 주기적으로 개체를 덤프 한 다음 수동으로 소비자를 커밋합니다. 아래는 구현 한 샘플 코드입니다. 이 코드를 2 시간을
Kafka Producer와 Kafka 클라이언트가 다른 Hadoop 클러스터에있는 반면 내 로컬 컴퓨터에서 Kafka Consumer (Java 코드)를 실행 하시겠습니까? kafka 제작자 스크립트 (kafka-console-producer.sh)를 사용하여 kafka 클러스터에 메시지를 보낼 수 있지만 로컬 이클립스 콘솔에서 kafka 소비자의 메시지
카프카로 치료를 배포하는 솔루션을 찾고 있습니다. 수백만 개의 독립 항목에 대해 계산해야합니다. 그래서 3 개의 다른 VM에 3 개의 카프카 브로커를 설치하고 3 개의 다른 스레드 데이터를 3 개의 파티션의 주제로 생성하기 시작합니다. 그런 다음 아이디어는 같은 소비자 그룹에있는 3 명의 소비자와 파티션을 소비하고 그 결과를 다른 프로세스의 다른 주제에 저